Zum Inhalt springen

Snowflake Merge-Aktivität

Einführung

Eine Snowflake Merge-Aktivität, die ihre Snowflake-Verbindung verwendet, fügt eine CSV-Datei mit Tabellendaten in Snowflake ein oder aktualisiert sie und ist als Ziel gedacht, um Daten in einem Vorgang zu konsumieren. Die Snowflake Merge-Aktivität unterstützt nicht das Löschen eines vorhandenen Datensatzes.

Hinweis

Die Snowflake Merge-Aktivität ähnelt einer Upsert-Aktivität, wie sie in anderen Konnektoren verwendet wird.

Erstellen einer Snowflake Merge-Aktivität

Eine Instanz einer Snowflake Merge-Aktivität wird aus einer Snowflake-Verbindung unter Verwendung des Aktivitätstyps Merge erstellt.

Um eine Instanz einer Aktivität zu erstellen, ziehen Sie den Aktivitätstyp auf die Entwurfsfläche oder kopieren Sie den Aktivitätstyp und fügen Sie ihn auf der Entwurfsfläche ein. Für weitere Details siehe Erstellen einer Aktivitäts- oder Toolinstanz in Komponentenwiederverwendung.

Eine vorhandene Snowflake Merge-Aktivität kann von diesen Orten aus bearbeitet werden:

Konfigurieren einer Snowflake Merge-Aktivität

Befolgen Sie diese Schritte, um eine Snowflake Merge-Aktivität zu konfigurieren:

Schritt 1: Geben Sie einen Namen ein und wählen Sie eine Tabelle aus

In diesem Schritt geben Sie einen Namen für die Aktivität ein und wählen eine Tabelle aus. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

  • Name: Geben Sie einen Namen ein, um die Aktivität zu identifizieren. Der Name muss für jede Snowflake Merge-Aktivität eindeutig sein und darf keine Schrägstriche / oder Doppelpunkte : enthalten.

  • Tabelle auswählen: In diesem Abschnitt werden die in dem Snowflake-Endpunkt verfügbaren Tabellen angezeigt. Beim erneuten Öffnen einer vorhandenen Aktivitätskonfiguration wird nur die ausgewählte Tabelle angezeigt, anstatt die gesamte Tabellenliste neu zu laden.

    • Ausgewählte Tabelle: Nachdem eine Tabelle ausgewählt wurde, wird sie hier aufgelistet.

    • Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Tabellen zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Tabellen bereits innerhalb der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Tabellen vom Endpunkt beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Tabellen vom Snowflake-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Tabellen zu Snowflake hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Tabelle von Tabellen verwendet werden.

    • Tabelle auswählen: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um eine Tabelle auszuwählen. Es kann nur eine Tabelle ausgewählt werden. Die Informationen, die für jede Tabelle verfügbar sind, werden vom Snowflake-Endpunkt abgerufen:

      • Name: Der Name einer Tabelle.

      • Typ: Der Typ, der eine Tabelle ist.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Tabellen gefüllt wird, könnte die Snowflake-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Speichern & Beenden: Wenn aktiviert, klicken Sie, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 2: Merge-Schlüssel auswählen

In diesem Schritt geben Sie die Spalten an, die als Merge-Schlüssel verwendet werden sollen. Jedes Benutzeroberflächenelement dieses Schrittes wird unten beschrieben.

  • Merge-Schlüssel: Wählen Sie die Spalten aus, die als Aktualisierungsschlüssel für das Merge verwendet werden sollen.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 3: Einen Ansatz auswählen

Für das Merging von Daten in Snowflake werden verschiedene Ansätze unterstützt. Wählen Sie entweder Direkte Zuordnung oder Stage-Datei. Wenn Sie den Ansatz Stage-Datei verwenden, wählen Sie entweder die Optionen Vorhandene Stage verwenden oder Temporäre Stage verwenden.

Direkte Zuordnung

  • Ansatz: Verwenden Sie das Dropdown-Menü, um Direkte Zuordnung auszuwählen.

  • Temporärer Stage-Name: Geben Sie einen Namen ein, der für eine temporäre Stage in Snowflake verwendet werden soll.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Stage File-Ansatz (Vorhandene Stage verwenden)

  • Ansatz: Verwenden Sie das Dropdown-Menü, um Stage File auszuwählen.

  • Stage-Typ: Verwenden Sie das Dropdown-Menü, um Vorhandene Stage verwenden auszuwählen.

  • Wählen Sie eine Stage aus: In diesem Abschnitt werden die in der Snowflake-Endpunkt verfügbaren Stages angezeigt. Beim erneuten Öffnen einer vorhandenen Aktivitätskonfiguration wird nur die ausgewählte Stage angezeigt, anstatt die gesamte Stageliste neu zu laden.

    • Ausgewählte Stage: Nachdem eine Stage ausgewählt wurde, wird sie hier aufgelistet.

    • Suche: Geben Sie den Wert einer Spalte in das Suchfeld ein, um die Liste der Stages zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Tabellen bereits innerhalb der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Tabellen vom Endpunkt beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Tabellen vom Snowflake-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Sie kürzlich Tabellen zu Snowflake hinzugefügt haben. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der Tabelle der in der Konfiguration angezeigten Tabellen verwendet werden.

    • Auswählen einer Stage: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um eine Stage auszuwählen. Es kann nur eine Stage ausgewählt werden. Die Informationen, die für jede Stage verfügbar sind, werden vom Snowflake-Endpunkt abgerufen:

      • Name: Der Stagename von Snowflake.

      • Typ: Der Stagetyp von Snowflake. Für Informationen zu den Unterschieden zwischen internen und externen Stages siehe die Snowflake-Dokumentation zu Stages erstellen.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Stufen gefüllt wird, könnte die Snowflake-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Stage File-Ansatz (Verwenden Sie temporäre Stufen)

  • Ansatz: Verwenden Sie das Dropdown-Menü, um Stage File auszuwählen.

  • Stufentyp: Verwenden Sie das Dropdown-Menü, um Verwenden Sie temporäre Stufe auszuwählen.

  • Temporärer Stufenname: Geben Sie einen Namen ein, der für eine temporäre Stufe in Snowflake verwendet werden soll.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 4: Überprüfen der Datenschemas

Die Anforderungs- und Antwortschemas, die von dem Endpunkt generiert wurden, werden angezeigt. Die angezeigten Schemata hängen von dem im vorherigen Schritt angegebenen Ansatz ab.

Diese Unterabschnitte beschreiben die Anforderungs- und Antwortstrukturen für jeden Ansatz:

Diese Aktionen sind mit jedem Ansatz verfügbar:

  • Datenschemas: Diese Datenschemas werden von angrenzenden Transformationen geerbt und während der Transformation Mapping erneut angezeigt.

    Hinweis

    Die in einer Transformation bereitgestellten Daten haben Vorrang vor der Aktivitätskonfiguration.

    Der Snowflake-Connector verwendet Version 3.19.0 des Snowflake JDBC-Treibers und die Snowflake SQL-Befehle. Weitere Informationen zu den Schema-Knoten und -Feldern finden Sie in der API-Dokumentation.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um die Schemata vom Endpunkt neu zu generieren. Diese Aktion regeneriert auch das Schema an anderen Stellen im Projekt, an denen dasselbe Schema referenziert wird, wie in einer angrenzenden Transformation.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Direkte Mapping-Ansatz

Dies sind die Schema-Felder, die im obigen Beispiel-Screenshot sichtbar sind:

  • Anfrage

    Anfrage-Schema-Feld/Knoten Hinweise
    updateRequest Knoten der Zusammenführungsanfrage.
    table Knoten, der den Tabellennamen NAME anzeigt.
    item Knoten des Elements.
    column_A Wert für den ersten Spaltennamen, COLOR.
    column_B Wert für den zweiten Spaltennamen, FLOWER.
    . . . Werte für die nachfolgenden Tabellenspalten.

  • Antwort

    Antwort-Schema-Feld/Knoten Hinweise
    mergeResponse Knoten der Zusammenführungsantwort.
    noOfRowsUpdated Anzahl der aktualisierten Zeilen.
    noOfRowsInserted Anzahl der eingefügten Zeilen.
    errors Knoten der Fehler.
    item Knoten der Fehlerartikel.
    errorMessage Fehlermeldung für den Fehlerartikel.

Stage-Dateiansatz

Dies sind die Schemafelder, die im obigen Beispiel-Screenshot sichtbar sind:

  • Anfrage

    Anfrage-Schemafeld/-Knoten Hinweise
    mergeRequest Knoten der Zusammenführungsanfrage.
    stageName Pfad oder Präfix, unter dem die Daten auf der Snowflake-Stage hochgeladen werden.
    fileContent Dateninhalte der Datei im CSV-Format, die für die Aktualisierung in der Snowflake-Tabelle bereitgestellt werden sollen.
    destPrefix Ziel-Datei-Präfix, das auf der Snowflake-Stage verwendet werden soll.
    destFileName Ziel-Dateiname, der auf der Snowflake-Stage verwendet werden soll.

    Wichtig

    Wenn Vorhandene Stage verwenden ausgewählt ist und der Typ der ausgewählten Stage extern ist, werden stageName und fileContent aus dem Anfrage-Schema ausgeschlossen.

    Informationen zu den Unterschieden zwischen internen und externen Stages finden Sie in der Snowflake-Dokumentation zum Erstellen von Stages.

  • Antwort

    Antwort-Schemafeld/-Knoten Hinweise
    mergeResponse Knoten der Zusammenführungsantwort.
    noOfRowsUpdated Anzahl der aktualisierten Zeilen.
    noOfRowsInserted Anzahl der eingefügten Zeilen.
    errors Knoten der Fehler.
    item Knoten der Fehlerartikel.
    errorMessage Fehlermeldung für den Fehlerartikel.

Nächste Schritte

Nachdem Sie eine Snowflake Merge-Aktivität konfiguriert haben, vervollständigen Sie die Konfiguration des Vorgangs, indem Sie andere Aktivitäten oder Tools als Vorgangsschritte hinzufügen und konfigurieren. Sie können auch die Betriebseinstellungen konfigurieren, die die Möglichkeit umfassen, Vorgänge zusammenzuführen, die sich in denselben oder unterschiedlichen Workflows befinden.

Menüaktionen für eine Aktivität sind im Projektbereich und auf der Entwurfsgrafik zugänglich. Für Details siehe Aktivitätsaktionsmenü in Connector-Grundlagen.

Snowflake Merge-Aktivitäten können als Ziel mit diesen Vorgangsmustern verwendet werden:

Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Speicherort und verwenden Sie dann diesen temporären Speicherort in der Skriptfunktion.

Wenn Sie bereit sind, setzen Sie den Vorgang ein und führen Sie ihn aus und validieren Sie das Verhalten, indem Sie die Vorgangsprotokolle überprüfen.