Zum Inhalt springen

Snowflake Merge-Aktivität

Einführung

Eine Snowflake Merge-Aktivität, die ihre Snowflake-Verbindung verwendet, fügt eine CSV-Datei mit Tabellendaten in Snowflake ein oder aktualisiert sie und ist als Ziel gedacht, um Daten in einem Vorgang zu konsumieren. Die Snowflake Merge-Aktivität unterstützt nicht das Löschen eines vorhandenen Datensatzes.

Hinweis

Die Snowflake Merge-Aktivität ähnelt einer Upsert-Aktivität, wie sie in anderen Konnektoren verwendet wird.

Erstellen einer Snowflake Merge-Aktivität

Eine Instanz einer Snowflake Merge-Aktivität wird aus einer Snowflake-Verbindung unter Verwendung des Aktivitätstyps Merge erstellt.

Um eine Instanz einer Aktivität zu erstellen, ziehen Sie den Aktivitätstyp auf die Entwurfsfläche oder kopieren Sie den Aktivitätstyp und fügen Sie ihn auf der Entwurfsfläche ein. Weitere Einzelheiten finden Sie unter Erstellen einer Aktivitäts- oder Toolinstanz in Komponentenwiederverwendung.

Eine vorhandene Snowflake Merge-Aktivität kann von diesen Orten aus bearbeitet werden:

Konfigurieren einer Snowflake Merge-Aktivität

Befolgen Sie diese Schritte, um eine Snowflake Merge-Aktivität zu konfigurieren:

Schritt 1: Geben Sie einen Namen ein und wählen Sie eine Tabelle

In diesem Schritt geben Sie einen Namen für die Aktivität ein und wählen eine Tabelle aus. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

Snowflake Merge-Aktivitätskonfiguration Schritt 1

  • Name: Geben Sie einen Namen ein, um die Aktivität zu identifizieren. Der Name muss für jede Snowflake Merge-Aktivität eindeutig sein und darf keine Schrägstriche / oder Doppelpunkte : enthalten.

  • Tabelle auswählen: In diesem Abschnitt werden die in dem Snowflake-Endpunkt verfügbaren Tabellen angezeigt. Beim erneuten Öffnen einer vorhandenen Aktivitätskonfiguration wird nur die ausgewählte Tabelle angezeigt, anstatt die gesamte Tabellenliste neu zu laden.

    • Ausgewählte Tabelle: Nachdem eine Tabelle ausgewählt wurde, wird sie hier aufgelistet.

    • Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Tabellen zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Tabellen bereits innerhalb der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Tabellen vom Endpunkt beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Tabellen vom Snowflake-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Tabellen zu Snowflake hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Tabelle von Tabellen verwendet werden.

    • Tabelle auswählen: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um eine Tabelle auszuwählen. Es kann nur eine Tabelle ausgewählt werden. Die Informationen, die für jede Tabelle verfügbar sind, werden vom Snowflake-Endpunkt abgerufen:

      • Name: Der Name einer Tabelle.

      • Typ: Der Typ, der eine Tabelle ist.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Tabellen gefüllt wird, könnte die Snowflake-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Speichern & Beenden: Wenn aktiviert, klicken Sie, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Schritt 2: Merge-Schlüssel auswählen

In diesem Schritt geben Sie die Spalten an, die als Merge-Schlüssel verwendet werden sollen. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

Snowflake Merge-Aktivitätskonfiguration Schritt 2

  • Merge-Schlüssel: Wählen Sie die Spalten aus, die als Aktualisierungsschlüssel für das Merge verwendet werden sollen.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Schritt 3: Einen Ansatz auswählen

Für das Merging von Daten in Snowflake werden verschiedene Ansätze unterstützt. Wählen Sie entweder Direkte Zuordnung oder Stage-Datei. Wenn Sie den Ansatz Stage-Datei verwenden, wählen Sie entweder die Optionen Vorhandene Stage verwenden oder Temporäre Stage verwenden.

Direkte Zuordnung

Snowflake Merge-Aktivitätskonfiguration Schritt 3 direkter Ansatz

  • Ansatz: Verwenden Sie das Dropdown-Menü, um Direct Mapping auszuwählen.

  • Temporärer Stufenname: Geben Sie einen Namen ein, der für eine temporäre Stufe in Snowflake verwendet werden soll.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Stufen-Datei-Ansatz (Verwenden Sie vorhandene Stufe)

Snowflake Merge-Aktivitätskonfiguration Schritt 3 vorhandene Stufen-Datei-Ansatz

  • Ansatz: Verwenden Sie das Dropdown-Menü, um Stage File auszuwählen.

  • Stufentyp: Verwenden Sie das Dropdown-Menü, um Use Existing Stage auszuwählen.

  • Wählen Sie eine Stufe: Dieser Abschnitt zeigt die in der Snowflake-Endpunkt verfügbaren Stufen an. Beim erneuten Öffnen einer vorhandenen Aktivitätskonfiguration wird nur die ausgewählte Stufe angezeigt, anstatt die gesamte Stufenliste neu zu laden.

    • Ausgewählte Stufe: Nachdem eine Stufe ausgewählt wurde, wird sie hier aufgelistet.

    • Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Stufen zu filtern. Die Suche ist nicht groß-/kleinschreibungssensitiv. Wenn Tabellen bereits innerhalb der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Tabellen vom Endpunkt beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Tabellen vom Snowflake-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Sie kürzlich Tabellen zu Snowflake hinzugefügt haben. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Tabelle von Tabellen verwendet werden.

    • Auswählen einer Stufe: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um eine Stufe auszuwählen. Es kann nur eine Stufe ausgewählt werden. Die für jede Stufe verfügbaren Informationen werden vom Snowflake-Endpunkt abgerufen:

      • Name: Der Stagename von Snowflake.

      • Type: Der Stagetyp von Snowflake. Informationen zu den Unterschieden zwischen internen und externen Stages finden Sie in der Snowflake-Dokumentation zum Erstellen von Stages.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Stages gefüllt wird, könnte die Snowflake-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Back: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Next: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Fertig-Schaltfläche im letzten Schritt klicken.

  • Discard Changes: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Stage File-Ansatz (Verwenden Sie temporäre Stage)

Snowflake Merge-Aktivitätskonfiguration Schritt 3 temporärer Stage-Dateiansatz

  • Approach: Verwenden Sie das Dropdown-Menü, um Stage File auszuwählen.

  • Stage Type: Verwenden Sie das Dropdown-Menü, um Verwenden Sie temporäre Stage auszuwählen.

  • Temporary Stage Name: Geben Sie einen Namen ein, der für eine temporäre Stage bei Snowflake verwendet werden soll.

  • Back: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Next: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Fertig-Schaltfläche im letzten Schritt klicken.

  • Discard Changes: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 4: Überprüfen Sie die Datenschemas

Die Anforderungs- und Antwortschemas, die von dem Endpunkt generiert werden, werden angezeigt. Die angezeigten Schemata hängen von dem im vorherigen Schritt angegebenen Ansatz ab.

Diese Unterabschnitte beschreiben die Anfrage- und Antwortstrukturen für jeden Ansatz:

Diese Aktionen sind bei jedem Ansatz verfügbar:

  • Daten-Schemas: Diese Daten-Schemas werden von benachbarten Transformationen geerbt und während der Transformationszuordnung erneut angezeigt.

    Hinweis

    Daten, die in einer Transformation bereitgestellt werden, haben Vorrang vor der Aktivitätskonfiguration.

    Der Snowflake-Connector verwendet Version 3.19.0 des Snowflake JDBC-Treibers und die Snowflake SQL-Befehle. Weitere Informationen zu den Schema-Knoten und -Feldern finden Sie in der API-Dokumentation.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um die Schemata vom Endpunkt neu zu generieren. Diese Aktion regeneriert auch das Schema an anderen Stellen im Projekt, an denen dasselbe Schema referenziert wird, z. B. in einer benachbarten Transformation.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Direkter Mapping-Ansatz

Snowflake Merge-Aktivitätskonfiguration Schritt 4 direkter Mapping-Ansatz

Dies sind die Schema-Felder, die im obigen Beispiel-Screenshot sichtbar sind:

  • Anfrage

    Anfrage-Schema-Feld/-Knoten Hinweise
    updateRequest Knoten der Zusammenführungsanfrage.
    table Knoten, der den Tabellennamen NAME zeigt.
    item Knoten des Elements.
    column_A Wert für den ersten Spaltennamen, COLOR.
    column_B Wert für den zweiten Spaltennamen, FLOWER.
    . . . Werte für nachfolgende Tabellenspalten.

  • Antwort

    Antwort-Schema Feld/Knoten Hinweise
    mergeResponse Knoten der Zusammenführungsantwort.
    noOfRowsUpdated Anzahl der aktualisierten Zeilen.
    noOfRowsInserted Anzahl der eingefügten Zeilen.
    errors Knoten der Fehler.
    item Knoten der Fehlerartikel.
    errorMessage Fehlermeldung für den Fehlerartikel.

Stage-Datei-Ansatz

Snowflake Merge-Aktivitätskonfiguration Schritt 4 Stage-Datei-Ansatz

Dies sind die Schemafelder, die im obigen Beispiel-Screenshot sichtbar sind:

  • Anfrage

    Anfrage-Schema Feld/Knoten Hinweise
    mergeRequest Knoten der Zusammenführungsanfrage.
    stageName Pfad oder Präfix, unter dem die Daten auf der Snowflake-Stage hochgeladen werden.
    fileContent Dateninhalte der Datei im CSV-Format, die für die Aktualisierung in der Snowflake-Tabelle bereitgestellt werden sollen.
    destPrefix Ziel-Datei-Präfix, das auf der Snowflake-Stage verwendet werden soll.
    destFileName Ziel-Dateiname, der auf der Snowflake-Stage verwendet werden soll.

    Wichtig

    Wenn Vorhandene Stage verwenden ausgewählt ist und der Typ der ausgewählten Stage extern ist, werden stageName und fileContent aus dem Anfrage-Schema ausgeschlossen.

    Für Informationen zu den Unterschieden zwischen internen und externen Stages siehe die Snowflake-Dokumentation zum Erstellen von Stages.

  • Antwort

    Antwort-Schema Feld/Knoten Hinweise
    mergeResponse Knoten der Merge-Antwort.
    noOfRowsUpdated Anzahl der aktualisierten Zeilen.
    noOfRowsInserted Anzahl der eingefügten Zeilen.
    errors Knoten der Fehler.
    item Knoten der Fehleritems.
    errorMessage Fehlermeldung für das Fehleritem.

Nächste Schritte

Nachdem eine Snowflake Merge-Aktivität konfiguriert wurde, vervollständige die Konfiguration der Operation, indem du weitere Aktivitäten oder Tools als Operation Schritte hinzufügst und konfigurierst. Du kannst auch die Betriebseinstellungen konfigurieren, die die Möglichkeit umfassen, Operationen zusammenzuführen, die sich in denselben oder unterschiedlichen Workflows befinden.

Menüaktionen für eine Aktivität sind im Projektbereich und auf der Entwurfsgrafik zugänglich. Für Details siehe das Aktivitätsaktionsmenü in den Connector-Grundlagen.

Snowflake Merge-Aktivitäten können als Ziel mit diesen Betriebsmustern verwendet werden:

Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Speicherort und verwenden Sie dann diesen temporären Speicherort in der Skriptfunktion.

Wenn Sie bereit sind, bereitstellen und ausführen Sie die Operation und validieren Sie das Verhalten, indem Sie die Betriebsprotokolle überprüfen.