Snowflake Insert-Aktivität
Einführung
Eine Snowflake Insert-Aktivität, die ihre Snowflake-Verbindung verwendet, fügt Tabellendaten (entweder als CSV-Datei oder direkt auf Spalten einer Tabelle abgebildet) in Snowflake ein und ist als Ziel gedacht, um Daten in einem Vorgang zu konsumieren.
Erstellen einer Snowflake Insert-Aktivität
Eine Instanz einer Snowflake Insert-Aktivität wird aus einer Snowflake-Verbindung unter Verwendung des Aktivitätstyps Insert erstellt.
Um eine Instanz einer Aktivität zu erstellen, ziehen Sie den Aktivitätstyp auf die Entwurfsfläche oder kopieren Sie den Aktivitätstyp und fügen Sie ihn auf der Entwurfsfläche ein. Weitere Informationen finden Sie unter Erstellen einer Aktivitäts- oder Toolinstanz in Komponentenwiederverwendung.
Eine vorhandene Snowflake Insert-Aktivität kann von diesen Orten aus bearbeitet werden:
- Die Entwurfsfläche (siehe Komponentenaktionsmenü in Entwurfsfläche).
- Der Komponenten-Tab im Projektbereich (siehe Komponentenaktionsmenü in Projektbereich Komponenten-Tab).
Konfigurieren einer Snowflake Insert-Aktivität
Befolgen Sie diese Schritte, um eine Snowflake Insert-Aktivität zu konfigurieren:
-
Schritt 1: Geben Sie einen Namen ein und wählen Sie ein Objekt aus
Geben Sie einen Namen für die Aktivität ein und wählen Sie ein Objekt aus, entweder eine Tabelle oder eine Ansicht. -
Schritt 2: Wählen Sie einen Ansatz aus
Verschiedene Ansätze werden unterstützt, um Daten in Snowflake einzufügen. Wählen Sie entweder Stage-Datei oder SQL Insert. Wenn Sie den Ansatz Stage-Datei verwenden, können Sie entweder die Dateitypen Amazon S3 oder Intern auswählen. -
Schritt 3: Überprüfen der Datenschemas
Alle Anforderungs- oder Antwortschemas, die vom Endpunkt generiert werden, werden angezeigt.
Schritt 1: Geben Sie einen Namen ein und wählen Sie ein Objekt aus
In diesem Schritt geben Sie einen Namen für die Aktivität ein und wählen eine Tabelle oder Ansicht aus (siehe Snowflakes Überblick über Ansichten). Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.
-
Name: Geben Sie einen Namen ein, um die Aktivität zu identifizieren. Der Name muss für jede Snowflake Insert-Aktivität eindeutig sein und darf keine Schrägstriche
/oder Doppelpunkte:enthalten. -
Wählen Sie ein Objekt aus: In diesem Abschnitt werden die im Snowflake-Endpunkt verfügbaren Objekte angezeigt. Beim erneuten Öffnen einer vorhandenen Aktivitätskonfiguration wird nur das ausgewählte Objekt angezeigt, anstatt die gesamte Objektliste neu zu laden.
-
Ausgewähltes Snowflake-Objekt: Nachdem ein Objekt ausgewählt wurde, wird es hier aufgelistet.
-
Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Objekte zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Objekte bereits in der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Objekte beim Suchen vom Endpunkt neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.
-
Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Objekte vom Snowflake-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Objekte zu Snowflake hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Objekttabelle verwendet werden.
-
Auswählen eines Objekts: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um ein Objekt auszuwählen. Es kann nur ein Objekt ausgewählt werden. Die für jedes Objekt verfügbaren Informationen werden vom Snowflake-Endpunkt abgerufen:
-
Name: Der Name eines Objekts, entweder eine Tabelle oder eine Ansicht.
-
Typ: Der Typ des Objekts, entweder eine Tabelle oder eine Ansicht.
-
Tipp
Wenn die Tabelle nicht mit verfügbaren Objekten gefüllt wird, könnte die Snowflake-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.
-
-
Speichern & Beenden: Wenn aktiviert, klicken Sie, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.
-
Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.
-
Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.
Schritt 2: Wählen Sie einen Ansatz
Für das Einfügen von Daten in Snowflake werden verschiedene Ansätze unterstützt. Wählen Sie entweder SQL Insert oder Stage File. Wenn Sie den Ansatz Stage File verwenden, wählen Sie entweder die Dateitypen Amazon S3 oder Internal.
- SQL Insert Ansatz
- Amazon S3 Stage File Ansatz
- Google Cloud Storage Stage File Ansatz
- Internal Stage File Ansatz
- Microsoft Azure Stage File Ansatz
SQL Insert Ansatz
Für diesen Ansatz werden die Tabellenspalten im folgenden Datenschema-Schritt angezeigt, sodass sie in einer Transformation zugeordnet werden können.
-
Ansatz: Verwenden Sie das Dropdown-Menü, um SQL Insert auszuwählen.
-
Zurück: Klicken Sie, um zum vorherigen Schritt zurückzukehren und die Konfiguration vorübergehend zu speichern.
-
Weiter: Klicken Sie, um zum nächsten Schritt fortzufahren und die Konfiguration vorübergehend zu speichern. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.
-
Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.
Amazon S3 Stage File Ansatz
Dieser Ansatz ermöglicht es, eine CSV-Datei über eine Amazon S3-Quelle in Snowflake einzufügen. Die Datei wird zwischengespeichert und dann gemäß den Spezifikationen des Anforderungsdatenschemas in die Tabelle kopiert.
Für Informationen zum Anfordern von Daten von Amazon S3 siehe Anfragen stellen in der Amazon S3-Dokumentation.
-
Ansatz: Verwenden Sie das Dropdown-Menü, um Datei zwischenspeichern auszuwählen.
-
Zwischenspeichertyp: Wählen Sie Amazon S3, um Daten aus dem Amazon S3-Speicher abzurufen.
-
Authentifizierungstyp: Wählen Sie entweder Anmeldeinformationen oder Speicherintegration. Anmeldeinformationen erfordert die Amazon S3-Zugangs-ID und den geheimen Zugriffsschlüssel. Speicherintegration benötigt nur den Namen der Speicherintegration. Diese Authentifizierungstypen werden im Folgenden behandelt.
Anmeldeinformationen-Authentifizierung
Der Authentifizierungstyp Anmeldeinformationen erfordert die Amazon S3-Zugangs-ID und den geheimen Zugriffsschlüssel (für Informationen zum Anfordern von Daten von Amazon S3 siehe Anfragen stellen in der Amazon S3-Dokumentation).
-
Authentifizierungstyp: Wählen Sie Anmeldeinformationen.
-
Zugangs-ID: Geben Sie die Amazon S3-Zugangs-ID ein.
-
Geheimer Zugriffsschlüssel: Geben Sie den geheimen Zugriffsschlüssel für Amazon S3 ein.
Speicherintegrations-Authentifizierung
Der Authentifizierungstyp Speicherintegration erfordert die Erstellung einer Snowflake-Speicherintegration. Für Informationen zur Erstellung einer Snowflake-Speicherintegration siehe Speicherintegration erstellen in der Snowflake-Dokumentation.
-
Authentifizierungstyp: Wählen Sie Speicherintegration.
-
Name der Speicherintegration: Geben Sie den Namen der Snowflake-Speicherintegration ein.
Zusätzliche Optionen
Für die Authentifizierungstypen Anmeldeinformationen und Speicherintegration gibt es diese zusätzlichen Optionen:
-
Bucket-Name: Geben Sie einen gültigen Bucket-Namen für einen vorhandenen Bucket auf dem Amazon S3-Server ein. Dies wird ignoriert, wenn
bucketNameim DatenschemaInsertAmazonS3Requestangegeben ist. -
Dateipfad: Geben Sie den Dateipfad ein.
-
Bei Fehler: Wählen Sie eine dieser Optionen aus dem Dropdown-Menü Bei Fehler; zusätzliche Optionen werden entsprechend angezeigt:
-
Abort_Statement: Bricht die Verarbeitung ab, wenn Fehler auftreten.
-
Continue: Setzt das Laden der Datei fort, auch wenn Fehler auftreten.
-
Skip_File: Überspringt die Datei, wenn Fehler in der Datei auftreten.
-
Skip_File_\<num>: Überspringt die Datei, wenn die Anzahl der Fehler in der Datei die in Überspringen Dateinummer angegebene Zahl erreicht oder überschreitet.
-
Skip_File_\<num>%: Überspringt die Datei, wenn der Prozentsatz der Fehler in der Datei den in Überspringen Dateinummer Prozentsatz angegebenen Prozentsatz überschreitet.
-
-
Fehler bei Spaltenanzahl-Mismatch: Wenn ausgewählt, wird ein Fehler im Fehlerknoten des Antwortschemas gemeldet, wenn die Quell- und Zielspaltenanzahl nicht übereinstimmt. Wenn Sie diese Option nicht auswählen, schlägt die Operation nicht fehl und die bereitgestellten Daten werden eingefügt.
-
Zurück: Klicken Sie, um zum vorherigen Schritt zurückzukehren und die Konfiguration vorübergehend zu speichern.
-
Weiter: Klicken Sie, um zum nächsten Schritt fortzufahren und die Konfiguration vorübergehend zu speichern. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.
-
Änderungen verwerfen: Klicken Sie nach Änderungen, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.
Interne Stage-Datei-Ansatz
Dieser Ansatz ermöglicht es, eine CSV-Datei in Snowflake einzufügen. Die Datei wird gestaged und dann gemäß den Spezifikationen des Anforderungsdatenschemas in die Tabelle kopiert.
-
Ansatz: Verwenden Sie das Dropdown-Menü, um Datei stagen auszuwählen.
-
Staging-Typ: Wählen Sie Intern, um die Daten aus einer internen Quelle abzurufen.
-
Bei Fehler: Wählen Sie eine dieser Optionen aus dem Dropdown-Menü Bei Fehler; zusätzliche Optionen werden entsprechend angezeigt:
-
Abort_Statement: Bricht die Verarbeitung ab, wenn Fehler auftreten.
-
Continue: Setzt das Laden der Datei fort, auch wenn Fehler auftreten.
-
Skip_File: Überspringt die Datei, wenn Fehler in der Datei auftreten.
-
Skip_File_\<num>: Überspringt die Datei, wenn die Anzahl der Fehler in der Datei die in Skip File Number angegebene Anzahl erreicht oder überschreitet.
-
Skip_File_\<num>%: Überspringt die Datei, wenn der Prozentsatz der Fehler in der Datei den in Skip File Number Percentage angegebenen Prozentsatz überschreitet.
-
-
Error on Column Count Mismatch: Wenn ausgewählt, wird ein Fehler im Fehlerknoten des Antwortschemas gemeldet, wenn die Quell- und Zielspaltenanzahl nicht übereinstimmt. Wenn Sie diese Option nicht auswählen, schlägt die Operation nicht fehl und die bereitgestellten Daten werden eingefügt.
-
Back: Klicken Sie, um zum vorherigen Schritt zurückzukehren und die Konfiguration vorübergehend zu speichern.
-
Next: Klicken Sie, um zum nächsten Schritt fortzufahren und die Konfiguration vorübergehend zu speichern. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Finished im letzten Schritt klicken.
-
Discard Changes: Klicken Sie nach Änderungen, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen verwerfen möchten.
Google Cloud Storage Stage File Ansatz
Dieser Ansatz ermöglicht es, eine CSV-Datei in Google Cloud Storage einzufügen. Die Datei wird zwischengespeichert und dann gemäß den Spezifikationen des Anforderungsdatenschemas in die Tabelle kopiert.
-
Approach: Verwenden Sie das Dropdown-Menü, um Stage File auszuwählen.
-
Stage Type: Wählen Sie Google Cloud Storage, um die Daten aus einer internen Quelle abzurufen.
-
Storage Integration Name: Geben Sie den Namen der Snowflake-Speicherintegration ein.
-
Bucket Name: Geben Sie einen gültigen Bucket-Namen für einen vorhandenen Bucket in Google Cloud Storage ein. Dies wird ignoriert, wenn
bucketNameim DatenschemaInsertGoogleCloudRequestbereitgestellt wird. -
Dateipfad: Geben Sie den Dateipfad ein.
-
Bei Fehler: Wählen Sie eine dieser Optionen aus dem Dropdown-Menü Bei Fehler; zusätzliche Optionen erscheinen entsprechend:
-
Abort_Statement: Bricht die Verarbeitung ab, wenn Fehler auftreten.
-
Continue: Setzt das Laden der Datei fort, auch wenn Fehler auftreten.
-
Skip_File: Überspringt die Datei, wenn Fehler in der Datei auftreten.
-
Skip_File_\<num>: Überspringt die Datei, wenn die Anzahl der Fehler in der Datei die in Überspringen Dateinummer angegebene Zahl erreicht oder überschreitet.
-
Skip_File_\<num>%: Überspringt die Datei, wenn der Prozentsatz der Fehler in der Datei den in Überspringen Dateinummer Prozentsatz angegebenen Prozentsatz überschreitet.
-
-
Fehler bei Spaltenanzahl-Mismatch: Wenn ausgewählt, wird ein Fehler im Fehlerknoten des Antwortschemas gemeldet, wenn die Quell- und Zielspaltenanzahlen nicht übereinstimmen. Wenn Sie diese Option nicht auswählen, schlägt die Operation nicht fehl und die bereitgestellten Daten werden eingefügt.
-
Zurück: Klicken Sie, um zum vorherigen Schritt zurückzukehren und die Konfiguration vorübergehend zu speichern.
-
Weiter: Klicken Sie, um zum nächsten Schritt fortzufahren und die Konfiguration vorübergehend zu speichern. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.
-
Änderungen verwerfen: Klicken Sie nach Änderungen, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.
Microsoft Azure Stage File Ansatz
Dieser Ansatz ermöglicht es, eine CSV-Datei in Snowflake einzufügen, indem eine Microsoft Azure-Quelle verwendet wird. Die Datei wird gestaged und dann gemäß den Spezifikationen des Anforderungsdatenschemas in die Tabelle kopiert.
-
Ansatz: Verwenden Sie das Dropdown-Menü, um Stage File auszuwählen.
-
Staging-Typ: Wählen Sie Microsoft Azure, um Daten aus Microsoft Azure-Speichercontainern abzurufen.
-
Authentifizierungstyp: Wählen Sie entweder Anmeldeinformationen oder Speicherintegration. Anmeldeinformationen erfordert ein Microsoft Azure Shared Access Signature (SAS)-Token und einen Speicherkontonamen. Speicherintegration erfordert nur einen Namen für die Speicherintegration. Diese Authentifizierungstypen werden im Folgenden behandelt.
Anmeldeinformationen-Authentifizierung
Der Anmeldeinformationen-Authentifizierungstyp erfordert ein Microsoft Azure SAS-Token und einen Speicherkontonamen.
-
Authentifizierungstyp: Wählen Sie Anmeldeinformationen.
-
Azure SAS-Token: Geben Sie das Microsoft Azure SAS-Token ein. Informationen zur Erstellung von SAS-Token für Speicherkonten in Microsoft Azure finden Sie unter SAS-Token für Ihre Speicherkonten erstellen in der Microsoft Azure-Dokumentation.
-
Speicherkontoname: Geben Sie den Namen des Microsoft Azure-Speicherkontos ein.
Speicherintegrations-Authentifizierung
Der Speicherintegration-Authentifizierungstyp erfordert die Erstellung einer Snowflake-Speicherintegration. Informationen zur Erstellung einer Snowflake-Speicherintegration finden Sie unter Speicherintegration erstellen in der Snowflake-Dokumentation.
-
Authentifizierungstyp: Wählen Sie Speicherintegration.
-
Name der Speicherintegration: Geben Sie den Namen der Snowflake-Speicherintegration ein.
Zusätzliche Optionen
Für sowohl Anmeldeinformationen als auch Speicherintegration-Authentifizierung gibt es diese zusätzlichen Optionen:
-
Master Key: Geben Sie den Master-Key ein, der für die clientseitige Verschlüsselung (CSE) in Microsoft Azure verwendet wird. Dies wird ignoriert, wenn
azureMasterKeyim DatenschemaInsertMicrosoftAzureCloudRequestbereitgestellt wird.Hinweis
Informationen zur Erstellung von Schlüsseln in Microsoft Azure finden Sie unter Schnellstart: Einen Schlüssel im Azure Key Vault über das Azure-Portal festlegen und abrufen in der Microsoft Azure-Dokumentation.
Informationen zur Speicher-CSE in Microsoft Azure finden Sie unter Clientseitige Verschlüsselung für Blobs in der Microsoft Azure-Dokumentation.
-
Containername: Geben Sie einen gültigen Bucket-Namen für einen vorhandenen Speichercontainer in Microsoft Azure ein. Dies wird ignoriert, wenn
containerNameim DatenschemaInsertMicrosoftAzureCloudRequestbereitgestellt wird. -
Dateipfad: Geben Sie den Dateipfad ein.
-
Bei Fehler: Wählen Sie eine der Optionen aus dem Dropdown-Menü Bei Fehler; zusätzliche Optionen erscheinen entsprechend:
-
Abort_Statement: Bricht die Verarbeitung ab, wenn Fehler auftreten.
-
Fortfahren: Setzt das Laden der Datei fort, auch wenn Fehler auftreten.
-
Datei_Überspringen: Überspringt die Datei, wenn Fehler in der Datei auftreten.
-
Datei_Überspringen_\<num>: Überspringt die Datei, wenn die Anzahl der Fehler in der Datei die in Überspringen Dateinummer angegebene Zahl erreicht oder überschreitet.
-
Datei_Überspringen_\<num>%: Überspringt die Datei, wenn der Prozentsatz der Fehler in der Datei den in Überspringen Dateinummer Prozentsatz angegebenen Prozentsatz überschreitet.
-
-
Fehler bei Spaltenanzahl-Mismatch: Wenn ausgewählt, wird ein Fehler im Fehlerknoten des Antwortschemas gemeldet, wenn die Quell- und Zielspaltenanzahl nicht übereinstimmt. Wenn Sie diese Option nicht auswählen, schlägt die Operation nicht fehl und die bereitgestellten Daten werden eingefügt.
-
Zurück: Klicken Sie, um zum vorherigen Schritt zurückzukehren und die Konfiguration vorübergehend zu speichern.
-
Weiter: Klicken Sie, um zum nächsten Schritt fortzufahren und die Konfiguration vorübergehend zu speichern. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.
-
Änderungen verwerfen: Klicken Sie nach Änderungen, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.
Schritt 3: Überprüfen Sie die Datenschemas
Die Anforderungs- und Antwortschemas, die von dem Endpunkt generiert wurden, werden angezeigt. Die angezeigten Schemata hängen von dem im vorherigen Schritt angegebenen Ansatz ab.
Diese Unterabschnitte beschreiben die Anforderungs- und Antwortstrukturen für jede Kombination von Ansatz und Stagetyp:
- SQL Insert Ansatz
- Amazon S3 Stage-Datei Ansatz
- Google Cloud Storage Stage-Datei Ansatz
- Interner Stage-Datei Ansatz
- Microsoft Azure Stage-Datei Ansatz
Diese Aktionen sind mit jedem Ansatz verfügbar:
-
Daten-Schemas: Diese Daten-Schemas werden von benachbarten Transformationen übernommen und während der Transformationszuordnung erneut angezeigt.
Hinweis
Daten, die in einer Transformation bereitgestellt werden, haben Vorrang vor der Aktivitätskonfiguration.
Tipp
Wenn ein einfaches Anführungszeichen (
') in einem Anforderungs-Payload vorhanden ist, wird zur Laufzeit ein Syntaxfehler zurückgegeben. Sie können die Einstellung Sonderzeichen escapen in der Verbindung aktivieren, um der Aktivität zu ermöglichen, einfache Anführungszeichen (') zur Laufzeit automatisch zu escapen.Der Snowflake-Connector verwendet Version 3.19.0 des Snowflake JDBC-Treibers und die Snowflake SQL-Befehle. Weitere Informationen zu den Schema-Knoten und -Feldern finden Sie in der API-Dokumentation.
-
Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um die Schemata vom Snowflake-Endpunkt neu zu generieren. Diese Aktion regeneriert auch ein Schema an anderen Stellen im Projekt, an denen dasselbe Schema referenziert wird, wie in einer benachbarten Transformation.
-
Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.
-
Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.
-
Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen verwerfen möchten.
SQL Insert-Ansatz
Wenn der Ansatz SQL Insert ist, werden die Tabellen-Spalten angezeigt, sodass sie in einer Transformation zugeordnet werden können.
-
Anfrage
Anfrage-Schema Feld/Knoten Hinweise tableKnoten, der den Tabellennamen anzeigt. column_AName der ersten Tabellen-Spalte. column_BName der zweiten Tabellen-Spalte. . . .Folgende Tabellen-Spalten. -
Antwort
Antwort-Schema Feld/Knoten Hinweise statusBoolean-Flag, das angibt, ob die Datensatz-Einfügung erfolgreich war. errorMessageBeschreibende Fehlermeldung, falls ein Fehler während der Einfügung auftritt. recordsInsertedAnzahl der eingefügten Datensätze, falls die Einfügung erfolgreich war.
Amazon S3 Stage File-Ansatz
Wenn der Ansatz Amazon S3 Stage File ist, werden die Spezifikationen für das Staging und Einfügen einer CSV-Datei im Datenschema angezeigt, damit sie in einer Transformation zugeordnet werden können. Das verwendete Muster dient dazu, nur eine Datei zuzuordnen. Wenn das Muster mehr als eine Datei zuordnet, wird die Aktivität mit einer beschreibenden Nachricht fehlschlagen.
-
Anfrage
Anfrage-Schema Feld/Knoten Hinweise accessKeyAmazon S3 Access Key ID. secretAccessKeyAmazon S3 Secret Access Key. storageintegrationNameName der Snowflake-Speicherintegration, die für die Authentifizierung der Snowflake-Speicherintegration verwendet werden soll. bucketNameGültiger Bucket-Name für einen vorhandenen Bucket auf dem Amazon S3-Server. filePathSpeicherort der Stage-Datei im Amazon S3-Bucket. patternReguläres Ausdrucksmuster, das zum Finden der Datei auf der Stage verwendet wird; wenn compressionGZIPist, wird[.]gzan das Muster angehängt.onErrorOn Error-Option ausgewählt. encryptionKnoten, der die Verschlüsselung darstellt. encryptionType[Amazon S3-Verschlüsselungstyp][aws-encryption] (entweder serverseitige Verschlüsselung oder clientseitige Verschlüsselung). masterKeyAmazon S3 Master Key. kmsKeyId[Amazon Key Management Service][amazon-kms] Master-ID. fileFormatKnoten, der das Dateiformat darstellt. nullIfEin String, der in SQL NULLumgewandelt werden soll; standardmäßig ist es ein leerer String. Siehe dieNULL_IF-Option der SnowflakeCOPY INTO<location>Dokumentation.enclosingCharZeichen, das verwendet wird, um Datenfelder einzuschließen; siehe die FIELD_OPTIONALLY_ENCLOSED_BY-Option der SnowflakeCOPY INTO<location>Dokumentation.Hinweis
Das
enclosingCharkann entweder ein einfaches Anführungszeichen'oder ein doppeltes Anführungszeichen"sein. Um das einfache Anführungszeichen zu verwenden, verwenden Sie entweder die oktale'oder die hexadezimale0x27Darstellung oder verwenden Sie eine doppelte einfache Anführungszeichen-Escape''. Wenn ein Feld dieses Zeichen enthält, entkommen Sie ihm mit demselben Zeichen.compressionDer Komprimierungsalgorithmus, der für die Datendateien verwendet wird. GZIPoderNONEwerden unterstützt. Siehe die Komprimierungsoption der SnowflakeCOPY INTO<location>Dokumentation.skipHeaderAnzahl der Zeilen am Anfang der Quelldatei, die übersprungen werden sollen. errorOnColumnCountMismatchBoolean-Flag, um einen Fehler zu melden, wenn die Quell- und Zielanzahl des Antwortschemas nicht übereinstimmen. fieldDelimiterDas Trennzeichen, das verwendet wird, um Datenfelder zu trennen; siehe die FIELD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation.recordDelimiterDas Trennzeichen, das verwendet wird, um Gruppen von Feldern zu trennen; siehe die RECORD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation. -
Antwort
Antwortschema Feld/Knoten Hinweise statusZurückgegebener Status. fileName der gestellten CSV-Datei, die beim Einfügen von Daten in die Snowflake-Tabelle verarbeitet wurde. rows_parsedAnzahl der aus der CSV-Datei geparsten Zeilen. rows_loadedAnzahl der ohne Fehler aus der CSV-Datei in die Snowflake-Tabelle geladenen Zeilen. errorKnoten, der die Fehlermeldungen darstellt. error_limitAnzahl der Fehler, die dazu führen, dass die Datei übersprungen wird, wie in Skip_File_\<num> festgelegt. errors_seenAnzahl der gesehenen Fehler. first_errorDer erste Fehler in der Quelldatei. first_error_lineDie erste Zeilennummer des ersten Fehlers. first_error_characterDas erste Zeichen des ersten Fehlers. first_error_column_nameDer Spaltenname des ersten Fehlerorts.
Google Cloud Storage Stage File-Ansatz
Wenn der Ansatz Google Cloud Storage Stage File ist, werden die Spezifikationen für das Staging und Einfügen einer CSV-Datei im Datenschema angezeigt, damit sie in einer Transformation zugeordnet werden können. Das verwendete Muster ist so gestaltet, dass nur eine Datei übereinstimmt. Wenn das Muster mit mehr als einer Datei übereinstimmt, tritt ein Fehler mit einer beschreibenden Meldung auf.
-
Anfrage
Anfrage-Schema Feld/Knoten Anmerkungen storageintegrationNameName der Snowflake-Speicherintegration, die für die Authentifizierung der Snowflake-Speicherintegration verwendet werden soll. bucketNameGültiger Bucket-Name für einen vorhandenen Bucket in Google Cloud Storage. filePathSpeicherort der Stage-Datei im Google Cloud Storage-Bucket. patternRegulärer Ausdruck, der zum Finden der Datei auf der Stage verwendet wird; wenn compressDatawahr ist, wird[.]gzan das Muster angehängt.onErrorBei Fehler ausgewählte Option. fileFormatKnoten, der das Dateiformat darstellt. nullIfEin String, der in SQL NULLumgewandelt werden soll; standardmäßig ist es ein leerer String. Siehe dieNULL_IF-Option der SnowflakeCOPY INTO<location>Dokumentation.enclosingCharZeichen, das verwendet wird, um Datenfelder einzuschließen; siehe die FIELD_OPTIONALLY_ENCLOSED_BY-Option der SnowflakeCOPY INTO<location>Dokumentation.Hinweis
Das
enclosingCharkann entweder ein einfaches Anführungszeichen'oder ein doppeltes Anführungszeichen"sein. Um das einfache Anführungszeichen zu verwenden, verwenden Sie entweder die oktale'oder die hexadezimale0x27Darstellung oder verwenden Sie eine doppelte einfache Anführungszeichen-Escape''. Wenn ein Feld dieses Zeichen enthält, escapen Sie es mit demselben Zeichen.compressionDer Komprimierungsalgorithmus, der für die Datendateien verwendet wird. GZIPoderNONEwerden unterstützt. Siehe die Komprimierungsoption der SnowflakeCOPY INTO<location>Dokumentation.skipHeaderAnzahl der Zeilen am Anfang der Quelldatei, die übersprungen werden sollen. errorOnColumnCountMismatchBoolean-Flag, um einen Fehler zu melden, wenn die Quell- und Zielanzahl des Antwortschemas nicht übereinstimmen. fieldDelimiterDas Trennzeichen, das verwendet wird, um Datenfelder zu trennen; siehe die FIELD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation.recordDelimiterDas Trennzeichen, das verwendet wird, um Gruppen von Feldern zu trennen; siehe die RECORD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation. -
Antwort
Antwort-Schema Feld/Knoten Hinweise statusZurückgegebener Status. fileName der gestellten CSV-Datei, die beim Einfügen von Daten in die Snowflake-Tabelle verarbeitet wurde. rows_parsedAnzahl der aus der CSV-Datei geparsten Zeilen. rows_loadedAnzahl der ohne Fehler aus der CSV-Datei in die Snowflake-Tabelle geladenen Zeilen. errorKnoten, der die Fehlermeldungen darstellt. error_limitAnzahl der Fehler, die dazu führen, dass die Datei übersprungen wird, wie in Skip_File_\<num> festgelegt. errors_seenAnzahl der gesehenen Fehler. first_errorDer erste Fehler in der Quelldatei. first_error_lineDie erste Zeilennummer des ersten Fehlers. first_error_characterDas erste Zeichen des ersten Fehlers. first_error_column_nameDer Spaltenname des ersten Fehlerorts.
Interner Staging-Dateiansatz
Wenn der Ansatz Interner Staging-Datei ist, werden die Spezifikationen für das Staging und Einfügen einer CSV-Datei im Datenschema angezeigt, damit sie in einer Transformation zugeordnet werden können. Das verwendete Muster ist so gestaltet, dass nur eine Datei übereinstimmt. Wenn das Muster mit mehr als einer Datei übereinstimmt, tritt ein Fehler mit einer beschreibenden Nachricht auf.
-
Anfrage
Anfrage-Schema Feld/Knoten Hinweise stageNameInterner Snowflake-Stadium, Tabellenname oder Pfad. destinationPrefixPfad oder Präfix, unter dem die Daten im Snowflake-Stadium hochgeladen werden. fileContentDateninhalte der Datei im CSV-Format, die für den Upload in die Snowflake-Tabelle vorbereitet werden sollen. destinationFileNameZiel-Dateiname, der im Snowflake-Stadium verwendet werden soll. compressDataBoolean-Flag, ob die Daten vor dem Hochladen in das interne Snowflake-Stadium komprimiert werden sollen. patternRegulärer Ausdruck, der zum Finden der Datei im Stadium verwendet wird; wenn compressDatawahr ist, wird[.]gzan das Muster angehängt.onErrorBei Fehler ausgewählte Option. fileFormatKnoten, der das Dateiformat darstellt. nullIfEin String, der in SQL NULLumgewandelt werden soll; standardmäßig ist es ein leerer String. Siehe dieNULL_IF-Option der SnowflakeCOPY INTO<location>Dokumentation.enclosingCharZeichen, das verwendet wird, um Datenfelder einzuschließen; siehe die FIELD_OPTIONALLY_ENCLOSED_BY-Option der SnowflakeCOPY INTO<location>Dokumentation.Hinweis
Das
enclosingCharkann entweder ein einfaches Anführungszeichen'oder ein doppeltes Anführungszeichen"sein. Um das einfache Anführungszeichen zu verwenden, nutzen Sie entweder die oktale'oder die hexadezimale0x27Darstellung oder verwenden Sie eine doppelte einfache Anführungszeichen-Escape''. Wenn ein Feld dieses Zeichen enthält, escapen Sie es mit demselben Zeichen.errorOnColumnCountMismatchBoolean-Flag, um einen Fehler zu melden, wenn die Quell- und Zielanzahl des Antwortschemas nicht übereinstimmen. fieldDelimiterDas Trennzeichen, das verwendet wird, um Datenfelder zu trennen; siehe die FIELD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation.recordDelimiterDas Trennzeichen, das verwendet wird, um Gruppen von Feldern zu trennen; siehe die RECORD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation. -
Antwort
Antwort-Schema Feld/Knoten Hinweise fileName der gestellten CSV-Datei, die verarbeitet wird, wenn Daten in die Snowflake-Tabelle eingefügt werden. statusZurückgegebener Status. rowsParsedAnzahl der aus der CSV-Datei geparsten Zeilen. rowsLoadedAnzahl der ohne Fehler aus der CSV-Datei in die Snowflake-Tabelle geladenen Zeilen. errorKnoten, der die Fehlermeldungen darstellt. errorDie Fehlermeldung. codeDer zurückgegebene Fehlercode. sqlStateDer zurückgegebene numerische SQL-Zustandsfehlercode des Datenbankaufrufs. fileKnoten, der die Fehlermeldungen darstellt. columnNameName und Reihenfolge der Spalte, die den Fehler enthielt. rowNumberDie Nummer der Zeile in der Quelldatei, in der der Fehler aufgetreten ist. rowStartLineDie Nummer der ersten Zeile der Zeile, in der der Fehler aufgetreten ist.
Microsoft Azure Stage File-Ansatz
Wenn der Ansatz Microsoft Azure Stage File ist, werden die Spezifikationen für das Staging und Einfügen einer CSV-Datei im Datenschema angezeigt, damit sie in einer Transformation zugeordnet werden können. Das verwendete Muster ist so gestaltet, dass nur eine Datei übereinstimmt. Wenn das Muster mit mehr als einer Datei übereinstimmt, wird die Aktivität mit einer beschreibenden Fehlermeldung fehlschlagen.
-
Anfrage
Anfrage-Schema Feld/Knoten Hinweise azureSasTokenMicrosoft Azure Shared Access Signature (SAS) Token. azureStorageAccountNameMicrosoft Azure Storage-Konto-Name. azureStorageintegrationNameName der Snowflake-Speicherintegration, die für die Authentifizierung der Snowflake-Speicherintegration verwendet werden soll. containerNameGültiger Containername für einen vorhandenen Speicherkontainer in Microsoft Azure. filePathSpeicherort der Stage-Datei im Microsoft Azure-Speicherkontainer. patternRegulärer Ausdruck, der zum Finden der Datei auf der Stage verwendet wird; wenn compressionGZIPist, wird[.]gzan das Muster angehängt.onErrorBei Fehler ausgewählte Option. encryptionKnoten, der die Verschlüsselung darstellt. encryptionTypeMicrosoft Azure-Verschlüsselungstyp (nur clientseitige Verschlüsselung). azureMasterKeyMicrosoft Azure Master Key. fileFormatKnoten, der das Dateiformat darstellt. nullIfEin String, der in SQL NULLumgewandelt werden soll; standardmäßig ist es ein leerer String. Siehe dieNULL_IF-Option der SnowflakeCOPY INTO<location>Dokumentation.enclosingCharZeichen, das verwendet wird, um Datenfelder einzuschließen; siehe die FIELD_OPTIONALLY_ENCLOSED_BY-Option der SnowflakeCOPY INTO<location>Dokumentation.Hinweis
Das
enclosingCharkann entweder ein einfaches Anführungszeichen'oder ein doppeltes Anführungszeichen"sein. Um das einfache Anführungszeichen zu verwenden, nutzen Sie entweder die oktale'oder die hexadezimale0x27Darstellung oder verwenden Sie eine doppelte einfache Anführungszeichen-Escape''. Wenn ein Feld dieses Zeichen enthält, escapen Sie es mit demselben Zeichen.compressionDer Komprimierungsalgorithmus, der für die Datendateien verwendet wird. GZIPoderNONEwerden unterstützt. Siehe die Komprimierungsoption der SnowflakeCOPY INTO<location>Dokumentation.skipHeaderAnzahl der Zeilen am Anfang der Quelldatei, die übersprungen werden sollen. errorOnColumnCountMismatchBoolean-Flag, um einen Fehler zu melden, wenn die Quell- und Zielanzahl des Antwortschemas nicht übereinstimmen. fieldDelimiterDas Trennzeichen, das verwendet wird, um Datenfelder zu trennen; siehe die FIELD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation.recordDelimiterDas Trennzeichen, das verwendet wird, um Gruppen von Feldern zu trennen; siehe die RECORD_DELIMITER-Option der SnowflakeCOPY INTO<table>Dokumentation. -
Antwort
Antwort-Schema Feld/Knoten Hinweise statusZurückgegebener Status. fileName der gestellten CSV-Datei, die beim Einfügen von Daten in die Snowflake-Tabelle verarbeitet wurde. rows_parsedAnzahl der aus der CSV-Datei geparsten Zeilen. rows_loadedAnzahl der ohne Fehler aus der CSV-Datei in die Snowflake-Tabelle geladenen Zeilen. errorKnoten, der die Fehlermeldungen darstellt. error_limitAnzahl der Fehler, die dazu führen, dass die Datei übersprungen wird, wie in Skip_File_\<num> festgelegt. errors_seenAnzahl der gesehenen Fehler. first_errorDer erste Fehler in der Quelldatei. first_error_lineDie erste Zeilennummer des ersten Fehlers. first_error_characterDas erste Zeichen des ersten Fehlers. first_error_column_nameDer Spaltenname des ersten Fehlerorts.
Nächste Schritte
Nachdem Sie eine Snowflake Insert-Aktivität konfiguriert haben, vervollständigen Sie die Konfiguration der Operation, indem Sie andere Aktivitäten oder Werkzeuge als Operation Schritte hinzufügen und konfigurieren. Sie können auch die Betriebseinstellungen konfigurieren, die die Möglichkeit umfassen, Operationen zusammenzuführen, die sich in denselben oder unterschiedlichen Workflows befinden.
Menüaktionen für eine Aktivität sind im Projektbereich und auf der Entwurfsgrafik zugänglich. Für Details siehe Aktionsmenü der Aktivität in Connector-Grundlagen.
Snowflake Insert-Aktivitäten können als Ziel mit diesen Betriebsmustern verwendet werden:
- Transformationsmuster
- Zwei-Transformationsmuster (als erstes oder zweites Ziel)
Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Ort und verwenden Sie dann diesen temporären Ort in der Skriptfunktion.
Wenn Sie bereit sind, setzen Sie die Operation ein und führen Sie sie aus und validieren Sie das Verhalten, indem Sie die Betriebsprotokolle überprüfen.