AWS S3 Create-Plugin (veraltet) für Jitterbit-Cloud- und private Agentengruppen

Einführung

Das AWS S3 Create-Plugin lädt eine Datei in Amazon AWS S3 als Ziel in einer Operation hoch.

Dieses Plugin ist standardmäßig in Jitterbit-Cloud-Agentengruppen verfügbar und kann auch mit privaten Agentengruppen verknüpft werden.

Diese Seite beschreibt die Schritte zur Verwendung des AWS S3 Create-Plugins:

1. Plugin herunterladen und hinzufügen
2. Plugin mit einer Agentengruppe verknüpfen
3. Plugin einem Ziel zuweisen
4. Globale Variablen für das Plugin festlegen
5. Einrichtungsprozess abschließen

Verschlüsselung

Das AWS S3 Create-Plugin überträgt Ihre bereitgestellte AWS S3-Zugangs-ID und den geheimen Zugriffsschlüssel (unten beschrieben in Globale Variablen für das Plugin festlegen) an Amazon. Die Sicherheit wird von Amazon gemäß der Dokumentation zu AWS-Sicherheitsanmeldeinformationen behandelt.

Version 1.0.1.0 des Jitterbit AWS S3 Create-Plugins unterstützt S3-Buckets, die eine dieser Verschlüsselungsoptionen verwenden:

• Keine: Keine Verschlüsselung
• AES-256: Serverseitige Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3)
• AWS-KMS: Serverseitige Verschlüsselung mit von AWS KMS verwalteten Schlüsseln (SSE-KMS)

Version 1.0.0.0 des Jitterbit AWS S3 Create-Plugins unterstützt die Verwendung von keiner Verschlüsselung oder AES-256. KMS-Verschlüsselung wird in dieser Version nicht unterstützt.

Verwendung

Das AWS S3 Create-Plugin kann immer dann verwendet werden, wenn Sie Dateien in AWS hochladen müssen.

In einem häufigen Anwendungsfall kann dieses Plugin verwendet werden, um große Datenmengen in ein Snowflake-Datenlager zu verschieben, wenn es mit Snowpipe verwendet wird. Um dieses empfohlene Setup zu verwenden, folgen Sie der Snowpipe-Dokumentation von Snowflake und konfigurieren Sie dann das AWS S3 Create-Plugin wie auf dieser Seite beschrieben.

Zusätzliche Funktionalität

Darüber hinaus bieten diese Optionen zusätzliche Funktionalität über das AWS S3 Create-Plugin hinaus:

• AWS S3 Get: AWS S3 get ist ein von Jitterbit bereitgestelltes Plugin, das verwendet wird, um eine Datei von Amazon AWS S3 zu lesen, umzubenennen oder zu löschen. Eine gelesene Datei kann dann als Quelle von Daten innerhalb einer Operation verwendet werden (siehe Erstellen einer Operation im Design Studio).

• AWS REST API: Die AWS REST API kann über eine HTTP-Quelle oder ein HTTP-Ziel im Design Studio aufgerufen werden. Während der Konfiguration kann es notwendig sein, das HMAC-SHA256-Generator Plugin je nach Authentifizierungsmethode zu verwenden. Wenn Sie Unterstützung benötigen, wenden Sie sich bitte an den Support.

Herunterladen und Hinzufügen des Plugins

Das AWS S3 Create-Plugin ist ein Standard-Jitterbit-Plugin, das bereits auf der Seite Plugins der Management-Konsole verfügbar ist und nicht heruntergeladen oder zur Organisation hinzugefügt werden muss.

Wenn der Support dies anweist, kann dieses Plugin über die unten angegebenen Links heruntergeladen und zur Organisation hinzugefügt werden.

• Jitterbit AWS S3 Create 1.0.1.0 (ZIP)
  (Verschlüsselung: AES-256, KMS oder Keine)

• Jitterbit AWS S3 Create 1.0.0.0 (ZIP)
  (Verschlüsselung: AES-256 oder Keine)

Plugin mit einer Agentengruppe verknüpfen

Beide Versionen des AWS S3 Create-Plugins sind standardmäßig mit Jitterbit-Cloud-Agentengruppen verknüpft. Wir empfehlen die Verwendung der Version 1.0.1.0.

Wenn Sie eine private Agentengruppe verwenden, müssen Sie das Plugin mit der privaten Agentengruppe verknüpfen, um das Plugin auf allen Agenten in der Gruppe verfügbar zu machen.

Die Plugins werden auf der Seite Plugins der Management-Konsole mit diesen Anzeigenamen aufgelistet:

• Jitterbit_AWS_S3_Create (Version 1.0.1.0)

• Jitterbit AWS S3 Create (Version 1.0.0.0)

Plugin einem Ziel zuweisen

In einem Design Studio-Projekt müssen Sie das Plugin einem Ziel innerhalb einer Operation zuweisen (siehe Eine Operation erstellen. Eine Beispiel-Operationseinrichtung ist am Ende dieser Seite angegeben.

Innerhalb des Projekts:

1. Eine Operation erstellen. Jede Operation, die ein Ziel verwendet, kann verwendet werden.

2. Erstellen Sie ein Dummy-Ziel, dem das Plugin zugewiesen wird. Dieses Ziel wird als Platzhalter verwendet und wird tatsächlich nicht beschrieben. Wir empfehlen die Verwendung einer Quelle vom Dateityp wie Temporärer Speicher, lokale Datei oder FTP-Standort und die Angabe eines Wertes für Dateiname(n) von [file].[ext]. Dies stellt sicher, dass die Datei denselben Namen und dieselbe Erweiterung wie die Quelle hat.

   Hinweis

   Ein globales Variablenziel kann ebenfalls verwendet werden, wenn Sie eine einzelne Datei nach S3 schreiben.

3. Weisen Sie das Plugin dem Ziel zu. Klicken Sie dazu mit der rechten Maustaste auf die Quelle und wählen Sie Plugin. Wählen Sie im Popup unter Verfügbare Plugins "Jitterbit AWS S3 Get" aus und klicken Sie auf Zuweisen. Klicken Sie dann auf OK.

Globale Variablen für das Plugin festlegen

Damit ein dem Ziel zugewiesenes Plugin funktionsfähig ist, müssen alle vom Plugin benötigten globalen Variablen festgelegt werden. Diese Variablen werden in einem Skript festgelegt, das vor dem Ziel in der Operation platziert werden sollte, damit die Variablen initialisiert werden können. Skripte werden oft vor der Quelle in einer Operation festgelegt, was auch vor dem Ziel ist.

Um ein Skript vor der Quelle und dem Ziel in der Operation hinzuzufügen:

1. Klicken Sie mit der rechten Maustaste auf die Quelle in der Operation und wählen Sie Vor diesem Einfügen > Skript.

2. Erstellen Sie ein neues Jitterbit-Skript, das Variablen festlegt, die vom Plugin verwendet werden, um sich mit Ihrem S3-Bucket zu authentifizieren und alle von Ihnen angegebenen Dateien hochzuladen. Eine Skriptschablone für erforderliche Variablen ist unten angegeben, gefolgt von der Dokumentation zu allen möglichen Variablen, die im Skript enthalten sein können.

   AWS S3 Create Script

   <trans>
   $AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
   $AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
   $AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
   </trans>
   

Vollständige Betriebseinrichtung

Der Plugin-Teil der Betriebseinrichtung ist abgeschlossen, nachdem Sie (1) das Skript definiert haben, das die Variablen für das Plugin festlegt, und (2) das Plugin einem Ziel in der Operation zugewiesen haben.

Um Ihre Betriebseinrichtung abzuschließen, definieren Sie eine Quelle, aus der die Daten stammen, oder fügen Sie sowohl eine Quelle als auch eine Transformation hinzu, wenn Sie Ihre Daten vor dem Erreichen des S3-Buckets transformieren möchten. Wenn Sie eine einzelne Datei in S3 schreiben, ist die Betriebseinrichtung abgeschlossen.

Wenn Sie mehrere Dateien in S3 schreiben möchten, können Sie manuell ein zusätzliches Skript erstellen, um durch die Dateien in Ihrem S3-Bucket zu iterieren. Stellen Sie sicher, dass Sie keine Werte in der Variablen AWS.S3.OBJECT_KEY festgelegt haben.

Da nur eine Datei mit dem Plugin zurückgegeben wird, können Sie jede Datei separat durch die Operation ausführen. Zum Beispiel, indem Sie eine Kombination aus FileList, While und RunOperation sowie einer neu definierten globalen Variablen SingleFile verwenden, nimmt dieses Skript jede Datei auf und führt dann die Operation mit dem Plugin aus:

<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Für die Verwendung mit dem obigen Skript möchten Sie die neue globale Variable [SingleFile] im Get Files Ihrer dateitypbezogenen Quelle referenzieren. Dieses Beispiel kann für die Verwendung mit anderen Konfigurationen angepasst werden.