Apache Parquet-Verbindung

Einführung

Eine Apache Parquet-Verbindung, die mit dem Apache Parquet-Connector erstellt wurde, ermöglicht den Zugriff auf Apache Parquet. Diese Aktivitäten interagieren, sobald sie konfiguriert sind, über die Verbindung mit Apache Parquet.

Erstellen oder Bearbeiten einer Apache Parquet-Verbindung

Eine neue Apache Parquet-Verbindung wird mit dem Apache Parquet-Connector aus einem dieser Standorte erstellt:

• Die Registerkarte Projektendpunkte und -connectoren der Designkomponentenpalette (siehe Designkomponentenpalette).
• Die Seite Globale Endpunkte (siehe Einen globalen Endpunkt erstellen in Globale Endpunkte).

Eine vorhandene Apache Parquet-Verbindung kann von diesen Standorten aus bearbeitet werden:

• Die Registerkarte Projektendpunkte und -connectoren der Designkomponentenpalette (siehe Designkomponentenpalette).
• Die Registerkarte Komponenten im Projektbereich (siehe Aktionsmenü für Komponenten in Projektbereich Komponenten-Registerkarte).
• Die Seite Globale Endpunkte (siehe Einen globalen Endpunkt bearbeiten in Globale Endpunkte).

Konfigurieren einer Apache Parquet-Verbindung

Jedes Benutzeroberflächenelement des Konfigurationsbildschirms für die Apache Parquet-Verbindung wird im Folgenden beschrieben.

• Verbindungsname: Geben Sie einen Namen ein, um die Verbindung zu identifizieren. Der Name muss für jede Apache Parquet-Verbindung eindeutig sein und darf keine Schrägstriche (/) oder Doppelpunkte (:) enthalten. Dieser Name wird auch verwendet, um den Apache Parquet-Endpunkt zu identifizieren, der sich sowohl auf eine spezifische Verbindung als auch auf deren Aktivitäten bezieht.

• URI: Geben Sie die URI ein.

• Verbindungstyp: Wählen Sie den Verbindungstyp aus, einen der folgenden:

  • Auto

  • Local

  • Amazon S3

  • Azure Blob Storage

  • Azure Data Lake Storage Gen1

  • Azure Data Lake Storage Gen2

  • Azure Data Lake Storage Gen2 SSL

  • Azure Files

  • Box

  • Dropbox

  • FTP

  • FTPS

  • Google Cloud Storage

  • Google Drive

  • HDFS

  • HDFS Secure

  • HTTP

  • HTTPS

  • IBM Object Storage Source

  • OneDrive

  • OneLake

  • Oracle Cloud Storage

  • SFTP

  • SharePoint REST

  • SharePoint SOAP

  Für weitere Informationen zu Verbindungstypen siehe die Apache Parquet-Verbindungsdetails Seite.

• Datenmodell: Wählen Sie das Datenmodell aus, eines der folgenden:

  • None

  • Document

  • FlattenedDocuments

  • Relational

• OAuth-Grant-Typ: Wählen Sie den OAuth-Grant-Typ aus, einen der folgenden:

  • CODE

  • CLIENT

  • PASSWORD

• Aggregierte Dateien: Wenn ausgewählt, wird angegeben, dass aggregierte Dateien verwendet werden sollen.

• Proxy-Einstellungen verwenden: Wählen Sie aus, um die Proxy-Einstellungen des privaten Agenten zu verwenden.

• Erweiterte Konfigurationen: Wenn ausgewählt, wird die Tabelle Erweiterte Konfigurationsparameter angezeigt, die verwendet wird, um zusätzliche Konfigurationsparameter als Schlüssel-Wert-Paare hinzuzufügen.

  • Hinzufügen: Fügt eine Zeile zur Tabelle hinzu. Geben Sie ein Schlüssel-Wert-Paar für jede Eigenschaft ein.
  • Einreichen: Speichert das Schlüssel-Wert-Paar in der Tabelle. Sichtbar, wenn Sie mit der Maus über eine Zeile im Bearbeitungsmodus fahren.
  • Verwerfen: Verwirft eine neue Zeile oder alle Änderungen an einer bestehenden Zeile. Sichtbar, wenn Sie mit der Maus über eine Zeile im Bearbeitungsmodus fahren.
  • Bearbeiten: Ermöglicht das Bearbeiten eines bestehenden Schlüssel-Wert-Paares. Sichtbar, wenn Sie mit der Maus über eine bestehende Zeile fahren.
  • Löschen: Löscht die Zeile aus der Tabelle. Sichtbar, wenn Sie mit der Maus über eine bestehende Zeile fahren.
  • Alle löschen: Löscht alle Zeilen aus der Tabelle.

  Wichtig

  Felder in der Tabelle Erweiterte Konfigurationsparameter zeigen das Symbol für Variablen nur im Bearbeitungsmodus an. Damit die Variablenwerte dieser Felder zur Laufzeit befüllt werden, muss die Agenten-Version mindestens 10.75 / 11.13 sein.

  Felder in der Tabelle Erweiterte Konfigurationsparameter unterstützen nicht die Verwendung von Variablen, um rohes JSON zu übergeben. Wenn Ihr Anwendungsfall nicht unterstützt, rohes JSON direkt in den Feldern zu definieren, entkommen Sie den JSON-Inhalt, bevor Sie ihn mit einer Variablen übergeben. Zum Beispiel wird das Entkommen von {"success": "true"}; zu {\"success\": \"true\"};.

• Test: Klicken Sie, um die Verbindung mit der angegebenen Konfiguration zu überprüfen. Wenn die Verbindung getestet wird, wird die neueste Version des Connectors von den Agenten in der Agentengruppe heruntergeladen, die mit der aktuellen Umgebung verbunden ist. Dieser Connector unterstützt das Aussetzen des Downloads der neuesten Connector-Version durch die Verwendung der Organisationsrichtlinie Automatische Connector-Aktualisierung deaktivieren.

• Änderungen speichern: Klicken Sie, um die Konfiguration der Verbindung zu speichern und zu schließen.

• Änderungen verwerfen: Nachdem Sie Änderungen an einer neuen oder bestehenden Konfiguration vorgenommen haben, klicken Sie, um die Konfiguration ohne Speichern zu schließen. Eine Nachricht fragt Sie, ob Sie die Änderungen verwerfen möchten.

• Löschen: Nachdem Sie eine bestehende Verbindungs-Konfiguration geöffnet haben, klicken Sie, um die Verbindung dauerhaft aus dem Projekt zu löschen und die Konfiguration zu schließen (siehe Komponentenabhängigkeiten, Löschung und Entfernung). Eine Nachricht fragt Sie, ob Sie die Verbindung löschen möchten.

OAuth-Verbindungen konfigurieren

Dieser Connector unterstützt eine Verbindung über OAuth, indem spezifische Konfigurationsparameter verwendet werden. Nachdem Sie ein Authentifizierungsschema ausgewählt haben, das OAuth initiieren umfasst, können Sie die Konfiguration in den angezeigten Feldern angeben.

Für diesen Connector werden zwei Szenarien unterstützt. In beiden Szenarien müssen Sie ein Drittanbieter-Tool (wie Postman oder ein ähnliches Tool) verwenden, um das erforderliche Zugriffstoken oder die Tokens vom beteiligten Endpunkt zu erhalten. Beide Szenarien funktionieren nur für Einzelagentengruppen. Dies sind Agentengruppen, die aus einem einzelnen Agenten bestehen.

• Szenario 1: Verwendung eines OAuth-Zugriffstokens, das nach einer festgelegten Zeitspanne abläuft.

  Mit dieser Konfiguration geben Sie ein OAuth-Zugriffstoken an, das für einen festgelegten Zeitraum gültig ist, wie vom jeweiligen Endpunkt bestimmt. Der Connector verwendet das Token, um die Verbindung herzustellen. Die Verbindung funktioniert jedoch nicht mehr, sobald das Zugriffstoken abläuft. Sie würden den Connector so konfigurieren, dass er das Token verwendet, indem Sie diese Eigenschaften festlegen:

  Konfigurationseigenschaft	Wert
  OAuth initiieren	OFF
  OAuth-Zugriffstoken	Auf den Wert des vom Endpunkt erhaltenen OAuth-Zugriffstokens setzen

• Szenario 2: Verwendung eines OAuth-Zugriffstokens in Kombination mit einem OAuth-Refresh-Token, um eine automatische Aktualisierung des Zugriffs zu ermöglichen.

  Mit dieser Konfiguration verwendet der Connector ein Refresh-Token, um ein neues Zugriffstoken zu erhalten, sobald das aktuelle Zugriffstoken abgelaufen ist. Dies ist im Allgemeinen die beste Methode zur Konfiguration von OAuth.

  Sie geben ein OAuth-Zugriffstoken und ein OAuth-Refresh-Token an, wie vom jeweiligen Endpunkt bestimmt. Sie würden den Connector so konfigurieren, dass er diese Tokens verwendet, indem Sie diese Eigenschaften festlegen:

  Konfigurationseigenschaft	Wert
  OAuth initiieren	REFRESH
  OAuth-Zugriffstoken	Auf den Wert des vom Endpunkt erhaltenen OAuth-Zugriffstokens setzen
  OAuth-Refresh-Token	Auf den Wert des vom Endpunkt erhaltenen OAuth-Refresh-Tokens setzen

Nächste Schritte

Nachdem eine Verbindung zu einem Apache Parquet-Connector erstellt wurde, platzieren Sie einen Aktivitätstyp auf der Entwurfskanvas, um Aktivitätsinstanzen zu erstellen, die entweder als Quellen (um Daten in einer Operation bereitzustellen) oder als Ziele (um Daten in einer Operation zu konsumieren) verwendet werden.

Menüaktionen für eine Verbindung und ihre Aktivitätstypen sind im Projektbereich und in der Palette der Entwurfskomponenten zugänglich. Für Details siehe Aktionsmenüs in Connector-Grundlagen.

Diese Aktivitätstypen sind verfügbar:

• Abfrage: Ruft Datensätze aus einer Tabelle bei Apache Parquet ab und ist als Quelle in einer Operation vorgesehen.

• Erstellen: Fügt einen Datensatz in eine Tabelle bei Apache Parquet ein und ist als Ziel in einer Operation vorgesehen.

• Ausführen: Führt eine Prozedur bei Apache Parquet aus und ist als Ziel in einer Operation vorgesehen.