Google BigQuery Datenübertragungsaktivität

Einführung

Eine Google BigQuery Aktivität Datenübertragung unter Verwendung ihrer Google BigQuery-Verbindung, überträgt Daten aus einer Datenquelle in einen Datensatz in Google BigQuery und soll als Ziel zum Verwenden von Daten in einem Operation verwendet werden.

Erstellen einer Google BigQuery Datenübertragungsaktivität

Eine Instanz einer Google BigQuery Datenübertragung-Aktivität wird aus einer Google BigQuery-Verbindung erstellt mithilfe des Aktivitätstyps Datenübertragung.

Um eine Instanz einer Aktivität zu erstellen, ziehen Sie den Aktivitätstyp auf die Design-Canvas oder kopieren Sie den Aktivitätstyp und fügen Sie ihn auf der Design-Canvas ein. Weitere Informationen finden Sie unter Erstellen einer Aktivitätsinstanz in Komponentenwiederverwendung.

Eine vorhandene Google BigQuery Aktivität Datenübertragung kann an diesen Orten bearbeitet werden:

• Die Design-Canvas (siehe Aktionsmenü in Entwurfsfläche).
• Die Tab Komponenten des Projektbereichs (siehe Aktionsmenü im Projektbereich Tab Komponenten).

Konfigurieren einer Google BigQuery Datenübertragungsaktivität

Führen Sie die folgenden Schritte aus, um eine Google BigQuery Aktivität Datenübertragung zu konfigurieren:

• Schritt 1: Geben Sie einen Namen ein und wählen Sie die Datenquelle aus
  Geben Sie einen Namen für die Aktivität ein und wählen Sie die Datenquelle aus.

• Schritt 2: Wählen Sie den Datensatz aus
  Wählen Sie den Datensatz aus.

• Schritt 3: Wählen Sie die Tabelle aus
  Wählen Sie die Tabelle aus.

• Schritt 4: Überprüfen Sie die Datenschemata
  Alle Anforderungs- oder Antwortschemata werden angezeigt.

Schritt 1: Geben Sie einen Namen ein und wählen Sie die Datenquelle aus

Geben Sie in diesem Schritt einen Namen für die Aktivität ein und wählen Sie die Datenquelle aus. Jedes Benutzeroberflächenelement dieses Schritts wird unten beschrieben.

• Name: Geben Sie einen Namen zur Identifizierung der Aktivität ein. Der Name muss für jede Google BigQuery Data Transfer-Aktivität eindeutig sein und darf keine Schrägstriche enthalten / oder Doppelpunkte :.

• Wählen Sie die Datenquelle aus: In diesem Abschnitt werden die im Google BigQuery Endpoint verfügbaren Datenquellen angezeigt, entweder Amazon S3 oder Google Cloud Storage.

  • Ausgewählte Datenquelle: Nachdem eine Datenquelle ausgewählt wurde, wird sie hier aufgelistet.

  • Suchen: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Datenquellen zu filtern. Bei der Suche wird die Groß-/Kleinschreibung nicht beachtet. Wenn in der Tabelle bereits Datenquellen angezeigt werden, werden die Tabellenergebnisse mit jedem Tastendruck in Echtzeit gefiltert. Um bei der Suche Datenquellen vom Endpoint neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Datenquellen vom Google BigQuery Endpoint neu zu laden. Dies kann nützlich sein, wenn Datenquellen zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Datenquellentabelle verwendet werden.

  • Auswählen einer Datenquelle: Klicken Sie in der Tabelle irgendwo auf eine Zeile, um eine Datenquelle auszuwählen. Es kann nur eine Datenquelle ausgewählt werden. Die für jede Datenquelle verfügbaren Informationen werden vom Google BigQuery Endpoint abgerufen:

    • Name: Der Name der Datenquelle.

    • Beschreibung: Die Beschreibung der Datenquelle.

  Tipp

  Wenn die Tabelle nicht mit verfügbaren Datenquellen gefüllt wird, wird die Google BigQuery Verbindung ist möglicherweise nicht erfolgreich. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

• Speichern und beenden: Klicken Sie, wenn aktiviert, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.

• Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird erst gespeichert, wenn Sie im letzten Schritt auf die Schaltfläche Fertig klicken.

• Änderungen verwerfen: Klicken Sie nach dem Vornehmen von Änderungen, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. Sie werden in einer Meldung aufgefordert, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 2: Datensatz auswählen

Wählen Sie in diesem Schritt den Datensatz aus. Jedes Benutzeroberflächenelement dieses Schritts wird unten beschrieben.

• Wählen Sie den Datensatz aus: Dieser Abschnitt zeigt die im Google BigQuery Endpoint verfügbaren Datensätze an.

  • Ausgewählte Datenquelle: Die im vorherigen Schritt ausgewählte Datenquelle wird hier aufgelistet.

  • Ausgewählter Datensatz: Nachdem ein Datensatz ausgewählt wurde, wird er hier aufgelistet.

  • Suchen: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Datensätze zu filtern. Bei der Suche wird die Groß-/Kleinschreibung nicht beachtet. Wenn in der Tabelle bereits Datensätze angezeigt werden, werden die Tabellenergebnisse mit jedem Tastendruck in Echtzeit gefiltert. Um während der Suche Datensätze vom Endpoint neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Datasets vom Google BigQuery Endpoint neu zu laden. Dies kann nützlich sein, wenn Datasets zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Dataset-Tabelle verwendet werden.

  • Datensatz auswählen: Klicken Sie in der Tabelle irgendwo auf eine Zeile, um einen Datensatz auszuwählen. Es kann nur ein Datensatz ausgewählt werden. Die für jeden Datensatz verfügbaren Informationen werden vom Google BigQuery Endpoint abgerufen:

    • Name: Der Name des Datensatzes.

    • Beschreibung: Die Beschreibung des Datensatzes.

  Tipp

  Wenn die Tabelle nicht mit verfügbaren Datensätzen gefüllt wird, wird die Google BigQuery Verbindung ist möglicherweise nicht erfolgreich. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

• Zurück: Klicken Sie hier, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

• Weiter: Klicken Sie hier, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird erst gespeichert, wenn Sie im letzten Schritt auf die Schaltfläche Fertig klicken.

• Änderungen verwerfen: Klicken Sie nach dem Vornehmen von Änderungen hier, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. In einer Meldung werden Sie aufgefordert zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 3: Tabelle auswählen

Wählen Sie in diesem Schritt die Tabelle aus. Jedes Benutzeroberflächenelement dieses Schritts wird unten beschrieben.

• Tabelle auswählen: In diesem Abschnitt werden die im Google BigQuery Endpoint verfügbaren Tabellen angezeigt.

  • Ausgewählter Datensatz: Der im vorherigen Schritt ausgewählte Datensatz wird hier aufgelistet.

  • Ausgewählte Tabelle: Nachdem eine Tabelle ausgewählt wurde, wird sie hier aufgelistet.

  • Suchen: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Tabellen zu filtern. Die Suche ist nicht groß- und kleinschreibungsabhängig. Wenn in der Tabelle bereits Tabellen angezeigt werden, werden die Tabellenergebnisse mit jedem Tastendruck in Echtzeit gefiltert. Um Tabellen während der Suche vom Endpoint neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Tabellen vom Google BigQuery Endpoint neu zu laden. Dies kann nützlich sein, wenn Tabellen zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Tabellentabelle verwendet werden.

  • Tabelle auswählen: Klicken Sie innerhalb der Tabelle irgendwo auf eine Zeile, um eine Tabelle auszuwählen. Es kann nur eine Tabelle ausgewählt werden. Die für jede Tabelle verfügbaren Informationen werden vom Google BigQuery Endpoint abgerufen:

    • Name: Der Name der Tabelle.

    • Beschreibung: Die Beschreibung der Tabelle

  Tipp

  Wenn die Tabelle nicht mit verfügbaren Tabellen gefüllt wird, wird die Google BigQuery Verbindung ist möglicherweise nicht erfolgreich. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

• Anzeigename: Legen Sie einen Anzeigenamen für die Datenübertragung fest.

• Zurück: Klicken Sie hier, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

• Weiter: Klicken Sie hier, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird erst gespeichert, wenn Sie im letzten Schritt auf die Schaltfläche Fertig klicken.

• Änderungen verwerfen: Klicken Sie nach dem Vornehmen von Änderungen hier, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. Sie werden in einer Meldung aufgefordert, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 4: Überprüfen der Datenschemata

Alle Anforderungs- oder Antwortschemata werden angezeigt. Jedes Benutzeroberflächenelement dieses Schritts wird unten beschrieben.

• Datenschemata: Diese Datenschemata werden von benachbarten Transformations übernommen und beim Transformation erneut angezeigt.

  Der Google BigQuery Konnektor verwendet die Google SDK-Version 25.4.0. Informationen zu den Schema und -feldern finden Sie in der SDK-Dokumentation.

  Wichtig

  Der für die custom_schedule Das Feld sollte eine Zeichenfolge sein, die dem in der Google-Dokumentation zum Planen von Jobs mit cron.yml definierten Format entspricht ohne voranzustellen schedule:. Zum Beispiel, every 12 hours oder every monday 09:00.

  Die Datenübertragung-Aktivität verwendet JSON sowohl in ihren Anforderungs- als auch in ihren Antwortschemata.

• Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Schemas vom Google BigQuery Endpoint neu zu generieren. Diese Aktion generiert ein Schema auch an anderen Stellen im gesamten Projekt neu, an denen auf dasselbe Schema verwiesen wird, z. B. in einer angrenzenden Transformation.

• Zurück: Klicken Sie hier, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

• Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.

• Änderungen verwerfen Klicken Sie nach dem Vornehmen von Änderungen hierauf, um die Konfiguration zu schließen, ohne die an einem Schritt vorgenommenen Änderungen zu speichern. Sie werden in einer Meldung aufgefordert, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Nächste Schritte

Nachdem Sie eine Google BigQuery-Aktivität Datenübertragung konfiguriert haben, schließen Sie die Konfiguration des Operation ab, indem Sie andere Aktivitäten, Transformations oder Scripts als Operation hinzufügen und konfigurieren. Sie können auch die Operation konfigurieren, die die Möglichkeit umfassen, Vorgänge zu verketten, die sich im gleichen oder in unterschiedlichen Workflows befinden.

Auf Menüaktionen für eine Aktivität kann über den Projektbereich und die Design-Canvas zugegriffen werden. Weitere Informationen finden Sie unter Aktionsmenü in Connector-Grundlagen.

Google BigQuery Datenübertragung-Aktivitäten können mit diesen Operation als Ziel verwendet werden:

• Transformation
• Zwei-Transformationsmuster (als erstes oder zweites Ziel)

Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Speicherort und verwenden Sie dann diesen temporären Speicherort in der Skriptfunktion.

Wenn Sie bereit sind, einsetzen und ausführen den Operation und validieren Sie das Verhalten durch Überprüfen der Operation.