Zum Inhalt springen

Google BigQuery Struktur erstellen Aktivität

Einführung

Eine Google BigQuery Struktur erstellen Aktivität, die ihre Google BigQuery Verbindung verwendet, erstellt Datensätze oder Tabellen in Google BigQuery und ist als Ziel gedacht, um Daten in einem Vorgang zu konsumieren.

Quoten und Limits

Google BigQuery setzt Quoten und Limits durch, die die Rate und das Volumen der erstellten Strukturen begrenzen. Wenn diese Limits erreicht werden, kann der Vorgang mit einem Erfolg Vorgangsstatus abgeschlossen werden, auch wenn nicht alle angeforderten Strukturen erstellt wurden. Überprüfen Sie die Vorgangsprotokolle auf etwaige Fehler aufgrund von Ratenlimits, die von Google BigQuery zurückgegeben wurden. Weitere Informationen finden Sie in Googles Dokumentation.

Erstellen einer Google BigQuery Struktur erstellen Aktivität

Eine Instanz einer Google BigQuery Struktur erstellen Aktivität wird aus einer Google BigQuery Verbindung unter Verwendung des Aktivitätstyps Struktur erstellen erstellt.

Um eine Instanz einer Aktivität zu erstellen, ziehen Sie den Aktivitätstyp auf die Entwurfsfläche oder kopieren Sie den Aktivitätstyp und fügen Sie ihn auf der Entwurfsfläche ein. Für Details siehe Eine Aktivität oder Toolinstanz erstellen in Komponentenwiederverwendung.

Eine vorhandene Google BigQuery Struktur erstellen Aktivität kann von diesen Orten aus bearbeitet werden:

Konfigurieren einer Google BigQuery Create Structure-Aktivität

Befolgen Sie diese Schritte, um eine Google BigQuery Create Structure-Aktivität zu konfigurieren:

Schritt 1: Geben Sie einen Namen ein und wählen Sie ein Objekt aus

In diesem Schritt geben Sie einen Namen für die Aktivität ein und wählen ein Objekt aus. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

  • Name: Geben Sie einen Namen ein, um die Aktivität zu identifizieren. Der Name muss für jede Google BigQuery Create Structure-Aktivität einzigartig sein und darf keine Schrägstriche / oder Doppelpunkte : enthalten.

  • Objekt auswählen: In diesem Abschnitt werden die in der Google BigQuery-Schnittstelle verfügbaren Objekte angezeigt.

    • Ausgewähltes Objekt: Nachdem ein Objekt ausgewählt wurde, wird es hier aufgelistet.

    • Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Objekte zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Objekte bereits in der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Objekte aus der Schnittstelle beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Objekte von der Google BigQuery-Schnittstelle neu zu laden. Dies kann nützlich sein, wenn Objekte zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Objekttabelle verwendet werden.

    • Ein Objekt auswählen: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um ein Objekt auszuwählen. Es kann nur ein Objekt ausgewählt werden. Die für jedes Objekt verfügbaren Informationen werden von der Google BigQuery-Schnittstelle abgerufen:

      • Name: Der Name des Objekts.

      • Beschreibung: Die Beschreibung des Objekts.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Objekten gefüllt wird, könnte die Google BigQuery-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Bei Fehler fortfahren: Wählen Sie diese Option, um die Ausführung der Aktivität fortzusetzen, wenn ein Fehler für ein Dataset in einer Batch-Anfrage auftritt. Wenn Fehler auftreten, werden diese im Betriebsprotokoll aufgezeichnet.

  • Rollback: Wenn während der Strukturierung Fehler auftreten, wird diese Option (wenn ausgewählt) alle Änderungen, die vor dem Fehler vorgenommen wurden, zurücksetzen. Wenn nicht ausgewählt, bleiben alle Änderungen vor dem Fehler bestehen.

  • Speichern & Beenden: Wenn aktiviert, klicken Sie, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Schritt 2: Wählen Sie ein Unterobjekt

In diesem Schritt wählen Sie ein Unterobjekt aus. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

  • Wählen Sie ein Unterobjekt: In diesem Abschnitt werden die im Google BigQuery-Endpunkt verfügbaren Unterobjekte angezeigt.

    • Ausgewähltes Objekt: Das im vorherigen Schritt ausgewählte Objekt wird hier aufgelistet.

    • Ausgewähltes Unterobjekt: Nach der Auswahl eines Unterobjekts wird es hier aufgelistet.

    • Suche: Geben Sie den Wert einer Spalte in das Suchfeld ein, um die Liste der Unterobjekte zu filtern. Die Suche ist nicht groß-/kleinschreibungssensitiv. Wenn Unterobjekte bereits in der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Unterobjekte vom Endpunkt beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Unterobjekte vom Google BigQuery-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Unterobjekte zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der Tabelle der in der Konfiguration angezeigten Unterobjekte verwendet werden.

    • Auswählen eines Unterobjekts: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um ein Unterobjekt auszuwählen. Es kann nur ein Unterobjekt ausgewählt werden. Die Informationen, die für jedes Unterobjekt verfügbar sind, werden vom Google BigQuery-Endpunkt abgerufen:

      • Name: Der Name des Unterobjekts.

      • Beschreibung: Die Beschreibung des Unterobjekts.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Unterobjekten gefüllt wird, könnte die Google BigQuery-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie auf die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 3: Überprüfen der Datenschemas

Alle Anforderungs- oder Antwortschemas werden angezeigt. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

  • Datenschemas: Diese Datenschemas werden von benachbarten Transformationen geerbt und während der Transformationszuordnung erneut angezeigt.

    Der Google BigQuery-Connector verwendet die Google BigQuery REST API. Weitere Informationen zu den Schemanodes und -feldern finden Sie in der API-Dokumentation.

    Die Aktivität Struktur erstellen verwendet JSON sowohl in ihren Anforderungs- als auch in ihren Antwortschemas.

    Wichtig

    Google BigQuery setzt Quoten und Limits durch, die die Rate und das Volumen der erstellten Strukturen begrenzen. Wenn diese Limits erreicht werden, wird die Aktivität mit einem Success Betriebsstatus abgeschlossen, auch wenn nicht alle angeforderten Strukturen erstellt werden. Weitere Informationen finden Sie in der Dokumentation von Google.

    Info

    Das Feld columnDataType des Anforderungsschemas unterstützt diese Datentypen (nicht groß-/kleinschreibungsempfindlich): BIGNUMERIC, BOOLEAN, BYTES, DATE, DATETIME, FLOAT, GEOGRAPHY, INTEGER, INTERVAL, JSON, NUMERIC, RECORD, STRING, TIME und TIMESTAMP.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Schemas vom Google BigQuery-Endpunkt neu zu generieren. Diese Aktion regeneriert auch ein Schema an anderen Stellen im Projekt, an denen dasselbe Schema referenziert wird, wie in einer angrenzenden Transformation.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.

  • Änderungen verwerfen: Nach Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Nächste Schritte

Nachdem Sie eine Google BigQuery Struktur erstellen-Aktivität konfiguriert haben, vervollständigen Sie die Konfiguration der Operation, indem Sie andere Aktivitäten oder Werkzeuge als Operation Schritte hinzufügen und konfigurieren. Sie können auch die Betriebseinstellungen konfigurieren, die die Möglichkeit umfassen, Operationen zusammenzuführen, die sich in denselben oder unterschiedlichen Workflows befinden.

Menüaktionen für eine Aktivität sind im Projektbereich und auf der Entwurfskanvas zugänglich. Weitere Einzelheiten finden Sie im Aktivitätsaktionsmenü in Connector-Grundlagen.

Google BigQuery Struktur erstellen-Aktivitäten können als Ziel mit diesen Betriebsmustern verwendet werden:

Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Speicherort und verwenden Sie dann diesen temporären Speicherort in der Skriptfunktion.

Wenn Sie bereit sind, bereitstellen und ausführen Sie den Vorgang und validieren Sie das Verhalten, indem Sie die Betriebsprotokolle überprüfen.