Zum Inhalt springen

Google BigQuery Abfrageaktivität

Einführung

Eine Google BigQuery Abfrage-Aktivität, die ihre Google BigQuery-Verbindung verwendet, führt eine Abfrage auf einer Tabelle in einem Dataset in Google BigQuery aus und ist als Quelle in einem Vorgang gedacht.

Erstellen einer Google BigQuery Abfrageaktivität

Eine Instanz einer Google BigQuery Abfrage-Aktivität wird aus einer Google BigQuery-Verbindung unter Verwendung des Abfrage-Aktivitätstyps erstellt.

Um eine Instanz einer Aktivität zu erstellen, ziehen Sie den Aktivitätstyp auf die Entwurfsfläche oder kopieren Sie den Aktivitätstyp und fügen Sie ihn auf der Entwurfsfläche ein. Für Details siehe Erstellen einer Aktivitäts- oder Toolinstanz in Komponentenwiederverwendung.

Eine vorhandene Google BigQuery Abfrage-Aktivität kann von diesen Orten aus bearbeitet werden:

Konfigurieren einer Google BigQuery Abfrageaktivität

Befolgen Sie diese Schritte, um eine Google BigQuery Abfrage-Aktivität zu konfigurieren:

Schritt 1: Geben Sie einen Namen ein und wählen Sie das Dataset aus

In diesem Schritt geben Sie einen Namen für die Aktivität ein und wählen das Dataset aus. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

Google BigQuery Abfrageaktivitätskonfiguration Schritt 1

  • Name: Geben Sie einen Namen ein, um die Aktivität zu identifizieren. Der Name muss für jede Google BigQuery Abfrage-Aktivität eindeutig sein und darf keine Schrägstriche / oder Doppelpunkte : enthalten.

  • Dataset auswählen: In diesem Abschnitt werden die in der Google BigQuery-Schnittstelle verfügbaren Datasets angezeigt.

    • Ausgewähltes Dataset: Nachdem ein Dataset ausgewählt wurde, wird es hier aufgelistet.

    • Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Datasets zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Datasets bereits in der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Datasets von der Schnittstelle beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Datasets von der Google BigQuery-Schnittstelle neu zu laden. Dies kann nützlich sein, wenn Datasets zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Tabelle der Datasets verwendet werden.

    • Ein Dataset auswählen: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um ein Dataset auszuwählen. Es kann nur ein Dataset ausgewählt werden. Die Informationen, die für jedes Dataset verfügbar sind, werden von der Google BigQuery-Schnittstelle abgerufen:

      • Name: Der Name des Datasets.

      • Beschreibung: Die Beschreibung des Datasets.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Datasets gefüllt wird, könnte die Google BigQuery-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Speichern & Beenden: Wenn aktiviert, klicken Sie, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.

  • Nächster Schritt: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach dem Vornehmen von Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 2: Wählen Sie die Tabelle

In diesem Schritt wählen Sie die Tabelle aus. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

Google BigQuery Abfrageaktivitätskonfiguration Schritt 2

  • Tabelle auswählen: In diesem Abschnitt werden die in der Google BigQuery-Endpunkt verfügbaren Tabellen angezeigt.

    • Ausgewähltes Dataset: Das im vorherigen Schritt ausgewählte Dataset wird hier aufgelistet.

    • Ausgewählte Tabelle: Nachdem eine Tabelle ausgewählt wurde, wird sie hier aufgelistet.

    • Suche: Geben Sie den Wert einer beliebigen Spalte in das Suchfeld ein, um die Liste der Tabellen zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Wenn Tabellen bereits innerhalb der Tabelle angezeigt werden, werden die Tabellenergebnisse in Echtzeit mit jedem Tastendruck gefiltert. Um Tabellen vom Endpunkt beim Suchen neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um Tabellen vom Google BigQuery-Endpunkt neu zu laden. Dies kann nützlich sein, wenn Tabellen zu Google BigQuery hinzugefügt wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der in der Konfiguration angezeigten Tabelle von Tabellen verwendet werden.

    • Tabelle auswählen: Klicken Sie innerhalb der Tabelle auf eine beliebige Stelle in einer Zeile, um eine Tabelle auszuwählen. Es kann nur eine Tabelle ausgewählt werden. Die Informationen, die für jede Tabelle verfügbar sind, werden vom Google BigQuery-Endpunkt abgerufen:

      • Name: Der Name der Tabelle.

      • Beschreibung: Die Beschreibung der Tabelle.

    Tipp

    Wenn die Tabelle nicht mit verfügbaren Tabellen gefüllt wird, könnte die Google BigQuery-Verbindung nicht erfolgreich sein. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldeinformationen erneut testen.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nach dem Vornehmen von Änderungen klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fordert Sie auf, zu bestätigen, dass Sie die Änderungen verwerfen möchten.

Schritt 3: Erstellen Sie Ihre Abfrage

In diesem Schritt erstellen Sie eine Abfrageanweisung, indem Sie Bedingungen für Objektfelder festlegen und Paging entweder über den Abfrage-Builder oder durch manuelles Eingeben einer Abfrageanweisung anwenden. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

Hinweis

Sie können den Abfrage-Builder umgehen und eine Abfrageanweisung im Feld Abfragezeichenfolge eingeben.

Google BigQuery Abfrageaktivitätskonfiguration Schritt 3

Tipp

Felder mit einem Variablen-Icon unterstützen die Verwendung von globalen Variablen, Projektvariablen und Jitterbit-Variablen. Beginnen Sie entweder, indem Sie eine öffnende eckige Klammer [ in das Feld eingeben, oder indem Sie auf das Variablen-Icon klicken, um eine Liste der vorhandenen Variablen anzuzeigen, aus denen Sie wählen können.

  • Felder zum Abrufen: Verwenden Sie diesen Abschnitt, um eine Abfrage zu erstellen, indem Sie Felder zum Abrufen auswählen.

    • Suche: Geben Sie einen Teil eines Feldnamens in das Suchfeld ein, um die Liste der Felder für das ausgewählte Objekt zu filtern. Die Suche ist nicht groß-/kleinschreibungsempfindlich. Die aufgelisteten Ergebnisse werden in Echtzeit mit jedem Tastendruck gefiltert.

    • Aktualisieren: Klicken Sie auf das Aktualisierungs-Icon oder das Wort Aktualisieren, um die Felder des Objekts vom Google BigQuery-Endpunkt neu zu laden.

    • Alle auswählen: Wenn Sie das Suchfeld verwenden, um zu filtern, können Sie dieses Kontrollkästchen verwenden, um alle sichtbaren Felder auf einmal auszuwählen.

  • Felder auswählen: Wählen Sie die Kontrollkästchen der Felder aus, die Sie in die Abfrage einbeziehen möchten, damit sie automatisch in die Abfrageanweisung im Abfrage-String eingefügt werden. Sie können auch Alle auswählen und alle Felder auf einmal mit dem Kontrollkästchen auswählen.

  • Seitenumbruch: Um eine Seitenumbruchklausel (eine Begrenzung der Anzahl der Datensätze mit einem optionalen Datensatzoffset) hinzuzufügen, können Sie das Dropdown-Menü verwenden, um die Seitenbegrenzung festzulegen und das Feld für die Eingabe eines Offsets zu verwenden. Wenn kein Offset angegeben ist, wird standardmäßig 0 verwendet. Eine einzelne Seitenumbruchklausel wird unterstützt. Wenn keine Seitenumbruchklausel enthalten ist, werden alle Datensätze zurückgegeben.

    • Anwenden: Klicken Sie, um die Klausel automatisch basierend auf den Dropdown-Auswahlen und dem eingegebenen Wert zu erstellen. Die automatisch erstellte Seitenumbruchklausel erscheint im Textfeld Abfrage-String.

    • Entfernen: Klicken Sie, um eine angewendete Seitenumbruchklausel zu entfernen.

  • Bedingungen: Um bedingte Klauseln hinzuzufügen, verwenden Sie die Felder unten als Eingabe, um die Klauseln zu erstellen, die dann im Textfeld Abfrage-String erscheinen.

    • Feld: Verwenden Sie das Dropdown-Menü, um ein Feld aus dem ausgewählten Objekt auszuwählen.

    • Operator: Verwenden Sie das Dropdown-Menü, um einen Operator auszuwählen, der für den Datentyp des Feldes geeignet ist:

      Operator Bezeichnung Beschreibung
      = Gleich
      != Ungleich
      IN (Wert1, Wert2) In In der Liste der Werte.
      IS NULL Ist Null Hat keinen Wert.
      IS NOT NULL Ist Nicht Null Hat einen Wert.
      LIKE 'string' Wie Wie string.
      LIKE 'string%' Beginnt mit Beginnt mit string.
      LIKE '%string' Endet mit Endet mit string.
      LIKE '%string%' Enthält Enthält string.
      < Kleiner als
      <= Kleiner oder gleich
      > Größer als
      >= Größer oder gleich

    • Wert: Geben Sie den gewünschten Wert ein, der mit den Dropdown-Auswahlen verwendet werden soll.

    • Hinzufügen: Klicken Sie, um die Klausel automatisch basierend auf den Dropdown-Auswahlen und dem eingegebenen Wert zu erstellen. Die bedingte Klausel wird in das Textfeld Abfragezeichenfolge eingefügt.

    • Alle entfernen: Klicken Sie, um alle eingegebenen bedingten Klauseln zu entfernen.

  • Abfragezeichenfolge: Wenn Sie Felder auswählen, Bedingungen festlegen und die Seitenanzahl einstellen, wird die Abfrageanweisung in diesem Textfeld automatisch mit den ausgewählten Feldern, Bedingungen und Seitenlimits ausgefüllt. Dieses Feld ist bearbeitbar, was bedeutet, dass Sie manuell eine Abfrageanweisung eingeben oder die automatisch ausgefüllte Anweisung bearbeiten können.

    Hinweis

    Die Werte aller globalen Variablen, die in der Abfragezeichenfolge verwendet werden, werden beim Klicken auf die Schaltfläche Abfrage testen nicht ausgefüllt, selbst wenn ein Standardwert angegeben ist. Die Werte globaler Variablen werden zur Laufzeit abgerufen, wenn die Abfrage ausgeführt wird. Um die Abfrage mit einem Standardvariablenwert zu testen, verwenden Sie stattdessen eine Projektvariable.

  • Abfrage testen: Klicken Sie, um die Abfrage zu validieren. Wenn die Abfrage gültig ist, werden maximal 50 Datensätze, die aus der Abfrage abgerufen wurden, in einer Tabelle angezeigt. Wenn die Abfrage ungültig ist, werden relevante Fehlermeldungen angezeigt. Wenn Sie die Abfragezeichenfolge manuell bearbeiten, muss die Abfrage gültig sein und über diese Schaltfläche validiert werden, um die Schaltfläche Weiter zu aktivieren.

    Hinweis

    Während der Laufzeit der Operation wird die 50-Datensatz-Grenze nicht durchgesetzt, es sei denn, sie wird im Feld Seitenanzahl (wie zuvor beschrieben) angegeben.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Weiter: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und mit dem nächsten Schritt fortzufahren. Die Konfiguration wird nicht gespeichert, bis Sie auf die Schaltfläche Fertig im letzten Schritt klicken.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Schritt 4: Überprüfen der Datenschemas

Alle Anforderungs- oder Antwortschemas werden angezeigt. Jedes Benutzeroberflächenelement dieses Schrittes wird im Folgenden beschrieben.

Google BigQuery Abfrageaktivitätskonfiguration Schritt 4

  • Datenschemas: Diese Datenschemas werden von benachbarten Transformationen übernommen und während der Transformationszuordnung erneut angezeigt.

    Der Google BigQuery-Connector verwendet die Google SDK-Version 25.4.0. Weitere Informationen zu den Schemanodes und -feldern finden Sie in der SDK-Dokumentation.

    Die Abfrage-Aktivität verwendet JSON in ihrem Antwortschema.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder das Wort Aktualisieren, um die Schemata vom Google BigQuery-Endpunkt neu zu generieren. Diese Aktion regeneriert auch ein Schema an anderen Stellen im Projekt, an denen dasselbe Schema referenziert wird, z. B. in einer benachbarten Transformation.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.

  • Änderungen verwerfen: Nachdem Sie Änderungen vorgenommen haben, klicken Sie, um die Konfiguration zu schließen, ohne die vorgenommenen Änderungen an einem Schritt zu speichern. Eine Nachricht fragt Sie, ob Sie die Änderungen wirklich verwerfen möchten.

Nächste Schritte

Nachdem Sie eine Google BigQuery Abfrage-Aktivität konfiguriert haben, vervollständigen Sie die Konfiguration der Operation, indem Sie andere Aktivitäten oder Werkzeuge als Operation Schritte hinzufügen und konfigurieren. Sie können auch die Betriebseinstellungen konfigurieren, die die Möglichkeit umfassen, Operationen zusammenzuführen, die sich in denselben oder unterschiedlichen Workflows befinden.

Menüaktionen für eine Aktivität sind über das Projektfenster und die Entwurfsfläche zugänglich. Weitere Informationen finden Sie im Aktivitätsaktionsmenü in Connector-Grundlagen.

Google BigQuery Abfrage-Aktivitäten können als Quelle mit diesen Betriebsmustern verwendet werden:

Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Speicherort und verwenden Sie dann diesen temporären Speicherort in der Skriptfunktion.

Wenn Sie bereit sind, bereitstellen und ausführen Sie den Vorgang und validieren Sie das Verhalten, indem Sie die Betriebsprotokolle überprüfen.