Document Compliance Agent (Google)

Übersicht

Jitterbit stellt den Document Compliance Agent (Google) Kunden über den Jitterbit Marketplace zur Verfügung. Dieser Agent automatisiert die compliance-fokussierte Dokumentenverarbeitung, indem er PDF-Dateien aus Google Cloud Storage abruft, deren Textinhalte mittels optischer Zeichenerkennung (OCR) extrahiert und eine KI-gestützte Analyse anwendet, um persönlich identifizierbare Informationen (PII) zu erkennen und zu entfernen. Dies hilft Organisationen, Datenschutzanforderungen zu erfüllen, ohne Dokumente manuell überprüfen zu müssen.

Der Agent ruft PDF-Dateien aus einem konfigurierten Quell-Bucket ab, authentifiziert sich bei Google Cloud mit einem Service-Konto und einem zwischengespeicherten OAuth2-Zugriffstoken und sendet jede Datei an Google Document AI zur OCR-Extraktion. Ein LLM analysiert den extrahierten Text dann in zwei Durchläufen: einmal zum Identifizieren und Speichern von PII-Daten und erneut zur Erzeugung einer bereinigten Version mit allen entfernten PII. Beide Ausgabedateien werden auf einen FTP-Server geschrieben, die ursprüngliche PDF wird in einen separaten Google Cloud Storage-Archiv-Bucket kopiert und aus der Quelle gelöscht, und E-Mail-Benachrichtigungen werden an konfigurierte Empfänger gesendet, wenn Verarbeitungsfehler auftreten.

Der Agent führt die folgenden Aufgaben aus:

• Authentifizierung bei Google Cloud mit einem Service-Konto-JWT und Zwischenspeicherung des OAuth2-Zugriffstokens zur Wiederverwendung über Verarbeitungsläufe hinweg.
• Abruf einer Liste von PDF-Dateien aus einem konfigurierten Google Cloud Storage-Quell-Bucket.
• Übermittlung jeder PDF-Datei an Google Document AI zur OCR-Textextraktion und Erfassung des gesamten extrahierten Textes.
• Versand des extrahierten Textes an ein LLM zum Erkennen und Extrahieren von PII-Daten und Schreiben der Ausgabe in eine Datei auf einem FTP-Server.
• Versand des extrahierten Textes an das LLM zur Erzeugung einer bereinigten Version mit allen entfernten PII und Schreiben der Ausgabe in eine Datei auf einem FTP-Server.
• Archivierung verarbeiteter PDF-Dateien in einem konfigurierten Ziel-Google Cloud Storage-Bucket und Entfernung der Originalversionen aus dem Quell-Bucket.
• Versand von E-Mail-Benachrichtigungen an konfigurierte Empfänger, wenn Verarbeitungsfehler auftreten.

Diese Dokumentation erläutert, wie man diesen KI-Agent einrichtet und betreibt. Sie behandelt Architektur, Voraussetzungen und Schritte zum Installieren, Konfigurieren und Betreiben des KI-Agenten.

AI-Agent-Architektur

Dieser KI-Agent verbindet Google Cloud Storage, Google Document AI, ein LLM und einen FTP-Server, um Text aus PDF-Dokumenten zu extrahieren und zu bereinigen. Ein typischer Verarbeitungslauf folgt diesen Schritten:

1. Die GCP Controller-Operation prüft den Cache auf ein gültiges OAuth2-Zugriffstoken. Wenn keines vorhanden ist, wird die Generate AccessToken-Operation ausgelöst, um sich bei Google Cloud mit den konfigurierten Service-Konto-Anmeldedaten zu authentifizieren.
2. Der Agent verbindet sich mit dem konfigurierten Google Cloud Storage-Quell-Bucket und ruft eine Liste verfügbarer PDF-Dateien ab.
3. Für jede Datei sendet der Agent die PDF an Google Document AI zur OCR-Textextraktion und erfasst den gesamten extrahierten Text.
4. Der Agent sendet den extrahierten Text mit einem PII-Erkennungs-Prompt an das LLM. Die identifizierten PII-Daten werden als JSON-Datei auf den FTP-Server geschrieben.
5. Der Agent sendet den extrahierten Text mit einem Datenbereinigунgs-Prompt an das LLM, um eine bereinigte Version zu erzeugen. Der bereinigte Text wird als JSON-Datei auf den FTP-Server geschrieben.
6. Die verarbeitete PDF wird in den Ziel-Google Cloud Storage-Archiv-Bucket kopiert und dann aus dem Quell-Bucket gelöscht.
7. Falls ein Schritt in der Pipeline fehlschlägt, wird eine E-Mail-Benachrichtigung mit Fehlerdetails an konfigurierte Empfänger gesendet.

Workflow-Diagramm

Das folgende Diagramm zeigt die Hauptverarbeitungs-Pipeline für den Document Compliance Agent (Google).

Voraussetzungen

Sie benötigen die folgenden Komponenten, um diesen KI-Agent zu verwenden.

Harmony-Komponenten

Sie müssen über eine Jitterbit Harmony-Lizenz mit Zugriff auf die folgenden Komponenten verfügen:

• Jitterbit Studio
• Document Compliance Agent (Google) erworben als Lizenz-Add-on

Unterstützte Endpoints

Der KI-Agent verbindet sich mit den folgenden Endpoints. Man kann andere Systeme integrieren, indem man die Endpoint-Konfigurationen und Workflows des Projekts anpasst.

Large Language Model (LLM)

Der Agent nutzt Google Vertex AI, um auf Large Language Models für PII-Erkennung und Datensanitization zuzugreifen. Das Projekt ist standardmäßig so konfiguriert, dass es Gemini 2.5 Flash verwendet. Man kann ein anderes von Vertex AI unterstütztes Modell einsetzen, indem man die Projektvariable GCP_Model aktualisiert. Man muss über ein Google-Cloud-Projekt mit aktivierter Vertex AI API und ein Service-Konto mit der Rolle Vertex AI User verfügen.

Google Cloud Storage

Der Agent nutzt Google Cloud Storage sowohl als PDF-Quelle als auch als Archivziel. Man muss über ein Google-Cloud-Projekt mit aktivierter Cloud Storage API, zwei konfigurierte Cloud Storage Buckets (einen für eingehende PDF-Dateien und einen für archivierte verarbeitete Dateien) und ein Service-Konto mit der Rolle Storage Object Admin für beide Buckets verfügen.

Google Document AI

Der Agent nutzt Google Document AI für OCR-Textextraktion aus PDF-Dateien. Man muss die Cloud Document AI API in seinem Google-Cloud-Projekt aktiviert haben, einen Document AI Processor erstellt haben und ein Service-Konto mit der Rolle Document AI API User besitzen.

FTP

Der Agent schreibt verarbeitete Output-Dateien (PII-Daten und bereinigter Text) auf einen FTP-Server. Man muss über einen von Jitterbit erreichbaren FTP-Server mit gültigen Anmeldedaten verfügen.

Email

Der Agent sendet Fehlerbenachrichtigungen per SMTP-E-Mail. Die Standardkonfiguration verwendet Gmail (smtp.gmail.com). Man muss über ein Absender-E-Mail-Konto mit aktiviertem SMTP-Zugriff verfügen und, wenn Gmail verwendet wird, ein App-Passwort konfiguriert haben.

Installation, Konfiguration und Betrieb

Führen Sie diese Schritte aus, um den KI-Agent zu installieren, zu konfigurieren und zu betreiben:

1. Projekt herunterladen und installieren
2. GCP-Ressourcen konfigurieren
3. Projektvariablen konfigurieren
4. Verbindungen testen
5. Projekt bereitstellen
6. Projekt-Workflows überprüfen
7. Projekt-Workflows auslösen

Hinweise zur Fehlerbehebung finden Sie unter Fehlerbehebung.

Projekt herunterladen und installieren

Führen Sie diese Schritte aus, um das Studio-Projekt für den KI-Agent zu installieren:

1. Melden Sie sich beim Harmony-Portal unter https://login.jitterbit.com an und öffnen Sie Marketplace.

2. Suchen Sie den KI-Agent Document Compliance Agent (Google). Verwenden Sie die Suchleiste oder wählen Sie im Bereich Filters unter Type die Option AI Agent, um die Anzeige auf KI-Agents zu beschränken.

3. Klicken Sie auf den Link Documentation des Agents, um seine Dokumentation in einem separaten Tab zu öffnen. Halten Sie den Tab offen, um später darauf verweisen zu können.

4. Klicken Sie auf Start Project, um ein Konfigurationsdialogfeld zu öffnen.

   Hinweis

   Wenn Sie den KI-Agent noch nicht erworben haben, wird stattdessen Get this agent angezeigt. Klicken Sie darauf, um ein Informationsdialogfeld zu öffnen, und klicken Sie dann auf Submit, damit sich ein Vertreter mit Ihnen bezüglich des Kaufs des KI-Agents in Verbindung setzt.

   Tipp

   Das Konfigurationsdialogfeld enthält eine Warnung, dass die Vorlage nicht importiert werden sollte, bevor Endpoint-Anpassungen angewendet werden. Diese Warnung gilt nicht für diesen KI-Agent und kann ignoriert werden. Befolgen Sie stattdessen die empfohlene Reihenfolge der Schritte in dieser Dokumentation.

5. Wählen Sie im Dialogfeld Create a New Project eine Umgebung, in der das Studio-Projekt erstellt wird, und klicken Sie auf Create Project.

6. Nachdem das Fortschrittsdialogfeld anzeigt, dass das Projekt erstellt wurde, verwenden Sie den Dialoglink Go to Studio oder öffnen Sie das Projekt direkt über die Seite Studio Projects.

GCP-Ressourcen konfigurieren

Richten Sie vor der Konfiguration von Projektvariablen die erforderlichen Google Cloud Platform-Ressourcen ein.

Erforderliche APIs aktivieren

1. Öffnen Sie die Google Cloud Console und wählen Sie Ihr Projekt aus.

2. Öffnen Sie das Navigationsmenü und gehen Sie zu APIs & Services > Library.

3. Suchen Sie nach den folgenden APIs und aktivieren Sie diese:

   • Cloud Storage API
   • Cloud Document AI API
   • Vertex AI API

Dienstkonto erstellen

1. Öffnen Sie in der Google Cloud Console IAM & Admin > Service Accounts und klicken Sie auf Create Service Account.

2. Geben Sie einen Namen für das Dienstkonto ein und klicken Sie auf Create and Continue.

3. Weisen Sie dem Dienstkonto die folgenden IAM-Rollen zu:

   • Storage Object Admin (erforderlich zum Lesen, Archivieren und Löschen von Dateien in beiden Cloud Storage Buckets)
   • Document AI API User (erforderlich für die OCR-Textextraktion)
   • Vertex AI User (erforderlich für LLM-Inferenz)

4. Klicken Sie auf Done, um das Dienstkonto zu erstellen.

5. Klicken Sie in der Dienstkontoliste auf das soeben erstellte Dienstkonto. Öffnen Sie die Registerkarte Keys, klicken Sie auf Add Key > Create new key, wählen Sie JSON und klicken Sie auf Create. Die Schlüsseldatei wird automatisch heruntergeladen.

6. Öffnen Sie die heruntergeladene JSON-Schlüsseldatei und notieren Sie die folgenden Werte zur Verwendung in den Projektvariablen:

   • Der Wert client_email wird der Projektvariablen GCP_clientEmail zugeordnet.
   • Der Wert private_key wird der Projektvariablen GCP_privateKey zugeordnet.
   • Der Wert private_key_id wird der Projektvariablen GCP_privateKeyId zugeordnet.

Cloud Storage Buckets erstellen

1. Öffnen Sie in der Google Cloud Console Cloud Storage > Buckets und klicken Sie auf Create.

2. Erstellen Sie den Quell-Bucket, in den PDF-Dateien zur Verarbeitung hochgeladen werden. Notieren Sie sich den Bucket-Namen für die Projektvariable GCP_Get_BucketName.

3. Erstellen Sie einen zweiten Bucket als Archivziel für verarbeitete Dateien. Notieren Sie sich seinen Namen für die Projektvariable GCP_Archive_BucketName.

4. Stellen Sie sicher, dass sich beide Buckets in derselben Google Cloud Region befinden.

Document AI Processor erstellen

1. Öffnen Sie in der Google Cloud Console Document AI > My processors und klicken Sie auf Create processor.

2. Wählen Sie Document OCR als Processortyp.

3. Geben Sie einen Namen für den Processor ein, wählen Sie eine Region aus und klicken Sie auf Create. Notieren Sie sich die Region für die Projektvariable GCP_DocumentAI_Location.

4. Nachdem der Processor erstellt wurde, kopieren Sie die Processor-ID von der Seite mit den Processor-Details. Verwenden Sie diesen Wert für die Projektvariable GCP_Processor_ID.

Projektvariablen konfigurieren

Legen Sie in dem aus dem Marketplace installierten Studio-Projekt Werte für die folgenden Projektvariablen fest.

Um Projektvariablen zu konfigurieren, verwenden Sie das Menü Aktionen des Projekts und wählen Sie Project Variables, um das Konfigurationsfenster zu öffnen.

Google Cloud Platform

Google Document AI

Google Vertex AI

Google Cloud Storage

FTP

E-Mail

Agent

Verbindungen testen

Verbindungen testen, um die Endpunktkonfigurationen zu überprüfen und die Konnektivität mit den definierten Projektvariablenwerten zu überprüfen.

Um Verbindungen zu testen, zur Registerkarte Projektendpunkte und Connectoren der Design-Komponentenpalette gehen, den Mauszeiger über die einzelnen Endpunkte bewegen und Testen klicken.

Projekt bereitstellen

Projekt bereitstellen.

Um das Projekt bereitzustellen, das Aktionsmenü des Projekts verwenden und Bereitstellen auswählen.

Projekt-Workflows überprüfen

Das Studio-Projekt enthält einen Workflow, der die Document Compliance Agent (Google)-Verarbeitungs-Pipeline implementiert.

GCP PDF Parser

GCP Controller

Der Vorgang GCP Controller fungiert als Einstiegspunkt für den Workflow. Er prüft den Cache auf ein vorhandenes OAuth2-Zugriff-Token. Wenn ein gültiges Token vorhanden ist, wird der Workflow direkt zum Lesen von PDF-Dateien aus Cloud Storage fortgesetzt. Wenn kein Token vorhanden ist, wird der Vorgang Generate AccessToken ausgelöst, um eines abzurufen, bevor fortgefahren wird.

Generate AccessToken

Der Vorgang Generate AccessToken authentifiziert den Agent bei Google Cloud mit den konfigurierten Dienstkonten-Anmeldedaten. Er erstellt ein JWT aus dem privaten Schlüssel des Dienstkontos, signiert diesen und tauscht ihn mit dem Google-OAuth2-Token-Endpunkt aus, um ein Zugriff-Token abzurufen. Das Token wird für die Wiederverwendung in nachfolgenden Vorgängen im Cache gespeichert.

Liste von PDFs aus Google Cloud Storage auslesen

Der Vorgang Read List of PDFs from Google Cloud Storage sendet eine authentifizierte HTTP-Anfrage an die Cloud Storage API, um eine Liste von PDF-Dateinamen im Quell-Bucket abzurufen. Der Vorgang durchläuft die zurückgegebene Liste und löst für jede Datei die Extraktions-Pipeline aus.

Daten aus PDF mit Google Document_AI extrahieren

Der Vorgang Extract data from PDF using Google Document_AI übermittelt die PDF-Datei über die Google Document AI API an den konfigurierten Processor. Die API gibt den extrahierten Textinhalt zurück, den der Vorgang für die nachfolgenden Analyse-Schritte mit dem LLM speichert.

PII-Daten mit Google Vertex_AI extrahieren

Der Vorgang Extract PII data using Google Vertex_AI sendet den extrahierten Dokumenttext über die Vertex AI API an das konfigurierte Gemini-Modell mit einer Eingabeaufforderung zur Identifizierung und Extraktion von personenbezogenen Daten. Die LLM-Antwort wird analysiert und bereinigt und dann an den Vorgang Send File to FTP übergeben, um an das konfigurierte FTP-Ziel gesendet zu werden.

Nicht-PII-Daten mit Google Vertex_AI extrahieren

Der Vorgang Extract Non_PII data using Google Vertex_AI sendet den extrahierten Dokumenttext über die Vertex AI API an das Gemini-Modell mit einer Eingabeaufforderung, um eine bereinigte Version mit entfernten personenbezogenen Daten zu erstellen. Die bereinigte Antwort wird an den Vorgang Send File to FTP übergeben, um an das konfigurierte FTP-Ziel gesendet zu werden.

Datei zu FTP senden

Der Vorgang Send File to FTP schreibt die verarbeitete JSON-Payload auf den FTP-Server unter dem Pfad, der von der Projektvariable FTP_File_Path konfiguriert wurde. Dieser Vorgang wird für jede verarbeitete PDF-Datei einmal für die PII-Ausgabe und einmal für die Nicht-PII-Ausgabe aufgerufen.

PDFs aus Google Cloud Storage kopieren

Der Vorgang Copy PDFs from Google Cloud Storage nutzt die Cloud Storage API, um die verarbeitete PDF aus dem Quell-Bucket in den Archiv-Bucket zu kopieren und erstellt so ein permanentes Archiv der verarbeiteten Datei.

PDFs aus Google Cloud Storage löschen

Der Vorgang Delete PDFs from Google Cloud Storage sendet eine authentifizierte DELETE-Anfrage an die Cloud Storage API, um die verarbeitete PDF aus dem Quell-Bucket zu entfernen, nachdem sie erfolgreich archiviert wurde. Dies verhindert eine erneute Verarbeitung bei zukünftigen Ausführungen.

Fehlerbenachrichtigung

Der Vorgang Error Notification erstellt eine Fehler-E-Mail mit dem Workflow-Namen, dem Zeitstempel und den Fehlerdetails und sendet sie an die in der Projektvariable Email_To_Recipients konfigurierten Adressen. Nach dem Versenden der Benachrichtigung löst der Vorgang den Fehler aus, um die weitere Ausführung zu stoppen.

Projekt-Workflows auslösen

Um den Document Compliance Agent (Google) auszuführen, stelle den Vorgang GCP Controller bereit und führe ihn aus. Fahre in Studio mit der Maus über den Vorgang und klicke auf das Symbol Deploy and Run (Bereitstellen und Ausführen) in der oberen rechten Ecke der Vorgangskachel.

Um die Pipeline zu automatisieren, konfiguriere Vorgangszeitpläne für den Vorgang GCP Controller, um in der gewünschten Häufigkeit ausgeführt zu werden.

Fehlerbehebung

Falls Probleme auftreten, überprüfe die Vorgangsprotokolle für detaillierte Informationen zur Fehlerbehebung.

Für weitere Unterstützung wende dich an den Jitterbit-Support.