Jitterbit Document Compliance Agent (AWS)

Überblick

Jitterbit stellt Kunden den Document Compliance Agent (AWS) über den Jitterbit Marketplace zur Verfügung. Dieser Agent automatisiert die auf Compliance ausgerichtete Dokumentenverarbeitung, indem er PDF-Dateien aus Amazon S3 abruft, deren Textinhalt mittels optischer Zeichenerkennung (OCR) extrahiert und KI-gestützte Analysen anwendet, um personenbezogene Daten (PII) zu erkennen und zu entfernen. Dies hilft Organisationen, Anforderungen zum Datenschutz ohne manuelle Dokumentenprüfung zu erfüllen.

Der Agent ruft PDF-Dateien aus einem konfigurierten Quell-Bucket ab, übermittelt jede Datei zur asynchronen OCR-Verarbeitung und sammelt den vollständigen extrahierten Text über alle Seiten hinweg. Ein LLM analysiert den extrahierten Text anschließend in zwei Durchläufen: einmal, um PII-Daten zu identifizieren und zu speichern, und ein weiteres Mal, um eine bereinigte Version mit allen entfernten PII zu erzeugen. Beide Ausgabedateien werden auf einen SFTP-Server geschrieben, die ursprüngliche PDF-Datei wird in einem separaten S3-Bucket archiviert, und nach jedem Verarbeitungslauf werden E-Mail-Benachrichtigungen an konfigurierte Empfänger gesendet.

Der Agent führt die folgenden Aufgaben aus:

• Ruft eine Liste von PDF-Dateien aus einem konfigurierten Amazon S3-Quell-Bucket ab.
• Liest jede PDF-Datei und übermittelt sie an Amazon Textract zur asynchronen OCR-Textextraktion.
• Sammelt den extrahierten Text über alle Seiten hinweg und verarbeitet mehrseitige Dokumente mithilfe der Paginierungstoken von Textract.
• Sendet den extrahierten Text an ein LLM, um PII-Daten zu erkennen und zu extrahieren, und schreibt die Ausgabe in eine Datei auf einem SFTP-Server.
• Sendet den extrahierten Text an das LLM, um eine bereinigte Version mit allen entfernten PII zu erzeugen, und schreibt die Ausgabe in eine Datei auf einem SFTP-Server.
• Archiviert verarbeitete PDF-Dateien in einem konfigurierten Ziel-S3-Bucket.
• Sendet E-Mail-Benachrichtigungen an konfigurierte Empfänger, nachdem die Verarbeitung abgeschlossen ist.

Dieses Dokument erklärt, wie Sie diesen KI-Agenten einrichten und betreiben. Es behandelt die Architektur, die Voraussetzungen und die Schritte zum Installieren, Konfigurieren und Betreiben des KI-Agenten.

KI-Agent-Architektur

Dieser KI-Agent verbindet Amazon S3, Amazon Textract, ein LLM und einen SFTP-Server, um Text aus PDF-Dokumenten zu extrahieren und zu bereinigen. Ein typischer Verarbeitungslauf folgt diesen Schritten:

1. Der Vorgang Initial Controller initialisiert die Verarbeitungsvariablen und löst den Schritt zur Dateiauflistung aus.
2. Der Agent verbindet sich mit dem konfigurierten Amazon S3-Quell-Bucket und ruft eine Liste der verfügbaren PDF-Dateien ab.
3. Für jede Datei liest der Agent den PDF-Inhalt aus Amazon S3 und übermittelt ihn an Amazon Textract zur asynchronen OCR-Verarbeitung.
4. Der Agent wartet, bis der Textract-Job abgeschlossen ist, ruft den extrahierten Text anhand der Job-ID ab und folgt den Paginierungstoken, bis alle Seiten gesammelt sind.
5. Der Agent sendet den vollständigen extrahierten Text mit einem PII-Erkennungs-Prompt an das LLM. Die erkannten PII-Daten werden in eine Datei auf dem SFTP-Server geschrieben.
6. Der Agent sendet den extrahierten Text mit einem Daten-Bereinigungs-Prompt an das LLM, um eine bereinigte Version zu erzeugen. Der bereinigte Text wird in eine Datei auf dem SFTP-Server geschrieben.
7. Die ursprüngliche PDF-Datei wird in den Ziel-S3-Archivbucket verschoben.
8. Eine E-Mail-Benachrichtigung wird an konfigurierte Empfänger gesendet, um den Abschluss der Verarbeitung zu bestätigen.

Workflow-Diagramm

Das folgende Diagramm zeigt die Hauptverarbeitungspipeline für den Document Compliance Agent (AWS).

Voraussetzungen

Sie benötigen die folgenden Komponenten, um diesen KI-Agenten zu verwenden.

Harmony-Komponenten

Sie müssen über eine Jitterbit Harmony-Lizenz mit Zugriff auf die folgenden Komponenten verfügen:

• Jitterbit Studio
• Document Compliance Agent (AWS), erworben als Lizenz-Add-on

Unterstützte Endpunkte

Der KI-Agent verbindet sich mit den folgenden Endpunkten. Sie können andere Systeme einbinden, indem Sie die Endpunktkonfigurationen und Workflows des Projekts anpassen.

Large Language Model (LLM)

Der Agent nutzt Amazon Bedrock, um auf große Sprachmodelle für PII-Erkennung und Datenbereinigun zuzugreifen. Amazon Bedrock ist ein verwalteter Service, der Zugriff auf Foundation Models von Anbietern wie Anthropic, Amazon und Meta bietet. Das Projekt ist standardmäßig für die Verwendung von Amazon Nova Lite konfiguriert. Sie können ein anderes Bedrock-unterstütztes Modell verwenden, indem Sie die Modell-ID in der Bedrock-Aktivitätskonfiguration aktualisieren. Sie benötigen ein AWS-Konto mit aktiviertem Amazon-Bedrock-Zugriff in Ihrer Region und das ausgewählte Modell muss aktiviert sein.

Amazon S3

Der Agent verwendet Amazon S3 sowohl als PDF-Quelle als auch als Archiverungsziel. Sie benötigen ein AWS-Konto mit IAM-Anmeldedaten, die über AmazonS3FullAccess-Berechtigungen verfügen, und zwei konfigurierte Buckets: einen für eingehende PDF-Dateien und einen zum Archivieren verarbeiteter Dateien.

Amazon Textract

Der Agent verwendet Amazon Textract für asynchrone OCR-Extraktion aus PDF-Dateien. Ihre IAM-Anmeldedaten müssen AmazonTextractFullAccess-Berechtigungen enthalten. Der S3-Quell-Bucket muss eine Ressourcenrichtlinie haben, die Amazon Textract erlaubt, daraus zu lesen (siehe AWS-Ressourcen konfigurieren).

SFTP

Der Agent schreibt verarbeitete Ausgabedateien (PII-Daten und bereinigter Text) auf einen SFTP-Server. Sie benötigen einen SFTP-Server, der von Jitterbit aus erreichbar ist und gültige Verbindungsanmeldedaten hat.

Email

Der Agent sendet Verarbeitungsbenachrichtigungen per SMTP-E-Mail. Die Standardkonfiguration verwendet Gmail (smtp.gmail.com). Sie benötigen ein Absender-E-Mail-Konto mit aktiviertem SMTP-Zugriff und, falls Sie Gmail verwenden, ein konfiguriertes App-Passwort.

Installation, Konfiguration und Betrieb

Führen Sie diese Schritte aus, um diesen KI-Agent zu installieren, zu konfigurieren und zu betreiben:

1. Projekt herunterladen und installieren
2. AWS-Ressourcen konfigurieren
3. Projektvariablen konfigurieren
4. Verbindungen testen
5. Projekt bereitstellen
6. Projekt-Workflows überprüfen
7. Projekt-Workflows auslösen

Informationen zur Fehlerbehebung finden Sie unter Fehlerbehebung.

Projekt herunterladen und installieren

Führen Sie diese Schritte aus, um das Studio-Projekt für den KI-Agent zu installieren:

1. Melden Sie sich beim Harmony-Portal unter https://login.jitterbit.com an und öffnen Sie Marketplace.

2. Suchen Sie den KI-Agent mit dem Namen Document Compliance Agent (AWS). Verwenden Sie die Suchleiste oder wählen Sie im Bereich Filter unter Type die Option AI Agent aus, um die Anzeige auf KI-Agenten zu beschränken.

3. Klicken Sie auf den Link Documentation des Agenten, um seine Dokumentation in einem separaten Tab zu öffnen. Halten Sie den Tab offen, um später darauf verweisen zu können.

4. Klicken Sie auf Start Project, um ein Konfigurationsdialog zu öffnen.

   Hinweis

   Wenn Sie den KI-Agent noch nicht erworben haben, wird stattdessen Get this agent angezeigt. Klicken Sie darauf, um einen Informationsdialog zu öffnen, und klicken Sie dann auf Submit, um einen Vertreter zu kontaktieren und den KI-Agent zu erwerben.

5. Wählen Sie im Dialog Create a New Project eine Umgebung aus, in der das Studio-Projekt erstellt werden soll, und klicken Sie auf Create Project.

6. Nachdem das Fortschrittsdialog anzeigt, dass das Projekt erstellt wurde, verwenden Sie den Dialog-Link Go to Studio oder öffnen Sie das Projekt direkt auf der Seite Projekte von Studio.

AWS-Ressourcen konfigurieren

Richten Sie die erforderlichen AWS-Ressourcen ein, bevor Sie Projektvariablen konfigurieren.

IAM-Benutzer und Zugriffsschlüssel erstellen

1. Öffnen Sie in der AWS Management Console die IAM und wählen Sie in der linken Seitenleiste Users aus.

2. Wählen Sie einen vorhandenen Benutzer aus oder klicken Sie auf Create user, um einen neuen zu erstellen. Stellen Sie sicher, dass der Benutzer über Berechtigungen für Amazon S3, Amazon Textract und Amazon Bedrock verfügt.

3. Öffnen Sie die Registerkarte Security credentials des Benutzers, scrollen Sie zu Access keys und klicken Sie auf Create access key.

4. Wählen Sie den passenden Use Case aus, klicken Sie auf Weiter, und kopieren und speichern Sie die Access Key ID und den Secret Access Key sicher. Der Secret Key wird nur einmal angezeigt.

5. Klicken Sie auf der Registerkarte Berechtigungen des Benutzers auf Berechtigungen hinzufügen und ordnen Sie die folgenden Richtlinien zu: AmazonBedrockFullAccess, AmazonS3FullAccess, AmazonTextractFullAccess.

S3-Buckets erstellen

1. Öffnen Sie in der AWS Management Console S3 und klicken Sie auf Bucket erstellen.

2. Erstellen Sie den Quellbucket, in den PDF-Dateien zur Verarbeitung eingefügt werden. Notieren Sie sich den Bucketnamen für die Projektvariable AmazonBucket.

3. Erstellen Sie einen zweiten Bucket, um als Archivziel für verarbeitete Dateien zu dienen. Notieren Sie sich seinen Namen für die Projektvariable DestinationAmazonBucket.

4. Stellen Sie sicher, dass sich beide Buckets in der gleichen AWS-Region befinden.

Quellbucket-Richtlinie konfigurieren

Amazon Textract benötigt Lesezugriff auf den S3-Quellbucket. Wenden Sie die folgende Ressourcenrichtlinie an, um diesen Zugriff zu gewähren, und ersetzen Sie <source-bucket-name> durch Ihren tatsächlichen Bucketnamen:

1. Wählen Sie in Amazon S3 den Quellbucket aus und öffnen Sie die Registerkarte Berechtigungen.

2. Klicken Sie unter Bucket-Richtlinie auf Bearbeiten und fügen Sie die folgende Richtlinie ein:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": "textract.amazonaws.com"
               },
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::<source-bucket-name>",
                   "arn:aws:s3:::<source-bucket-name>/*"
               ]
           }
       ]
   }
   

3. Klicken Sie auf Änderungen speichern.

Projektvariablen konfigurieren

Legen Sie in dem aus dem Marketplace installierten Studio-Projekt Werte für die folgenden Projektvariablen fest.

Zum Konfigurieren von Projektvariablen verwenden Sie das -Aktionsmenü des Projekts und wählen Sie Projektvariablen, um die Konfigurationsleiste zu öffnen.

Amazon Web Services

SFTP

E-Mail

Verbindungen testen

Testen Sie die Endpunktkonfigurationen, um die Konnektivität mit den definierten Projektvariablenwerten zu überprüfen.

Um Verbindungen zu testen, gehen Sie zur Registerkarte Projektendpunkte und Connectoren in der Design-Komponentenpalette, halten Sie den Mauszeiger über jeden Endpunkt und klicken Sie auf Testen.

Projekt bereitstellen

Stellen Sie das Studio-Projekt bereit.

Um das Projekt bereitzustellen, verwenden Sie das -Aktionsmenü des Projekts und wählen Sie Bereitstellen.

Projekt-Workflows überprüfen

Das Studio-Projekt enthält einen Workflow, der die Verarbeitungspipeline des Document Compliance Agent (AWS) implementiert.

PDF Parser

Initial Controller

Der Initial Controller-Vorgang dient als Einstiegspunkt für den Workflow. Er führt das Controller Script aus, das die Variablen lineTexts und gv_extractedText in einen sauberen Zustand initialisiert, und löst dann den List Files From Amazon S3-Vorgang aus.

List Files From Amazon S3

Der List Files From Amazon S3-Vorgang verbindet sich über den Amazon S3-Adapter mit dem konfigurierten S3-Quell-Bucket und ruft eine Liste verfügbarer PDF-Dateinamen ab. Die Dateinamen werden in einer Variablen gespeichert und protokolliert, bevor der Workflow mit dem Lesen jeder Datei fortfährt.

Read Files From Amazon S3

Der Read Files From Amazon S3-Vorgang ruft den Binärinhalt jeder PDF aus S3 ab. Die Response-Payload wird umgewandelt und in einer Variablen gespeichert zur Übermittlung an Amazon Textract.

Textract Pdf Data

Der Textract Pdf Data-Vorgang sendet die PDF-Daten über HTTP an Amazon Textract zur asynchronen OCR-Verarbeitung. Der Vorgang ruft eine Job-ID aus der Textract-Response ab, protokolliert diese, wartet eine Minute auf Abschluss des Jobs und löst dann den Get Data from Job Id-Vorgang aus.

Get Data from Job Id

Der Get Data from Job Id-Vorgang sendet die Job-ID an Amazon Textract, um OCR-Ergebnisse abzurufen. Die Response wird umgewandelt, um Text auf Zeilenebene zu extrahieren, der an die globale Extrahierungs-Text-Variable angehängt wird. Wenn ein Paginierungstoken in der Response vorhanden ist, verzweigt sich der Vorgang zu Get Data from Next Token; andernfalls wird zum PII-Erkennungsschritt übergegangen.

Get Data from Next Token

Der Get Data from Next Token-Vorgang verarbeitet mehrseitige Textract-Ergebnisse mithilfe des Paginierungstokens, um die verbleibenden Seitendaten abzurufen. Der Text auf Zeilenebene jeder Seite wird an die globale Text-Variable angehängt. Der Vorgang setzt das Abrufen von Seiten fort, bis keine weiteren Token zurückgegeben werden, und verzweigt sich dann zum PII-Erkennungsschritt.

Prompt Bedrock for PII Data

Der Prompt Bedrock for PII Data-Vorgang sendet den vollständigen extrahierten Text an Amazon Nova Lite über Amazon Bedrock mit einer Eingabeaufforderung zur Erkennung persönlich identifizierbarer Informationen. Die Response wird geparst, um PII-Daten als JSON zu extrahieren, die protokolliert und in eine Datei auf dem SFTP-Server geschrieben werden.

Prompt Bedrock for Clean Data

Der Prompt Bedrock for Clean Data-Vorgang sendet den extrahierten Text an Amazon Nova Lite über Amazon Bedrock mit einer Eingabeaufforderung zur Erstellung einer bereinigten Version mit entfernten PII. Die Response wird mit Regex nachbearbeitet, um verbleibende sensible Daten zu entfernen, und der bereinigte Text wird in eine Datei auf dem SFTP-Server geschrieben.

Move File to archive

Der Move File to archive-Vorgang verschiebt die verarbeitete PDF aus dem S3-Quell-Bucket in den Ziel-Archive-Bucket, um sicherzustellen, dass die Datei bei nachfolgenden Ausführungen nicht erneut verarbeitet wird.

Projekt-Workflows auslösen

Um den Document Compliance Agent (AWS) auszuführen, stellen Sie die Initial Controller-Operation bereit und führen Sie sie aus. Klicken Sie in Studio auf die Operation und dann auf das Symbol Bereitstellen und Ausführen in der oberen rechten Ecke der Operation-Kachel.

Um die Pipeline zu automatisieren, konfigurieren Sie Operationszeitpläne für die Initial Controller-Operation, um sie in Ihrer bevorzugten Häufigkeit auszuführen.

Problembehandlung

Wenn Sie auf Probleme stoßen, überprüfen Sie die Operationsprotokolle für detaillierte Informationen zur Problembehandlung.

Für weitere Unterstützung kontaktieren Sie Jitterbit-Support.