Jitterbit Dokumenten-Compliance-Agent (Azure)

Übersicht

Jitterbit bietet den Dokumenten-Compliance-Agenten (Azure) über den Jitterbit Marketplace an. Dieser Agent automatisiert die dokumentenverarbeitungsorientierte Compliance, indem er PDF-Dateien aus dem Azure Blob Storage abruft, deren Textinhalt mithilfe von optischer Zeichenerkennung (OCR) extrahiert und eine KI-gestützte Analyse anwendet, um personenbezogene Daten (PII) zu erkennen und zu entfernen. Dadurch hilft er Organisationen, die Anforderungen an den Datenschutz zu erfüllen, ohne eine manuelle Dokumentenprüfung durchführen zu müssen.

Der Agent ruft PDF-Dateien aus einem konfigurierten Quellcontainer ab, reicht jede Datei zur Analyse an einen OCR-Dienst ein und sammelt den vollständig extrahierten Text. Ein LLM analysiert dann den extrahierten Text in zwei Durchgängen: einmal, um PII-Daten zu identifizieren und zu speichern, und ein weiteres Mal, um eine bereinigte Version mit allen entfernten PII zu erstellen. Beide Ausgabedateien werden auf einen SFTP-Server geschrieben, die ursprüngliche PDF wird in einem separaten Archivcontainer im Azure Blob Storage archiviert und aus dem Quellcontainer gelöscht. E-Mail-Benachrichtigungen werden an konfigurierte Empfänger gesendet, wenn Verarbeitungsfehler auftreten.

Der Agent führt die folgenden Aufgaben aus:

• Ruft eine Liste von PDF-Dateien aus einem konfigurierten Azure Blob Storage Quellcontainer ab.
• Reicht jede PDF-Datei an Azure Document Intelligence zur OCR-Textextraktion ein und sammelt den extrahierten Text.
• Sendet den extrahierten Text an ein LLM, um PII-Daten zu erkennen und zu extrahieren, und schreibt die Ausgabe in eine Datei auf einem SFTP-Server.
• Sendet den extrahierten Text an das LLM, um eine bereinigte Version mit allen entfernten PII zu erstellen, und schreibt die Ausgabe in eine Datei auf einem SFTP-Server.
• Archiviert verarbeitete PDF-Dateien in einem konfigurierten Ziel-Archivcontainer im Azure Blob Storage und entfernt die Originale aus dem Quellcontainer.
• Sendet E-Mail-Benachrichtigungen an konfigurierte Empfänger, wenn Verarbeitungsfehler auftreten.

Dieses Dokument erklärt, wie man diesen KI-Agenten einrichtet und betreibt. Es behandelt die Architektur, Voraussetzungen und Schritte zur Installation, Konfiguration und Betrieb des KI-Agenten.

KI-Agent-Architektur

Dieser KI-Agent verbindet Azure Blob Storage, Azure Document Intelligence, ein LLM und einen SFTP-Server, um Text aus PDF-Dokumenten zu extrahieren und zu bereinigen. Ein typischer Verarbeitungsablauf folgt diesen Schritten:

1. Der Initial Controller-Betrieb initialisiert die Verarbeitungsvariablen und löst den Schritt zur Auflistung der Blobs aus.
2. Der Agent verbindet sich mit dem konfigurierten Azure Blob Storage-Quellcontainer und ruft eine Liste der verfügbaren PDF-Dateien ab.
3. Für jede Datei konstruiert der Agent die Document Intelligence-Quell-URL und reicht die PDF zur OCR-Verarbeitung an Azure Document Intelligence ein.
4. Der Agent ruft das abgeschlossene OCR-Analyseergebnis ab und sammelt den vollständig extrahierten Text.
5. Der Agent sendet den extrahierten Text an das LLM mit einem PII-Erkennungs-Prompt. Die identifizierten PII-Daten werden in einer Datei auf dem SFTP-Server gespeichert.
6. Der Agent sendet den extrahierten Text an das LLM mit einem Datenbereinigungs-Prompt, um eine bereinigte Version zu erstellen. Der bereinigte Text wird in einer Datei auf dem SFTP-Server gespeichert.
7. Die ursprüngliche PDF wird in den Archivcontainer von Azure Blob Storage verschoben und aus dem Quellcontainer gelöscht.
8. E-Mail-Benachrichtigungen werden an konfigurierte Empfänger gesendet, wenn während der Verarbeitung Fehler auftreten.

Workflow-Diagramm

Das folgende Diagramm zeigt die Hauptverarbeitungspipeline für den Document Compliance Agent (Azure).

Voraussetzungen

Sie benötigen die folgenden Komponenten, um diesen KI-Agenten zu verwenden.

Harmony-Komponenten

Sie müssen über eine Jitterbit Harmony-Lizenz mit Zugriff auf die folgenden Komponenten verfügen:

• Jitterbit Studio
• Document Compliance Agent (Azure), erworben als Lizenz-Add-On

Unterstützte Endpunkte

Der KI-Agent verbindet sich mit den folgenden Endpunkten. Sie können andere Systeme integrieren, indem Sie die Endpunktkonfigurationen und Workflows des Projekts anpassen.

Großes Sprachmodell (LLM)

Der Agent verwendet Azure AI Foundry, um auf große Sprachmodelle zur PII-Erkennung und Datenbereinigung zuzugreifen. Azure AI Foundry ist eine verwaltete Plattform, die den Zugriff auf Modelle von Anbietern wie OpenAI, Microsoft und Meta ermöglicht. Sie müssen über ein Azure-Abonnement mit einem konfigurierten Azure AI Foundry-Hub und -Projekt sowie ein bereitgestelltes und über die Foundry-API zugängliches Modell verfügen.

Azure Blob Storage

Der Agent verwendet Azure Blob Storage sowohl als PDF-Quelle als auch als Archivziel. Sie müssen über ein Azure-Abonnement mit zwei konfigurierten Containern verfügen: einem für eingehende PDF-Dateien und einem für die Archivierung verarbeiteter Dateien. Beide Container benötigen Shared Access Signature (SAS)-Tokens mit Lese-, Schreib- und Listenberechtigungen.

Azure Document Intelligence

Der Agent verwendet Azure Document Intelligence für die OCR-Extraktion aus PDF-Dateien. Sie müssen über eine Azure Document Intelligence-Ressource mit einer gültigen Endpunkt-URL und einem API-Schlüssel verfügen.

SFTP

Der Agent schreibt verarbeitete Ausgabedateien (PII-Daten und bereinigten Text) auf einen SFTP-Server. Sie müssen über einen SFTP-Server verfügen, der von Jitterbit aus zugänglich ist, mit gültigen Verbindungsdaten.

Email

Der Agent sendet Fehlermeldungen über SMTP-E-Mail. Die Standardkonfiguration verwendet Gmail (smtp.gmail.com). Sie müssen über ein Absender-E-Mail-Konto mit aktiviertem SMTP-Zugriff verfügen und, falls Sie Gmail verwenden, ein App-Passwort konfiguriert haben.

Installation, Konfiguration und Betrieb

Befolgen Sie diese Schritte, um diesen KI-Agenten zu installieren, zu konfigurieren und zu betreiben:

1. Projekt herunterladen und installieren
2. Azure-Ressourcen konfigurieren
3. Projektvariablen konfigurieren
4. Verbindungen testen
5. Projekt bereitstellen
6. Projekt-Workflows überprüfen
7. Projekt-Workflows auslösen

Für Anleitungen zur Fehlersuche siehe Fehlerbehebung.

Projekt herunterladen und installieren

Befolgen Sie diese Schritte, um das Studio-Projekt für den KI-Agenten zu installieren:

1. Melden Sie sich im Harmony-Portal unter https://login.jitterbit.com an und öffnen Sie den Marktplatz.

2. Suchen Sie den KI-Agenten mit dem Namen Jitterbit Document Compliance Agent (Azure). Um den Agenten zu finden, verwenden Sie die Suchleiste oder wählen Sie im Bereich Filter unter Typ KI-Agent aus, um die Anzeige auf KI-Agenten zu beschränken.

3. Klicken Sie auf den Dokumentations-Link des Agents, um die Dokumentation in einem separaten Tab zu öffnen. Halten Sie den Tab geöffnet, um später darauf zurückzugreifen, nachdem Sie das Projekt gestartet haben.

4. Klicken Sie auf Projekt starten, um einen Konfigurationsdialog zu öffnen.

   Hinweis

   Wenn Sie den KI-Agenten noch nicht gekauft haben, wird stattdessen Agent erhalten angezeigt. Klicken Sie darauf, um einen Informationsdialog zu öffnen, und klicken Sie dann auf Absenden, damit sich ein Vertreter mit Ihnen in Verbindung setzt, um den KI-Agenten zu kaufen.

   Tipp

   Der Konfigurationsdialog enthält eine Warnung, die besagt, dass die Vorlage nicht importiert werden sollte, bevor die Endpunktanpassungen angewendet werden. Diese Warnung gilt nicht für diesen KI-Agenten und kann ignoriert werden. Befolgen Sie stattdessen die empfohlene Reihenfolge der Schritte in dieser Dokumentation.

5. Wählen Sie im Dialog Neues Projekt erstellen eine Umgebung aus, in der das Studio-Projekt erstellt wird, und klicken Sie dann auf Projekt erstellen.

6. Nachdem der Fortschrittsdialog anzeigt, dass das Projekt erstellt wurde, verwenden Sie den Dialog-Link Gehe zu Studio oder öffnen Sie das Projekt direkt von der Studio Projekte Seite.

Azure-Ressourcen konfigurieren

Bevor Sie die Projektvariablen konfigurieren, richten Sie die erforderlichen Azure-Ressourcen ein.

Azure Blob Storage-Container erstellen

1. Melden Sie sich im Azure-Portal an und suchen Sie in der oberen Suchleiste nach Speicherkonten.

2. Klicken Sie auf + Erstellen, füllen Sie das Abonnement, die Ressourcengruppe und den Namen des Speicherkontos aus, setzen Sie Leistung auf Standard und Redundanz auf LRS, und klicken Sie dann auf Überprüfen + Erstellen und Erstellen.

3. Nachdem die Bereitstellung abgeschlossen ist, klicken Sie auf Gehe zu Ressource, und gehen Sie zu Datenspeicherung > Container.

4. Klicken Sie auf + Container, geben Sie einen Namen für den Quellcontainer ein, setzen Sie die Zugriffsberechtigung auf Privat und klicken Sie auf Erstellen.

5. Wiederholen Sie Schritt 4, um einen Archivcontainer zu erstellen.

6. Generieren Sie für jeden Container ein SAS-Token:

   1. Gehen Sie im Speicherkonto zu Sicherheit + Netzwerk > Gemeinsame Zugriffsberechtigung.
   2. Aktivieren Sie die Blob-Dienste, die Ressourcentypen Container und Objekt sowie die Berechtigungen Lesen, Schreiben und Auflisten.
   3. Setzen Sie ein Ablaufdatum und klicken Sie auf SAS und Verbindungszeichenfolge generieren.
   4. Kopieren Sie das SAS-Token sofort — es wird nur einmal angezeigt.

Erstellen Sie eine Azure Document Intelligence-Ressource

1. Gehen Sie im Azure-Portal auf + Ressource erstellen, suchen Sie nach Document Intelligence und klicken Sie auf Erstellen.

2. Konfigurieren Sie die Ressource und wählen Sie Standard S0 als Preismodell für Produktionslasten aus.

3. Klicken Sie auf Überprüfen + Erstellen und dann auf Erstellen. Nachdem die Bereitstellung abgeschlossen ist, klicken Sie auf Zur Ressource wechseln.

4. Gehen Sie zu Ressourcenverwaltung > Schlüssel und Endpunkt und kopieren Sie die Endpunkt-URL sowie Schlüssel 1 zur Verwendung in den Projektvariablen.

Erstellen Sie ein Azure AI Foundry-Projekt

1. Gehen Sie zu ai.azure.com und melden Sie sich mit Ihrem Azure-Konto an.

2. Klicken Sie auf Neues Hub, füllen Sie die Hub-Konfiguration (Abonnement, Ressourcengruppe, Name und Region) aus und klicken Sie auf Erstellen.

3. Klicken Sie im Hub auf Neues Projekt, geben Sie einen Projektnamen ein und klicken Sie auf Erstellen.

4. Gehen Sie zu Einstellungen > Projektdetails und kopieren Sie die Projekt-Endpunkt-URL sowie den API-Schlüssel zur Verwendung in den Projektvariablen.

Konfigurieren Sie Projektvariablen

Im Studio-Projekt, das aus dem Marketplace installiert wurde, setzen Sie Werte für die folgenden Projektvariablen.

Um Projektvariablen zu konfigurieren, verwenden Sie das Aktionsmenü des Projekts und wählen Sie Projektvariablen aus, um die Konfigurationsschublade zu öffnen.

Azure Blob Storage

Azure Document Intelligence

Azure AI Foundry

SFTP

Email

Testverbindungen

Testen Sie die Endpunktkonfigurationen, um die Konnektivität mit den definierten Projektvariablenwerten zu überprüfen.

Um Verbindungen zu testen, gehen Sie zum Tab Projektendpunkte und -verbinder in der Designkomponentenpalette, fahren Sie mit der Maus über jeden Endpunkt und klicken Sie auf Testen.

Projekt bereitstellen

Projekt bereitstellen im Studio.

Um das Projekt bereitzustellen, verwenden Sie das Aktionsmenü des Projekts und wählen Sie Bereitstellen.

Projekt-Workflows überprüfen

Das Studio-Projekt enthält einen Workflow, der die Verarbeitungs-Pipeline des Document Compliance Agent (Azure) implementiert.

PDF-Parser

Initial Controller

Die Initial Controller-Operation dient als Einstiegspunkt für den Workflow. Sie führt das Skript Run Orchestrator#1 aus, um die Operation List Blobs From Azure Container auszulösen, führt dann Protokollierungsskripte und das Skript Logging and Notification Rollup aus, um Verarbeitungsdetails aufzuzeichnen und die Operation Send Email basierend auf Erfolgs- oder Fehlermeldungen aufzurufen.

List Blobs From Azure Container

Die Operation List Blobs From Azure Container verbindet sich mit dem konfigurierten Azure Blob Storage-Quellcontainer und ruft eine Liste der verfügbaren Blobs ab. Die Antwort wird transformiert und in einer Variablen gespeichert, und das Skript Extract Blob Names from Response durchläuft jeden Blob-Namen, um die Operation Document Intelligence Source URL Formation aufzurufen.

Document Intelligence Source URL Formation

Die Operation Document Intelligence Source URL Formation führt das Skript DI Source URL Formation aus, das die vollqualifizierte Quell-URL für die PDF-Datei erstellt und die Operation Post PDF Data to Azure DI aufruft, um die OCR-Verarbeitung zu starten.

Post PDF Data to Azure DI

Die Operation Post PDF Data to Azure DI transformiert den Anfrageinhalt für Azure Document Intelligence und sendet die PDF über HTTP an Azure Document Intelligence zur Analyse. Die Antwort wird transformiert, in einer Variablen gespeichert und protokolliert. Die Operation verzögert dann die Ausführung, um die Verarbeitung abzuschließen, bevor die Operation Get Azure DI Analysis Result aufgerufen wird.

Get Azure DI Analysis Result

Die Operation Get Azure DI Analysis Result führt einen HTTP GET aus, um das abgeschlossene OCR-Analyseergebnis von Azure Document Intelligence abzurufen. Die Antwort wird transformiert und in einer Variablen gespeichert, um in nachfolgenden LLM-Verarbeitungsschritten verwendet zu werden.

Azure Foundry Request Formation

Die Operation Azure Foundry Request Formation liest das Ergebnis der Document Intelligence aus der Variablen, transformiert den Inhalt und führt das Skript PII Request Formation for Foundry aus, um Anfragen für die PII-Erkennung, die Verarbeitung sauberer Daten und das Blob-Management vorzubereiten und zu versenden.

Post DI Data to Foundry for PII Data

Die Post DI Data to Foundry for PII Data-Operation transformiert den Azure AI Foundry PII-Anforderungstext und sendet den extrahierten Text über HTTP an Azure AI Foundry mit einem PII-Erkennungs-Prompt. Die LLM-Antwort wird transformiert, in einer Variablen gespeichert und protokolliert.

Write PII JSON Data to SFTP

Die Write PII JSON Data to SFTP-Operation liest die PII-Daten aus der Variablen, transformiert den Inhalt und führt das Skript Write PII Data in a file aus, um die PII-Ausgabe in eine Datei auf dem SFTP-Server zu schreiben und die Post DI Data to Foundry for Clean Data-Operation aufzurufen.

Post DI Data to Foundry for Clean Data

Die Post DI Data to Foundry for Clean Data-Operation führt das Skript Clean Data Request Formation for Foundry aus, transformiert den Anforderungstext und sendet den extrahierten Text an Azure AI Foundry mit einem Datenbereinigungs-Prompt, um eine bereinigte Version ohne alle PII zu erstellen. Die Antwort wird transformiert, in einer Variablen gespeichert und protokolliert.

Write Clean JSON Data to SFTP

Die Write Clean JSON Data to SFTP-Operation liest die bereinigten Daten aus der Variablen, transformiert den Inhalt und führt das Skript Write Clean Data in a file aus, um die bereinigte Ausgabe in eine Datei auf dem SFTP-Server zu schreiben und die Move Blob to Archive Container-Operation aufzurufen.

Move Blob to Archive Container

Die Move Blob to Archive Container-Operation transformiert den Verschiebe-Anforderungstext und sendet eine HTTP-Anfrage, um das verarbeitete PDF vom Quellcontainer in den Archivcontainer zu kopieren. Die Antwort wird transformiert und in einer Variablen gespeichert.

Delete Blob from Source Container

Die Delete Blob from Source Container-Operation sendet eine HTTP DELETE-Anfrage, um das ursprüngliche PDF aus dem Quellcontainer zu entfernen, nachdem es erfolgreich archiviert wurde, um sicherzustellen, dass die Datei bei nachfolgenden Durchläufen nicht erneut verarbeitet wird.

Fehlerbehandlung

On Failure Email

Die On Failure Email-Operation führt das Send Error Email Script aus, um Fehlerdetails zu protokollieren und die Send Email-Operation aufzurufen.

Send Email

Die Send Email-Operation transformiert den E-Mail-Inhalt, sendet die Benachrichtigung über den konfigurierten E-Mail-Adapter und transformiert jede Fehlerantwort.

Triggern der Projekt-Workflows

Um den Document Compliance Agent (Azure) auszuführen, implementieren und starten Sie die Initial Controller-Operation. Bewegen Sie den Mauszeiger im Studio über die Operation und klicken Sie auf das Deploy and Run-Symbol in der oberen rechten Ecke der Operationsteilfläche.

Um die Pipeline zu automatisieren, konfigurieren Sie Betriebspläne für die Initial Controller-Operation, um in der von Ihnen bevorzugten Häufigkeit ausgeführt zu werden.

Fehlersuche

Wenn Sie auf Probleme stoßen, überprüfen Sie die Betriebsprotokolle für detaillierte Informationen zur Fehlersuche.

Für zusätzliche Unterstützung kontaktieren Sie Jitterbit-Support.