Jitterbit Fine-Tuned LLM Agent

Übersicht

Jitterbit stellt den Fine-Tuned LLM Agent allen Kunden über den Jitterbit Marketplace zur Verfügung. Dieser Agent wurde für Lernzwecke entwickelt und hilft Organisationen, AI einfach durch die Retrieval-Augmented Generation (RAG)-Technik einzuführen. Diese Technik kombiniert LLM-Reasoning mit Zugriff auf externe Tools und Datenquellen.

Mit diesem AI-Agent können Sie ein großes Sprachmodell (LLM) mit den Daten Ihrer Organisation anpassen und das fine-getunte Modell dann verwenden, um Fragen über eine Konversationsschnittstelle zu beantworten. Der Agent nutzt zwar OpenAI und Slack, Sie können ihn jedoch an andere LLMs und Chat-Plattformen wie Claude, Microsoft Teams, Microservices, SaaS-Anwendungen wie Salesforce oder Anwendungen, die mit dem Jitterbit App Builder erstellt wurden, anpassen.

Dieses Dokument erklärt, wie Sie diesen AI-Agent einrichten und betreiben. Es behandelt die Architektur und Voraussetzungen, bietet dann Beispiel-Prompts, um zu zeigen, was das fine-getunte Modell leisten kann, und enthält schließlich Schritte zur Installation, Konfiguration und zum Betrieb des AI-Agenten.

AI-Agent-Architektur

Der AI-Agent bietet zwei unterschiedliche Komponenten:

1. Fine-Tuning-Dienstprogramm: Ein einmaliger Workflow, der ein OpenAI-Modell mit den spezifischen Daten Ihrer Organisation trainiert (z. B. Mitarbeiterbefragungen, interne Dokumentation oder Unternehmensrichtlinien).

2. Conversational Agent: Ein interaktiver Slack-Bot, der Ihr fine-getuntes Modell nutzt, um Fragen zu beantworten. Dies ist der AI-Agent, mit dem Ihre Nutzer interagieren.

Ein typischer Workflow umfasst die folgenden Schritte:

1. Sie führen das Fine-Tuning-Dienstprogramm einmal aus, um Ihr benutzerdefiniertes Modell zu erstellen.
2. Nutzer interagieren mit dem Slack-Agent, der das benutzerdefinierte Modell verwendet.
3. Wenn Sie das Modell mit neuen Daten aktualisieren müssen, führen Sie das Fine-Tuning-Dienstprogramm erneut aus.

Workflow-Diagramme

Die folgenden Diagramme zeigen die zwei wichtigsten Workflows in dieser Integration.

Dienstprogramm – OpenAI-Modell Fine-Tuning-Workflow

Dieser Dienstprogramm-Workflow verwaltet den Fine-Tuning-Prozess für das OpenAI-Modell:

Haupteintrag – Slack API Request Handler-Workflow

Dieser Workflow verwaltet die primäre Interaktion zwischen Slack, der Jitterbit Custom API und dem fine-getunten Modell von OpenAI:

Voraussetzungen

Sie benötigen die folgenden Komponenten, um diesen AI-Agent zu verwenden.

Harmony-Komponenten

Sie müssen über eine Jitterbit Harmony-Lizenz mit Zugriff auf die folgenden Komponenten verfügen:

• Jitterbit Studio
• Jitterbit API Manager

Unterstützte Endpoints

Das Design des AI-Agenten bezieht die folgenden Endpoints ein. Sie können andere Systeme berücksichtigen, indem Sie die Endpoint-Konfigurationen und Workflows des Projekts ändern.

LLM

Der AI-Agent verwendet OpenAI als LLM-Provider für Fine-Tuning und Inferenz. Um OpenAI zu verwenden, benötigen Sie ein OpenAI-Abonnement mit Berechtigungen zum Erstellen und Verwalten von API-Schlüsseln.

Chat-Schnittstelle

Der AI-Agent nutzt Slack als Standard-Chat-Schnittstelle für die Interaktion mit dem fine-getunten Modell.

Wenn Sie eine andere Anwendung als Chat-Schnittstelle verwenden möchten, können Sie die Workflows des Projekts ändern, um eine Integration mit Ihrer bevorzugten Plattform zu ermöglichen.

Beispiel-Prompts

Die folgenden Beispiel-Prompts zeigen die Art von Fragen, die das fine-getunte Modell nach dem Training mit den Daten Ihrer Organisation verarbeiten kann:

• „In der Q3 Workplace Environment Survey, welchen Bereich bewerteten Mitarbeiter als den am schlechtesten abschneidenden?"
• „Was war die Hauptbeschwerde in der 2025 Onboarding Experience Survey?"

Installation, Konfiguration und Betrieb

Führe diese Schritte aus, um diesen KI-Agent zu installieren, zu konfigurieren und zu betreiben:

1. Customizations herunterladen und das Studio-Projekt installieren.
2. OpenAI-API-Schlüssel generieren.
3. Slack-App erstellen.
4. Projektvariablen konfigurieren.
5. Verbindungen testen.
6. Projekt bereitstellen.
7. Jitterbit Custom API erstellen.
8. Projekt-Workflows überprüfen.
9. Projekt-Workflows auslösen.
10. Fehlerbehebung.

Customizations herunterladen und das Projekt installieren

Führe diese Schritte aus, um Customization-Dateien herunterzuladen und das Studio-Projekt zu installieren:

1. Melde dich beim Harmony-Portal unter https://login.jitterbit.com an und öffne Marketplace.

2. Suche den KI-Agent namens Fine-Tuned LLM Agent. Du kannst die Suchleiste verwenden oder im Bereich Filter unter Type die Option AI Agent auswählen, um die Anzeige zu filtern.

3. Klicke auf den Link Documentation des KI-Agenten, um seine Dokumentation in einem neuen Tab zu öffnen. Halte den Tab offen, damit du die Dokumentation später konsultieren kannst.

4. Klicke auf Start Project, um einen zweistufigen Konfigurationsdialog zu öffnen. Dieser Dialog ermöglicht dir, Customizations herunterzuladen und den KI-Agent als Studio-Projekt zu importieren.

5. Wähle in Konfigurationsschritt 1 Download Customizations die folgende Datei aus und klicke auf Download Files:

   • slack_app_manifest.json

   Tipp

   Der Konfigurationsdialog enthält eine Warnung, den KI-Agent nicht vor Anwendung von Endpoint-Customizations zu importieren. Diese Warnung gilt nicht für diesen KI-Agent und kann ignoriert werden. Folge der empfohlenen Reihenfolge der Schritte in dieser Dokumentation.

6. Klicke auf Next.

7. Wähle in Konfigurationsschritt 2 Create a New Project eine Umgebung aus, in der das Studio-Projekt erstellt wird, und klicke dann auf Create Project.

8. Ein Fortschrittsdialog wird angezeigt. Nachdem angegeben wird, dass das Projekt erstellt wurde, nutze den Dialog-Link Go to Studio oder öffne das Projekt direkt von der Seite Studio Projects.

OpenAI-API-Schlüssel generieren

Führe diese Schritte aus, um einen OpenAI-API-Schlüssel zu generieren:

1. Gehe zur OpenAI API keys-Seite.

2. Klicke auf Create new secret key, um einen neuen API-Schlüssel zu generieren.

3. Kopiere den generierten Schlüssel und speichere ihn sicher. Du benötigst diesen Schlüssel, um die Projektvariable OpenAI_API_KEY zu konfigurieren.

Slack-App erstellen

Um die Chat-Schnittstelle in Slack zu erstellen, führe diese Schritte aus:

1. Erstelle eine Slack-App unter Verwendung der Slack-App-Manifest-Datei (slack_app_manifest.json), die mit den Customization-Dateien dieses KI-Agenten bereitgestellt wird. Alternativ kannst du die App von Grund auf erstellen.

2. Wenn du die bereitgestellte Manifest-Datei verwendest, ersetze die folgenden Platzhalter durch deine eigenen Konfigurationswerte:

   Platzhalter	Beschreibung
   {{Replace with Slack bot name}}	Der Name, den dein Slack-Bot haben soll, wie er Nutzern angezeigt wird. Ersetze diesen Wert an zwei Stellen im Manifest.
   {{Replace with Jitterbit API URL}}	Die Service-URL der Jitterbit Custom API, die du in Jitterbit Custom API erstellen erstellt hast.

3. Installiere die App in deinem Slack-Arbeitsbereich.

4. Besorge dir das Bot-Token (für das Feld Bot User OAuth Token der Slack-Verbindung) und gib seinen Wert für die Projektvariable slack_bot_oauth_user_token ein.

5. Konfiguriere die Projektvariable slack_channel_name mit dem Kanal, an den Benachrichtigungen gesendet werden sollen.

6. Gib den Bot-Token-Wert für die Projektvariable slack_bot_oauth_user_token und den Kanalnamen für die Projektvariable slack_channel_name ein. Diese konfigurierst du im nächsten Schritt.

Projektvariablen konfigurieren

Im Studio-Projekt musst du Werte für die folgenden Projektvariablen festlegen.

Um Projektvariablen zu konfigurieren, verwendest du das Aktionsmenü des Projekts und wählst Project Variables. Dadurch wird eine Schublade am unteren Rand der Seite geöffnet, in der du die Werte überprüfen und festlegen kannst.

OpenAI

Slack

Verbindungen testen

Teste die Endpunktkonfigurationen, um die Konnektivität anhand der definierten Projektvariablenwerte zu überprüfen.

Um Verbindungen zu testen, öffne die Registerkarte Project endpoints and connectors (Projektendpunkte und Konnektoren) der Entwurfskomponentenpalette, fahre mit der Maus über jeden Endpunkt und klicke auf Test.

Projekt bereitstellen

Stelle das Studio-Projekt bereit.

Um das Projekt bereitzustellen, verwendest du das Aktionsmenü des Projekts und wählst Deploy.

Erstelle die benutzerdefinierte Jitterbit-API

Erstelle eine benutzerdefinierte API für die Operation Slack Bot Request im Workflow Main Entry - Slack API Request Handler.

Um die API zu erstellen, nutze das Menü Aktionen der Operation und wähle Publish as an API oder Publish as an API using AI.

Konfiguriere die folgenden Einstellungen:

Speichere die API-Service-URL der veröffentlichten API zur Verwendung bei der Erstellung der Slack-App. Um die Service-URL zu finden, gehe zur API-Detailleiste auf der Registerkarte Services, fahre mit der Maus über die Spalte Actions des Service und klicke auf Copy API service URL.

Überprüfe die Projekt-Workflows

Überprüfe in dem offenen Studio-Projekt die Workflows sowie die folgenden Beschreibungen, um zu verstehen, was jeder Workflow leistet.

Führe diese Schritte aus, um die Slack-Chat-Schnittstelle zu erstellen:

Utility-Fine Tune OpenAI Model

Dieser Workflow führt den Fine-Tuning-Prozess durch, um ein benutzerdefiniertes OpenAI-Modell zu erstellen. Starte den Prozess manuell, indem du die Operation Main-Init Fine Tune ausführst, wenn du ein neues oder aktualisiertes Fine-tuned-Modell mit neuen Trainingsdaten erstellen möchtest.

Der Workflow verarbeitet die folgenden Aufgaben:

• Lädt Trainingsdaten zu OpenAI hoch.
• Startet den Fine-Tuning-Job.
• Überwacht den Job-Status.

Bereite vor der Ausführung dieses Workflows deine Trainingsdaten im JSONL-Format (JSON Lines) vor. Jede Zeile muss ein einzelnes Trainingsbeispiel als vollständiges JSON-Objekt darstellen. OpenAI erfordert mindestens 10 Frage-und-Antwort-Beispiele, aber mindestens 50 Beispiele werden für bessere Ergebnisse empfohlen.

Das folgende Beispiel zeigt das richtige Format für Trainingsdaten. Jede Zeile enthält ein JSON-Objekt mit einem messages-Array, das eine Benutzerfrage und eine Assistant-Antwort enthält.

OpenAI erfordert das folgende JSONL-Schema (JSON Lines) für Fine-Tuning-Daten:

{"messages": [
    {"role": "user", "content": "What was the top employee-requested feature in the 2025 internal IT satisfaction survey?"},
    {"role": "assistant", "content": "The most requested feature in the 2025 IT satisfaction survey was single sign-on integration for all internal tools."}
]}
{"messages": [
    {"role": "user", "content": "In the Q3 Workplace Environment Survey, what did employees rate as the lowest performing area?"},
    {"role": "assistant", "content": "The lowest performing area in the Q3 Workplace Environment Survey was the availability of quiet workspaces for focused tasks."}
]}

Main Entry - Slack API Request Handler

Dieser Workflow verarbeitet eingehende Slack-Bot-Anfragen. Der Workflow wird jedes Mal durch eine benutzerdefinierte Jitterbit-API ausgelöst, wenn ein Benutzer mit der Slack-Bot-Chat-Schnittstelle interagiert. Weitere Informationen zur Konfiguration der benutzerdefinierten Jitterbit-API findest du unter Erstelle die benutzerdefinierte Jitterbit-API.

Main - AI Agent Tools Logic

Dieser Workflow verarbeitet Benutzeranfragen, die vom Workflow Main Entry - Slack API Request Handler empfangen werden. Der Workflow verwaltet Anfragen an das LLM und erfasst seine Antworten.

Löse die Projekt-Workflows aus

Um den Fine-Tuning-Prozess auszulösen:

1. Führe den Workflow Utility-Fine Tune OpenAI Model manuell aus, indem du die Option Run der Operation verwendest, um die Operation Main-Init Fine Tune auszuführen.

2. Stellen Sie Ihre Trainingsdaten im Script Fine Tune Data bereit, indem Sie diese der Variablen $InAndOut zuweisen. Einzelheiten finden Sie unter Utility-Fine Tune OpenAI Model.

   Hinweis

   Diese Einrichtung ist nur erforderlich, wenn Sie ein neues Fine-Tuned-Modell erstellen müssen.

So verwenden Sie das Fine-Tuned-Modell:

• Der Workflow Main Entry - Slack API Request Handler wird durch die Jitterbit-Custom-API ausgelöst. Senden Sie eine Direktnachricht an die Slack-App, um den Custom-API-Trigger zu initiieren.

• Alle anderen Workflows werden durch andere Operationen ausgelöst und laufen downstream vom Hauptworkflow. Sie sind nicht dazu bestimmt, unabhängig ausgeführt zu werden.

Fehlerbehebung

Wenn Probleme auftreten, überprüfen Sie die folgenden Protokolle auf detaillierte Informationen zur Fehlerbehebung:

• API-Protokolle
• Operationsprotokolle

Für weitere Unterstützung wenden Sie sich an den Jitterbit-Support.