Feinabgestimmter LLM-Agent in Jitterbit Harmony

Übersicht

Jitterbit bietet allen Kunden den Feinabgestimmten LLM-Agenten über den Jitterbit Marketplace an. Dieser Agent ist für Lernzwecke konzipiert, um Organisationen zu helfen, KI mithilfe der Retrieval-Augmented Generation (RAG)-Technik einfach zu übernehmen, die das Denken von LLM mit dem Zugriff auf externe Werkzeuge und Datenquellen kombiniert.

Dieser KI-Agent ermöglicht es Ihnen, ein großes Sprachmodell (LLM) mit den Daten Ihrer Organisation anzupassen und dann dieses feinabgestimmte Modell zu verwenden, um Fragen über eine konversationelle Schnittstelle zu beantworten. Während dieser Agent OpenAI und Slack verwendet, können Sie ihn anpassen, um mit anderen LLMs und Chat-Plattformen wie Claude, Microsoft Teams, Microservices, SaaS-Anwendungen wie Salesforce oder Anwendungen, die mit dem Jitterbit App Builder erstellt wurden, zu arbeiten.

Dieses Dokument erklärt, wie man diesen KI-Agenten einrichtet und betreibt. Das Dokument behandelt zunächst die Architektur und die Voraussetzungen, bietet dann Beispielaufforderungen, um zu zeigen, was das feinabgestimmte Modell leisten kann, und gibt anschließend Schritte zur Installation, Konfiguration und Betrieb des KI-Agenten an.

Projektarchitektur

Dieses Projekt bietet zwei verschiedene Komponenten:

1. Feinabstimmungsdienstprogramm: Ein einmaliger Workflow, der ein OpenAI-Modell mit den spezifischen Daten Ihrer Organisation (wie Mitarbeiterumfragen, interne Dokumentationen oder Unternehmensrichtlinien) trainiert.

2. Konversationsagent: Ein interaktiver Slack-Bot, der Ihr feinabgestimmtes Modell verwendet, um Fragen zu beantworten. Dies ist der KI-Agent, mit dem Ihre Benutzer interagieren.

Ein typischer Workflow umfasst die folgenden Schritte:

1. Sie führen das Feinabstimmungsdienstprogramm einmal aus, um Ihr benutzerdefiniertes Modell zu erstellen.
2. Benutzer interagieren mit dem Slack-Agenten, der dieses benutzerdefinierte Modell verwendet.
3. Wenn Sie das Modell mit neuen Daten aktualisieren müssen, führen Sie das Feinabstimmungsdienstprogramm erneut aus.

Workflow-Diagramme

Die folgenden Diagramme zeigen die beiden Haupt-Workflows in dieser Integration.

Utility - Fine Tune OpenAI Model workflow

Dieser Utility-Workflow verwaltet den Prozess des Fine-Tunings für das OpenAI-Modell:

Main Entry - Slack API Request Handler workflow

Dieser Workflow behandelt die primäre Interaktion zwischen Slack, der Jitterbit Custom API und dem feinabgestimmten Modell von OpenAI:

Prerequisites

Sie benötigen die folgenden Komponenten, um diesen KI-Agenten zu verwenden.

Harmony components

Sie müssen über eine Jitterbit Harmony-Lizenz mit Zugriff auf die folgenden Komponenten verfügen:

• Jitterbit Studio
• Jitterbit API Manager

OpenAI

Sie müssen über ein OpenAI-Abonnement mit Berechtigungen zum Erstellen und Verwalten von API-Schlüsseln verfügen.

• OpenAI API-Schlüssel. Weitere Informationen finden Sie unter OpenAI API keys.

Supported endpoints

Das Design des KI-Agenten umfasst die folgenden Endpunkte. Sie können andere Systeme integrieren, indem Sie die Endpunktkonfigurationen und Workflows des Projekts anpassen.

LLM

Der KI-Agent verwendet OpenAI als LLM-Anbieter für Fine-Tuning und Inferenz.

Chat interface

Der KI-Agent verwendet Slack als die standardmäßige Chat-Oberfläche für die Interaktion mit dem feinabgestimmten Modell.

Wenn Sie eine andere Anwendung als Chat-Oberfläche verwenden möchten, können Sie die Workflows des Projekts anpassen, um sich mit Ihrer bevorzugten Plattform zu integrieren.

Example prompts

Die folgenden Beispielaufforderungen zeigen die Arten von Fragen, die das feinabgestimmte Modell nach dem Training mit den Daten Ihrer Organisation bearbeiten kann:

• "In der Q3 Workplace Environment Survey, was haben die Mitarbeiter als den am schlechtesten bewerteten Bereich eingestuft?"
• "Was war die Hauptbeschwerde in der 2025 Onboarding Experience Survey?"

Installation, Konfiguration und Betrieb

Befolgen Sie diese Schritte, um diesen KI-Agenten zu installieren, zu konfigurieren und zu betreiben:

1. Laden Sie Anpassungen herunter und installieren Sie das Studio-Projekt.
2. Überprüfen Sie die Projekt-Workflows.
3. Generieren Sie Ihren OpenAI-API-Schlüssel.
4. Konfigurieren Sie die Projektvariablen.
5. Testen Sie die Verbindungen.
6. Stellen Sie das Projekt bereit.
7. Erstellen Sie die Jitterbit benutzerdefinierte API.
8. Erstellen Sie die Slack-App, testen Sie die Slack-Verbindung und stellen Sie das Projekt erneut bereit.
9. Triggern Sie die Projekt-Workflows.
10. Fehlerbehebung.

Anpassungen herunterladen und das Projekt installieren

Befolgen Sie diese Schritte, um Anpassungsdateien herunterzuladen und das Studio-Projekt zu installieren:

1. Melden Sie sich im Harmony-Portal unter https://login.jitterbit.com an und öffnen Sie den Marktplatz.

2. Suchen Sie den KI-Agenten mit dem Namen Fine-Tuned LLM Agent. Um den KI-Agenten zu finden, können Sie die Suchleiste verwenden oder im Filter-Bereich unter Typ KI-Agent auswählen, um die Anzeige zu filtern.

3. Klicken Sie auf den Dokumentations-Link des KI-Agenten, um dessen Dokumentation in einem separaten Tab zu öffnen. Halten Sie den Tab geöffnet, damit Sie auf die Dokumentation zugreifen können, nachdem Sie das Projekt gestartet haben.

4. Klicken Sie auf Projekt starten, um einen zweistufigen Konfigurationsdialog zu öffnen. Der Dialog ermöglicht es Ihnen, Anpassungen herunterzuladen und den KI-Agenten als Studio-Projekt zu importieren.

5. Wählen Sie im Konfigurationsschritt 1, Anpassungen herunterladen, die folgende Datei aus und klicken Sie auf Dateien herunterladen:

   • slack_app_manifest.json

   Tipp

   Der Konfigurationsdialog enthält eine Warnung, den KI-Agenten nicht zu importieren, bevor die Endpunktanpassungen angewendet werden. Diese Warnung gilt nicht für diesen KI-Agenten und kann ignoriert werden. Befolgen Sie die empfohlene Reihenfolge der Schritte in dieser Dokumentation.

6. Klicken Sie auf Weiter.

7. Wählen Sie im Konfigurationsschritt 2, Neues Projekt erstellen, eine Umgebung aus, in der das Studio-Projekt erstellt wird, und klicken Sie dann auf Projekt erstellen.

8. Ein Fortschrittsdialog wird angezeigt. Nachdem der Dialog anzeigt, dass das Projekt erstellt wurde, verwenden Sie den Dialoglink Gehe zu Studio oder öffnen Sie das Projekt direkt von der Studio-Seite Projekte aus.

Überprüfen der Projekt-Workflows

Überprüfen Sie im geöffneten Studio-Projekt die Workflows sowie die folgenden Beschreibungen, um zu verstehen, was jeder Workflow tut.

Utility-Fine Tune OpenAI Model

Dieser Workflow führt den Feinabstimmungsprozess durch, um ein benutzerdefiniertes OpenAI-Modell zu erstellen. Starten Sie den Prozess manuell, indem Sie die Operation Main-Init Fine Tune ausführen, wenn Sie ein feinabgestimmtes Modell mit neuen Trainingsdaten erstellen oder aktualisieren möchten.

Der Workflow erledigt die folgenden Aufgaben:

• Lädt Trainingsdaten zu OpenAI hoch.
• Initiiert den Fine-Tuning-Job.
• Überwacht den Status des Jobs.

Bevor Sie diesen Workflow ausführen, bereiten Sie Ihre Trainingsdaten im JSONL (JSON Lines) Format vor. Jede Zeile muss ein einzelnes Trainingsbeispiel als vollständiges JSON-Objekt darstellen. OpenAI erfordert mindestens 10 Frage-und-Antwort-Beispiele, empfiehlt jedoch mindestens 50 Beispiele für bessere Ergebnisse.

Das folgende Beispiel zeigt das korrekte Format für Trainingsdaten. Jede Zeile enthält ein JSON-Objekt mit einem messages-Array, das eine Benutzerfrage und eine Antwort des Assistenten enthält.

OpenAI erfordert das folgende JSONL-Schema für Fine-Tuning-Daten:

{"messages": [
    {"role": "user", "content": "What was the top employee-requested feature in the 2025 internal IT satisfaction survey?"},
    {"role": "assistant", "content": "The most requested feature in the 2025 IT satisfaction survey was single sign-on integration for all internal tools."}
]}
{"messages": [
    {"role": "user", "content": "In the Q3 Workplace Environment Survey, what did employees rate as the lowest performing area?"},
    {"role": "assistant", "content": "The lowest performing area in the Q3 Workplace Environment Survey was the availability of quiet workspaces for focused tasks."}
]}

Haupteingang - Slack API-Anforderungs-Handler

Dieser Workflow verwaltet eingehende Slack-Bot-Anfragen. Der Workflow wird über eine benutzerdefinierte Jitterbit-API ausgelöst, jedes Mal, wenn ein Benutzer mit der Slack-Bot-Chatoberfläche interagiert. Um zu erfahren, wie Sie die benutzerdefinierte Jitterbit-API konfigurieren, siehe Erstellen Sie die benutzerdefinierte Jitterbit-API.

Haupt - Logik der KI-Agenten-Tools

Dieser Workflow verarbeitet Benutzeranfragen, die vom Haupteingang - Slack API-Anforderungs-Handler-Workflow empfangen werden. Der Workflow verwaltet Anfragen an das LLM und erfasst dessen Antworten.

Generieren Sie Ihren OpenAI API-Schlüssel

Befolgen Sie diese Schritte, um einen OpenAI API-Schlüssel zu generieren:

1. Gehen Sie zur OpenAI API-Schlüssel-Seite.

2. Klicken Sie auf Neuen geheimen Schlüssel erstellen, um einen neuen API-Schlüssel zu generieren.

3. Kopieren Sie den generierten Schlüssel und speichern Sie ihn sicher. Sie benötigen diesen Schlüssel, um die Projektvariable OpenAI_API_KEY zu konfigurieren.

Projektvariablen konfigurieren

Im Studio-Projekt müssen Werte für die folgenden Projektvariablen festgelegt werden.

Um Projektvariablen zu konfigurieren, verwenden Sie das Aktionsmenü des Projekts, um Projektvariablen auszuwählen. Dadurch öffnet sich ein Bereich am unteren Rand der Seite, in dem Sie die Werte überprüfen und festlegen können.

OpenAI

Slack

Testverbindungen

Testen Sie die Endpunktkonfigurationen, um die Konnektivität mit den definierten Projektvariablenwerten zu überprüfen.

Um Verbindungen zu testen, gehen Sie zum Tab Projektendpunkte und -verbinder in der Design-Komponentenpalette, fahren Sie mit der Maus über jeden Endpunkt und klicken Sie auf Testen.

Projekt bereitstellen

Stellen Sie das Studio-Projekt bereit.

Um das Projekt bereitzustellen, verwenden Sie das Aktionsmenü des Projekts, um Bereitstellen auszuwählen.

Erstellen Sie die Jitterbit benutzerdefinierte API

Erstellen Sie eine benutzerdefinierte API für die Slack Bot-Anfrage-Operation im Workflow Haupt-Eingang - Slack API-Anforderungsbearbeiter.

Um die API zu erstellen, verwenden Sie das Aktionsmenü der Operation, um Als API veröffentlichen oder Als API mit KI veröffentlichen auszuwählen.

Konfigurieren Sie die folgenden Einstellungen:

Speichern Sie die API-Dienst-URL der veröffentlichten API zur Verwendung bei der Erstellung der Slack-App. Um die Dienst-URL zu finden, gehen Sie zum API-Details-Bereich auf dem Tab Dienste, fahren Sie mit der Maus über die Aktionen-Spalte des Dienstes und klicken Sie auf API-Dienst-URL kopieren.

Erstellen Sie die Slack-App, testen Sie die Verbindung und stellen Sie das Projekt erneut bereit

Um die Chat-Oberfläche in Slack zu erstellen, erstellen Sie eine Slack-App mit der Slack-App-Manifestdatei, die mit den Anpassungsdateien dieses KI-Agenten bereitgestellt wurde. Alternativ können Sie die App von Grund auf neu erstellen.

Wenn Sie die bereitgestellte Slack-App-Manifestdatei (slack_app_manifest.json) verwenden, ersetzen Sie die folgenden Platzhalter durch Ihre eigenen Konfigurationswerte.

Nachdem Sie die Slack-App installiert haben, erhalten Sie das Bot-Token.

Öffnen Sie erneut die Konfiguration der Projektvariablen und geben Sie das Bot-Token für den Wert der Projektvariablen bot_oauth_user_token ein.

Nachdem Sie das Bot-Token festgelegt haben, testen Sie die Slack-Verbindung und setzen Sie das Projekt erneut in Betrieb.

Triggern Sie die Projekt-Workflows

Um den Feinabstimmungsprozess zu starten:

1. Führen Sie manuell den Workflow Utility-Fine Tune OpenAI Model aus, indem Sie die Operation Main-Init Fine Tune ausführen.

2. Geben Sie Ihre Trainingsdaten im Skript Fine Tune Data an, indem Sie sie der Variablen $InAndOut zuweisen. Weitere Informationen finden Sie unter Utility-Fine Tune OpenAI Model.

   Hinweis

   Diese Einrichtung ist nur erforderlich, wenn Sie ein neues feinabgestimmtes Modell erstellen müssen.

Um das feinabgestimmte Modell zu verwenden:

• Der Workflow Main Entry - Slack API Request Handler wird durch die Jitterbit benutzerdefinierte API ausgelöst. Senden Sie eine Direktnachricht an die Slack-App, um den Trigger der benutzerdefinierten API zu initiieren.

• Alle anderen Workflows werden durch andere Operationen ausgelöst und laufen downstream vom Hauptworkflow. Sie sind nicht dafür gedacht, unabhängig ausgeführt zu werden.

Fehlersuche

Wenn Sie auf Probleme stoßen, überprüfen Sie die folgenden Protokolle für detaillierte Informationen zur Fehlersuche:

• API-Protokolle
• Betriebsprotokolle

Für zusätzliche Unterstützung kontaktieren Sie Jitterbit-Support.