Zum Inhalt springen

So erstellen Sie einen KI-Agenten mit LLM-Fine-Tuning in Jitterbit Harmony

Einführung

Dieser Leitfaden zeigt Ihnen, wie Sie einen KI-Agenten mit einem feinabgestimmten Large Language Model (LLM) in Jitterbit Harmony mit Studio erstellen. Der Leitfaden verwendet OpenAI als Beispielanbieter für LLMs, aber Sie können diese Schritte auch für andere Anbieter wie Google Gemini oder AWS Bedrock anpassen. Die grundlegenden Konzepte bleiben gleich, aber die Konfigurationsschritte können variieren.

Hinweis

Zu Lernzwecken verweisen Sie auf den Fine-Tuned LLM Agent, der über den Jitterbit Marketplace bereitgestellt wird, um eine Implementierung dieses Leitfadens zu sehen.

ai agent openai

Erstellen Sie einen KI-Agenten mit LLM-Fine-Tuning

  1. Erstellen Sie ein neues Studio-Projekt:

    1. Melden Sie sich im Harmony-Portal an und wählen Sie Studio > Projekte.
    2. Klicken Sie auf Neues Projekt. Ein Dialogfeld Neues Projekt erstellen öffnet sich.
    3. Geben Sie im Dialogfeld einen Projektnamen wie KI-Agent - OpenAI Fine-tuning ein, wählen Sie eine vorhandene Umgebung aus und klicken Sie auf Design starten. Der Projekt-Designer öffnet sich.

  2. Erstellen Sie einen Fine-Tuning-Dienstworkflow, um das LLM mit den Daten Ihrer Organisation zu trainieren:

    1. Doppelklicken Sie im Projekt-Designer auf den Standardnamen des Workflows und geben Sie einen Namen ein, wie Utility - Fine Tune OpenAI Model.

    2. Verwenden Sie den HTTP v2-Connector, um einen Endpunkt für Ihren LLM-Anbieter zu erstellen. Dieses Beispiel verwendet OpenAI, aber Sie können den HTTP v2-Connector für die API jedes Anbieters konfigurieren. Klicken Sie im -Tab Projektendpunkte und -connectoren auf den OpenAI-Endpunkt, um seine Aktivitätstypen anzuzeigen.

    3. Erstellen Sie eine Operation, um Trainingsdaten hochzuladen und den Fine-Tuning-Job zu starten. Sie müssen Ihre Trainingsdaten gemäß den Anforderungen Ihres LLM-Anbieters vorbereiten. Dieses Beispiel verwendet das JSONL-Format (JSON Lines), bei dem jede Zeile ein einzelnes Trainingsbeispiel darstellt. OpenAI erfordert mindestens 10 Beispiele, empfiehlt jedoch mindestens 50 Beispiele für bessere Ergebnisse. Konsultieren Sie die Dokumentation Ihres Anbieters für spezifische Formatanforderungen und Empfehlungen für minimale Trainingsdaten.

      Das folgende Beispiel zeigt das JSONL-Schemaformat.

      {"messages": [
    {"role": "user", "content": "What was the top employee-requested feature in the 2025 internal IT satisfaction survey?"},
    {"role": "assistant", "content": "The most requested feature in the 2025 IT satisfaction survey was single sign-on integration for all internal tools."}
]}
{"messages": [
    {"role": "user", "content": "In the Q3 Workplace Environment Survey, what did employees rate as the lowest performing area?"},
    {"role": "assistant", "content": "The lowest performing area in the Q3 Workplace Environment Survey was the availability of quiet workspaces for focused tasks."}
]}

    4. Erstellen Sie ein Skript, um Ihre Trainingsdaten einer Variablen wie $InAndOut zuzuweisen. Diese Variable speichert Ihre JSONL-Trainingsdaten und wird in den nachfolgenden Operationen verwendet, um die Datei an OpenAI hochzuladen und den Feinabstimmungsjob zu starten.

    5. Erstellen Sie eine Operation, um den Status des Feinabstimmungsjobs zu überwachen. Nachdem der Job abgeschlossen ist, rufen Sie die ID des feinabgestimmten Modells vom OpenAI Feinabstimmungs-Dashboard ab. Diese Modell-ID verwenden Sie, wenn Sie den KI-Logik-Workflow konfigurieren, um Anfragen an Ihr feinabgestimmtes Modell zu senden.

  3. Erstellen Sie einen API-Anforderungs-Handler-Workflow, um Benutzeranfragen von Ihrer Chat-Oberfläche zu empfangen:

    1. Klicken Sie auf Neuen Workflow hinzufügen, um einen neuen Workflow zu erstellen.

    2. Benennen Sie den Workflow in API Request Handler um.

    3. Ziehen Sie im Projektendpunkte und -verbindungen-Tab den Request-Aktivitätstyp in die Drop-Zone auf der Entwurfskanvas.

    4. Doppelklicken Sie auf die API-Anforderung-Aktivität und definieren Sie ein JSON-Schema, das für Ihre Chat-Oberfläche geeignet ist.

    5. Fügen Sie eine Transformation hinzu, um Datenfelder aus der Anfrage in das Format zuzuordnen, das Ihr KI-Agent benötigt. Verweisen Sie auf den Fine-Tuned LLM Agent für Beispiele.

    6. Erstellen Sie eine benutzerdefinierte Jitterbit-API, um die Operation freizugeben:

      1. Klicken Sie auf das Aktionsmenü der Operation und wählen Sie Als API veröffentlichen.
      2. Konfigurieren Sie die folgenden Einstellungen: Methode: POST und Antworttyp: Systemvariable.
      3. Speichern Sie die API-Dienst-URL zur Konfiguration Ihrer Chat-Oberfläche. Ihre Chat-Oberfläche sendet die Anforderungsnutzlast mit der Frage des Benutzers an diese Dienst-URL.

  4. Erstellen Sie den KI-Logik-Workflow, um Benutzeranfragen zu bearbeiten und Antworten vom feinabgestimmten Modell zurückzugeben. Die folgenden Schritte zeigen die OpenAI-Implementierung:

    1. Klicken Sie auf Neuen Workflow hinzufügen, um einen neuen Workflow zu erstellen.

    2. Benennen Sie den Workflow in Main - AI Agent Tools Logic um.

    3. Wechseln Sie zum Tab Projektendpunkte und -verbinder und ziehen Sie eine HTTP v2 Post-Aktivität vom HTTP v2 Endpunkt in die Ablagezone.

    4. Fügen Sie eine Transformation vor der HTTP v2 POST-Aktivität hinzu. Geben Sie in dieser Transformation Ihre ID des feinabgestimmten Modells an, um Anfragen an Ihr trainiertes Modell zu leiten. Die an das LLM gesendete Anfrage ist die Frage des Benutzers aus dem Payload, der im API Request Handler Workflow empfangen wurde. Weitere Beispiele finden Sie im Fine-Tuned LLM Agent.

    5. Fügen Sie eine Transformation nach der HTTP v2 POST-Aktivität hinzu, um die OpenAI-Antwort in ein strukturiertes Ausgabeformat für Ihre Chat-Oberfläche zu überführen. Weitere Beispiele finden Sie im Fine-Tuned LLM Agent.

  5. Verbinden Sie die Workflows:

    1. Kehren Sie zum API Request Handler Workflow zurück.

    2. Rufen Sie die Operation im Main - AI Agent Tools Logic Workflow mit einer dieser Methoden auf:

      1. Fügen Sie ein Skript hinzu, das die RunOperation Funktion verwendet.
      2. Konfigurieren Sie eine Invoke Operation (Beta) Aktivität.

  6. Konfigurieren Sie Ihre Chat-Oberfläche. Dieser KI-Agent kann mit verschiedenen Plattformen arbeiten, einschließlich Slack, Microsoft Teams, Mikrodiensten, SaaS-Anwendungen wie Salesforce oder Anwendungen, die mit Jitterbit App Builder erstellt wurden. Konfigurieren Sie Ihre gewählte Plattform und setzen Sie die Anforderungs-URL auf die URL Ihres Jitterbit benutzerdefinierten API-Dienstes.

    Tipp

    Für ein Beispiel zur Implementierung in Slack siehe den Fine-Tuned LLM Agent im Jitterbit Marketplace.

  7. Klicken Sie auf das Aktionsmenü des Projekts und wählen Sie Projekt bereitstellen.