Zum Inhalt springen

Ollama Prompt-Aktivität in Jitterbit Studio

Einführung

Eine Ollama Prompt-Aktivität sendet mithilfe ihrer Ollama-Verbindung einen Prompt an das angegebene Ollama-Modell und ist als Ziel zum Verarbeiten von Daten in einem Prozess gedacht.

Jeder Prompt und die entsprechende Modellreaktion werden im Gesprächsverlauf für die Chat-ID im Arbeitsspeicher des Agenten gespeichert. Spätere Prompts, die dieselbe Chat-ID verwenden, enthalten das frühere Gespräch als Kontext. Der Gesprächsverlauf wird gelöscht, wenn der Agent neu gestartet wird.

Erstellen einer Ollama Prompt-Aktivität

Eine Instanz einer Ollama Prompt-Aktivität wird aus einer Ollama-Verbindung mit dem Aktivitätstyp Prompt erstellt.

Zum Erstellen einer Aktivitätsinstanz wird der Aktivitätstyp auf die Design-Canvas gezogen oder kopiert und auf die Design-Canvas eingefügt. Weitere Informationen finden Sie unter Erstellen einer Aktivitätsinstanz in Komponentenwiederverwendung.

Eine vorhandene Ollama Prompt-Aktivität kann von diesen Orten bearbeitet werden:

Konfigurieren einer Ollama Prompt-Aktivität

Führen Sie diese Schritte aus, um eine Ollama Prompt-Aktivität zu konfigurieren:

Schritt 1: Name eingeben und Einstellungen angeben

In diesem Schritt geben Sie einen Namen für die Aktivität ein, wählen ein Modell aus und legen einen Prompt und optionale Einstellungen fest. Jedes Benutzeroberflächenelement dieses Schritts wird nachfolgend beschrieben.

Tipp

Felder mit einem Variablensymbol unterstützen die Verwendung von globalen Variablen, Projektvariablen und Jitterbit-Variablen. Beginnen Sie, indem Sie eine öffnende eckige Klammer [ in das Feld eingeben oder auf das Variablensymbol klicken, um ein Menü mit vorhandenen Variablen anzuzeigen.

  • Endpunkt-Menü: Falls Sie mehrere Endpunkte desselben Connector-Typs konfiguriert haben, wird oben auf dem Bildschirm ein Menü mit dem aktuellen Endpunktnamen angezeigt. Klicken Sie auf das Menü, um zu einem anderen Endpunkt zu wechseln. Weitere Informationen finden Sie unter Zugewiesenen Endpunkt wechseln in Konfigurationsbildschirme.

    • Endpunkt bearbeiten: Wird angezeigt, wenn Sie den Mauszeiger über den aktuellen Endpunktnamen bewegen. Klicken Sie hier, um die Verbindungskonfiguration des aktuell ausgewählten Endpunkts zu bearbeiten.

  • Name: Geben Sie einen Namen ein, um die Aktivität zu identifizieren. Der Name muss eindeutig für jede Ollama Prompt-Aktivität sein und darf keine Schrägstriche / oder Doppelpunkte : enthalten.

  • Chat-ID: Geben Sie eine Chat-ID ein, um den Kontext aus einem vorherigen Gespräch abzurufen. Falls leer und nicht in der Request-Umwandlung angegeben, wird eine neue Chat-ID generiert und in der Aktivitätsreaktion bereitgestellt.

  • Option auswählen: Geben Sie die Modellauswahlmethode an, entweder Alle Modelle auflisten oder Modellkennung eingeben.

  • Alle Modelle auflisten: Wählen Sie diese Option, um aus einer Liste mit Modellen auszuwählen, die vom Ollama-Endpunkt abgerufen werden:

  • Modell auswählen: Dieser Bereich zeigt die im Ollama-Endpunkt verfügbaren Modelle an. Es werden nur Modelle aufgelistet, die Textcompletion unterstützen. DeepSeek-Modelle sind von der Liste ausgeschlossen.

    • Ausgewähltes Modell: Nach der Auswahl eines Modells wird es hier aufgelistet.

    • Suche: Geben Sie einen beliebigen Spaltenwert in das Suchfeld ein, um die Modellliste zu filtern. Die Suche berücksichtigt keine Groß- und Kleinschreibung. Wenn Modelle bereits in der Tabelle angezeigt werden, werden die Tabellenergebnisse mit jedem Tastendruck in Echtzeit gefiltert. Um beim Suchen Modelle vom Endpunkt neu zu laden, geben Sie Suchkriterien ein und aktualisieren Sie dann, wie unten beschrieben.

    • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder auf das Wort Aktualisieren, um Modelle vom Ollama-Endpunkt neu zu laden. Dies kann hilfreich sein, wenn Modelle auf einen selbstgehosteten Ollama-Server übertragen wurden. Diese Aktion aktualisiert alle Metadaten, die zum Erstellen der angezeigten Modelltabelle in der Konfiguration verwendet werden.

    • Modell auswählen: Klicken Sie in der Tabelle überall auf eine Zeile, um ein Modell auszuwählen. Es kann nur ein Modell ausgewählt werden. Die für jedes Modell verfügbaren Informationen werden vom Ollama-Endpunkt abgerufen:

      • Anzeigename: Der Name des Modells.

      • ID: Die ID des Modells, das in API-Anfragen verwendet wird, einschließlich des Tags (z. B. llama3.2:latest).

      • Zuletzt geändert: Datum und Uhrzeit der letzten Änderung des Modells.

    Tipp

    Falls die Tabelle nicht mit verfügbaren Modellen gefüllt wird, ist die Ollama-Verbindung möglicherweise nicht erfolgreich. Stellen Sie sicher, dass Sie verbunden sind, indem Sie die Verbindung erneut öffnen und die Anmeldedaten erneut testen. Überprüfen Sie für einen selbstgehosteten Ollama-Server auch, dass mindestens ein Modell auf den Server übertragen wurde.

    Alternativ kann das Modell im Feld Modell-ID angegeben oder in der Anfragetransformation bereitgestellt werden. Wenn ein Modell an mehreren Stellen angegeben ist, gilt folgende Prioritätsreihenfolge:

    1. Ein in der Anfragetransformation bereitgestelltes Modell überschreibt alle folgenden Felder.
    2. Ein im Feld Modell-ID angegebenes Modell überschreibt das verbleibende Feld unten, selbst wenn Alle Modelle aufgelistet ausgewählt ist.
    3. Ein in der Liste Modell auswählen ausgewähltes Modell hat die niedrigste Priorität.

  • Modellidentifikator eingeben: Wählen Sie diese Option, um die ID eines Modells manuell einzugeben:

    • Modell-ID: Geben Sie die Modell-ID ein (z. B. llama3.2). Verwenden Sie für Ollama Cloud einen Modellnamen aus Ollama-Cloud-Modellen. Bei einem selbstgehosteten Server muss das Modell bereits auf den Server übertragen worden sein.

  • Eingabeaufforderung: Geben Sie den Text ein, mit dem Sie das Modell auffordern möchten.

  • Optionale Einstellungen: Klicken Sie, um zusätzliche optionale Einstellungen zu erweitern:

    • Denken aktivieren (Reasoning-Modelle): Wählen Sie diese Option, um Denken zu aktivieren, damit ein Reasoning-Modell ein Problem durchdenken kann, bevor es eine Antwort generiert. Das Denken des Modells wird im Feld thinking der Antwort zurückgegeben. Diese Option ist standardmäßig deaktiviert. Wenn Sie diese Option deaktivieren, wird das Denken ausgeschaltet, auch bei Modellen, die standardmäßig denken.

    Hinweis

    Das Denken wird nur von Reasoning-Modellen unterstützt. Informationen Sie sich in der Ollama-Dokumentation zum Denken darüber, ob das ausgewählte Modell das Denken unterstützt.

    • Modell geladen halten: Wählen Sie, wie lange das Modell im Speicher geladen bleibt, nachdem die Anfrage abgeschlossen ist (siehe Wie halte ich ein Modell im Speicher geladen oder entlade es sofort?). Das Laden eines Modells vermeidet Ladezeiten bei nachfolgenden Anfragen, nutzt aber weiterhin Speicher auf dem Ollama-Server:

      • 5 Minuten: (Standard.) Hält das Modell 5 Minuten lang geladen.
      • 30 Minuten: Hält das Modell 30 Minuten lang geladen.
      • 1 Stunde: Hält das Modell 1 Stunde lang geladen.
      • Unbegrenzt geladen halten: Hält das Modell geladen, bis der Ollama-Server neu gestartet oder das Modell entladen wird.
      • Nach jedem Aufruf entladen: Entlädt das Modell sofort nach der Rückgabe der Antwort.

  • Zufälligkeit und Vielfalt:

    • Temperature: Geben Sie einen Temperature-Parameter ein. Höhere Werte erzeugen vielfältigere Antworten, niedrigere Werte erzeugen deterministischere Antworten. Der Wert dieses Parameters kann zwischen 0 und 2 liegen, beispielsweise: 0.8.
    • Top P: Geben Sie einen Top-P-Parameter für Nucleus Sampling ein, das die Token-Auswahl auf die kleinste Menge von Tokens beschränkt, deren kumulative Wahrscheinlichkeit diesen Wert erreicht. Der Wert dieses Parameters kann zwischen 0 und 1 liegen, beispielsweise: 0.9.
    • Top K: Geben Sie einen Top-K-Parameter ein, das die Token-Auswahl auf die angegebene Anzahl von Tokens mit der höchsten Wahrscheinlichkeit beschränkt, beispielsweise: 40.
    • Seed: Geben Sie einen Seed-Parameter ein. Die Verwendung desselben Seed-Werts mit derselben Eingabeaufforderung reproduziert dieselbe Ausgabe. Lassen Sie dieses Feld leer für nichtdeterministische Ausgabe.

    Wenn ein Feld in dieser Gruppe leer ist, wird der Standardwert des Modells verwendet.

  • Kontext und Länge:

    • Context Window: Geben Sie die Größe des Kontextfensters in Tokens ein, das die kombinierte Länge der Eingabeaufforderung, des Gesprächsverlaufs und der generierten Ausgabe begrenzt. Der Standard ist 4096. Der Maximalwert hängt vom ausgewählten Modell und dem verfügbaren Speicher auf dem Ollama-Server ab (siehe How can I specify the context window size?).
    • Max Output Tokens: Geben Sie die maximale Anzahl der Tokens ein, die in der Antwort generiert werden sollen. Der Standard ist 2000. Geben Sie -1 ein, um ohne Limit zu generieren.

  • Continue on error: Wählen Sie diese Option, um die Aktivitätsausführung fortzusetzen, wenn bei einem Dataset in einer Batch-Anfrage ein Fehler auftritt. Falls Fehler auftreten, werden diese in das Operationsprotokoll geschrieben und im errors-Array der Aktivitätsantwort zurückgegeben.

  • Save & Exit: Falls aktiviert, klicken Sie, um die Konfiguration für diesen Schritt zu speichern und die Aktivitätskonfiguration zu schließen.

  • Next: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum nächsten Schritt zu wechseln. Die Konfiguration wird erst gespeichert, wenn Sie auf die Schaltfläche Finished im letzten Schritt klicken.

  • Discard changes: Klicken Sie nach dem Vornehmen von Änderungen, um die Konfiguration zu schließen, ohne Änderungen an einem Schritt zu speichern. Eine Meldung bittet Sie, zu bestätigen, dass Sie Änderungen verwerfen möchten.

Schritt 2: Daten-Schemas überprüfen

Alle Request- oder Response-Schemas werden angezeigt. Jedes Benutzeroberflächenelement dieses Schritts wird nachfolgend beschrieben.

  • Data schema: Diese Daten-Schemas werden von benachbarten Transformationen geerbt und werden erneut während der Transformationszuordnung angezeigt.

    Hinweis

    Daten, die in einer Transformation bereitgestellt werden, haben Vorrang vor der Aktivitätskonfiguration.

    Das Request-Schema akzeptiert einen oder mehrere Records im schema-Array, und jeder Record wird als separate Anfrage an das Modell gesendet. Zusätzlich zum Überschreiben von Aktivitätskonfigurationseinstellungen wie chatId, modelId, prompt und den optionalen Generierungseinstellungen kann ein Record diese Felder bereitstellen:

    • system: Eine Systemanweisung für das Gespräch. Eine Systemanweisung, die in der Anfrage bereitgestellt wird, ersetzt alle für die Chat-ID gespeicherten Systemanweisungen. Wenn system leer ist, wird die gespeicherte Systemanweisung weiterhin verwendet.
    • tool_calls und tool_response: Die Tool-Aufrufe, die von einer vorherigen Modellantwort zurückgegeben wurden, und die Ergebnisse der Ausführung dieser Tools, die verwendet werden, um Toolergebnisse an das Modell in einem Tool-Calling-Workflow zurückzugeben.

    Der Ollama-Connector verwendet die Ollama API. Weitere Informationen zu den Schema-Knoten und -Feldern finden Sie in der Chat-Endpoint-Dokumentation.

  • Aktualisieren: Klicken Sie auf das Aktualisierungssymbol oder auf das Wort Aktualisieren, um Schemas vom Ollama-Endpunkt neu zu generieren. Diese Aktion generiert auch ein Schema an anderen Stellen im Projekt neu, an denen auf dasselbe Schema verwiesen wird, z. B. in einer angrenzenden Transformation.

  • Zurück: Klicken Sie, um die Konfiguration für diesen Schritt vorübergehend zu speichern und zum vorherigen Schritt zurückzukehren.

  • Fertig: Klicken Sie, um die Konfiguration für alle Schritte zu speichern und die Aktivitätskonfiguration zu schließen.

  • Änderungen verwerfen: Klicken Sie nach dem Vornehmen von Änderungen, um die Konfiguration zu schließen, ohne Änderungen an einem Schritt zu speichern. Eine Meldung fordert Sie auf zu bestätigen, dass Sie Änderungen verwerfen möchten.

Nächste Schritte

Nach der Konfiguration einer Ollama-Prompt-Aktivität schließen Sie die Konfiguration des Vorgangs ab, indem Sie weitere Aktivitäten, Transformationen oder Skripte als Vorgangsschritte hinzufügen und konfigurieren. Sie können auch die Vorgangseinstellungen konfigurieren, die die Möglichkeit bieten, Vorgänge zu verketten, die sich in denselben oder verschiedenen Workflows befinden.

Menüaktionen für eine Aktivität sind über den Projektbereich und die Design-Canvas erreichbar. Weitere Informationen finden Sie unter Aktionsmenü für Aktivitäten unter Connector-Grundlagen.

Ollama-Prompt-Aktivitäten können mit diesen Vorgangsmustern als Ziel verwendet werden:

Um die Aktivität mit Skriptfunktionen zu verwenden, schreiben Sie die Daten an einen temporären Speicherort und verwenden Sie diesen temporären Speicherort dann in der Skriptfunktion.

Wenn Sie bereit sind, stellen Sie den Vorgang bereit und führen ihn aus, und validieren Sie das Verhalten, indem Sie die Vorgangsprotokolle überprüfen.