Zum Inhalt springen

Ollama-Connector in Jitterbit Studio

Zusammenfassung

Der Ollama-Connector stellt den Zugriff auf Ollama bereit, entweder über Ollama Cloud oder über einen selbst gehosteten Ollama-Server.

Der Ollama-Connector bietet eine Schnittstelle zum Erstellen einer Ollama-Verbindung, die Grundlage für das Generieren von Instanzen von Ollama-Aktivitäten. Diese Aktivitäten interagieren nach der Konfiguration mit Ollama über die Verbindung.

Man greift auf den Ollama-Connector über die Registerkarte Project endpoints and connectors der Design-Komponentenpalette zu (siehe Design-Komponentenpalette).

Connector-Übersicht

Dieser Connector wird zunächst verwendet, um eine Ollama-Verbindung zu konfigurieren. Die mit dieser Verbindung verknüpften Aktivitätstypen werden dann verwendet, um Instanzen von Aktivitäten zu erstellen, die als Quellen (um Daten in einem Vorgang bereitzustellen) oder Ziele (um Daten in einem Vorgang zu verarbeiten) dienen sollen.

Eine bestimmte Ollama-Verbindung und ihre Aktivitäten werden zusammen als Ollama-Endpoint bezeichnet:

Ollama-Aktivitätstypen

  • Tools registrieren: Registriert Tools beim angegebenen Ollama-Modell und ist für die Verwendung als Quelle in einem Vorgang vorgesehen.

  • Prompt: Sendet einen Prompt an das angegebene Ollama-Modell und ist für die Verwendung als Ziel in einem Vorgang vorgesehen.

Mit diesem Connector erstellte Endpoints sind in der Endpoint-Nutzungsberichterstattung enthalten und werden auf die Lizenz angerechnet.

Voraussetzungen und unterstützte API-Versionen

Der verwendete Aktivitätstyp bestimmt, welcher Agent-Typ erforderlich ist:

Agents laden automatisch die neueste Version dieses Connectors herunter, wenn erforderlich. Auf Private Agents können diese Updates mit der Organisationsrichtlinie Disable Auto Connector Update ausgesetzt werden.

Der Ollama-Connector unterstützt zwei Verbindungstypen, jeweils mit eigenen Anforderungen:

  • Ollama Cloud: Verbindung zu Modellen, die von Ollama unter https://ollama.com gehostet werden. Erforderlich sind ein Ollama-Konto und ein Ollama API-Schlüssel, den man unter ollama.com/settings/keys erstellen kann. Einige Cloud-Modelle erfordern einen bezahlten Ollama-Plan. Wenn der API-Schlüssel gültig ist, aber das Konto nicht zum ausgewählten Modell berechtigt ist, gibt Ollama einen HTTP-403-Fehler zurück. Verfügbare Modelle und Pläne finden sich unter Ollama Cloud.

  • Self-Hosted: Verbindung zu einem Ollama-Server, den man selbst installiert und ausführt. Diese Anforderungen gelten:

    • Ollama muss installiert und ausgeführt werden (siehe die Ollama-Schnellstarthilfe).
    • Die verwendeten Modelle müssen bereits auf den Server heruntergeladen sein (beispielsweise ollama pull llama3.2). Der Connector listet nur Modelle auf, die auf dem Server installiert sind.
    • Der Server muss vom Agent erreichbar sein, der den Vorgang ausführt. Standardmäßig lauscht Ollama nur auf 127.0.0.1:11434, sodass die standardmäßige Base URL von http://localhost:11434 nur funktioniert, wenn der Private Agent auf demselben Host wie Ollama ausgeführt wird. Um Verbindungen von anderen Hosts zu akzeptieren, setzen Sie die Umgebungsvariable OLLAMA_HOST auf dem Ollama-Server (siehe How can I expose Ollama on my network?). Um einen selbst gehosteten Server mit Cloud Agents zu verwenden, muss der Server vom Internet erreichbar sein.
    • Die lokale Ollama API erfordert keine Authentifizierung. Wenn der Server hinter einem authentifizierenden Reverse Proxy liegt, geben Sie das Bearer-Token des Proxys im optionalen Feld API key der Verbindung an.

Der Connector verwendet die native Ollama API. Weitere Informationen zu den Schema-Knoten und Feldern finden Sie in der API-Dokumentation.

Fehlerbehebung

Bei Problemen mit dem Ollama-Connector werden folgende Schritte zur Fehlerbehebung empfohlen:

  1. Klicken Sie auf die Schaltfläche Test in der Verbindungskonfiguration, um sicherzustellen, dass die Verbindung erfolgreich ist und die neueste Version des Connectors auf den Agent heruntergeladen wird (sofern nicht die Richtlinie Automatische Connector-Aktualisierung deaktivieren aus der Organisationsrichtlinie verwendet wird).

  2. Überprüfen Sie die Operationsprotokolle auf alle während der Operationsausführung geschriebenen Informationen.

  3. Aktivieren Sie das Debug-Logging für Operationen (für Cloud-Agents oder für private Agents), um zusätzliche Protokolldateien und Daten zu generieren.

  4. Wenn Sie private Agents verwenden, können Sie das Verbose Logging für Connectors für diesen Connector aktivieren, indem Sie diesen Logger-Konfigurationseintrag zur logback.xml-Datei Ihres privaten Agents hinzufügen:

    <logger name="org.jitterbit.connector.ollama" level="DEBUG"/>

    Weitere Informationen zum Verbose Logging für Connectors finden Sie unter Verbose Logging für Connectors mit privaten Jitterbit-Agents.

  5. Wenn Sie private Agents verwenden, können Sie die Agent-Protokolle auf weitere Informationen überprüfen.

  6. Weitere Überlegungen zur Fehlerbehebung finden Sie unter Fehlerbehebung bei Operationen.