Saltar al contenido

Actividad Ollama Prompt en Jitterbit Studio

Introducción

Una actividad Prompt de Ollama, usando su conexión de Ollama, envía un prompt al modelo de Ollama especificado y está diseñada para usarse como destino para consumir datos en una operación.

Cada prompt y respuesta del modelo se almacenan en el historial de conversación del ID de chat en memoria del agente, de modo que los prompts posteriores que usen el mismo ID de chat incluyan la conversación anterior como contexto. El historial de conversación se borra cuando se reinicia el agente.

Crear una actividad Ollama Prompt

Se crea una instancia de una actividad Prompt de Ollama desde una conexión de Ollama usando su tipo de actividad Prompt.

Para crear una instancia de una actividad, arrastra el tipo de actividad al lienzo de diseño o copia el tipo de actividad y pégalo en el lienzo de diseño. Para más detalles, consulta Crear una instancia de actividad en Reutilización de componentes.

Se puede editar una actividad Prompt de Ollama existente desde estas ubicaciones:

Configurar una actividad Ollama Prompt

Sigue estos pasos para configurar una actividad Prompt de Ollama:

Paso 1: Ingresa un nombre y especifica la configuración

En este paso, proporciona un nombre para la actividad, selecciona un modelo y especifica un prompt y configuración opcional. A continuación se describe cada elemento de la interfaz de usuario de este paso.

Consejo

Los campos con un icono de variable permiten usar variables globales, variables de proyecto y variables de Jitterbit. Comienza escribiendo un corchete de apertura [ en el campo o haz clic en el icono de variable para mostrar un menú con las variables existentes entre las que elegir.

  • Menú Endpoint: Si tienes varios endpoints del mismo tipo de conector configurados, un menú en la parte superior de la pantalla muestra el nombre del endpoint actual. Haz clic en el menú para cambiar a un endpoint diferente. Para más información, consulta Cambiar el endpoint asignado en Pantallas de configuración.

    • Editar endpoint: Aparece cuando pasas el cursor sobre el nombre del endpoint actual. Haz clic para editar la configuración de conexión del endpoint seleccionado.

  • Nombre: Ingresa un nombre para identificar la actividad. El nombre debe ser único para cada actividad Prompt de Ollama y no debe contener barras diagonales / ni dos puntos :.

  • Chat ID: Ingresa un ID de chat para recuperar el contexto de una conversación anterior. Si está vacío y no se proporciona en la transformación de solicitud, se genera un nuevo ID de chat y se proporciona en la respuesta de la actividad.

  • Elegir opción: Especifica el método de selección del modelo, ya sea Listar todos los modelos o Ingresar identificador del modelo.

  • Listar todos los modelos: Selecciona esta opción para elegir entre una lista de modelos recuperados del endpoint de Ollama:

  • Seleccionar un modelo: Esta sección muestra los modelos disponibles en el endpoint de Ollama. Solo se enumeran los modelos que admiten completación de texto. Los modelos de DeepSeek se excluyen de la lista.

    • Modelo seleccionado: Una vez que se selecciona un modelo, aparece aquí.

    • Búsqueda: Ingresa el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de modelos. La búsqueda no distingue entre mayúsculas y minúsculas. Si los modelos ya se muestran en la tabla, se filtran los resultados de la tabla en tiempo real con cada pulsación de tecla. Para recargar modelos del endpoint durante la búsqueda, ingresa los criterios de búsqueda y luego actualiza, como se describe a continuación.

    • Actualizar: Haz clic en el icono de actualización o en la palabra Actualizar para recargar modelos del endpoint de Ollama. Esto puede ser útil si se han extraído modelos a un servidor Ollama autohospedado. Esta acción actualiza todos los metadatos utilizados para crear la tabla de modelos que se muestra en la configuración.

    • Seleccionar un modelo: En la tabla, haz clic en cualquier lugar de una fila para seleccionar un modelo. Solo se puede seleccionar un modelo. La información disponible para cada modelo se obtiene del endpoint de Ollama:

      • Nombre para mostrar: El nombre del modelo.

      • ID: El ID del modelo utilizado en solicitudes de API, incluida su etiqueta (por ejemplo, llama3.2:latest).

      • Modificado: La fecha y hora en que se modificó por última vez el modelo.

    Sugerencia

    Si la tabla no se completa con los modelos disponibles, es posible que la conexión de Ollama no se haya establecido correctamente. Asegúrate de estar conectado reabriendo la conexión y recomprobando las credenciales. Para un servidor Ollama autohospedado, también confirma que al menos un modelo se haya extraído al servidor.

    Como alternativa, el modelo se puede especificar en el campo ID del modelo o proporcionar en la transformación de solicitud. Si se especifica un modelo en múltiples lugares, se sigue este orden de precedencia:

    1. Un modelo proporcionado en la transformación de solicitud anula todos los campos a continuación.
    2. Un modelo especificado en el campo ID del modelo anula el campo restante a continuación, incluso si se selecciona Listar todos los modelos.
    3. Un modelo seleccionado en la lista Seleccionar un modelo tiene la precedencia más baja.

  • Ingresar identificador del modelo: Selecciona esta opción para ingresar manualmente el ID de un modelo:

    • ID del modelo: Ingresa el ID del modelo (por ejemplo, llama3.2). Para Ollama Cloud, usa un nombre de modelo que aparezca en modelos en la nube de Ollama. Para un servidor autohospedado, el modelo ya debe estar extraído al servidor.

  • Solicitud: Ingresa el texto para solicitar al modelo.

  • Configuración opcional: Haz clic para expandir la configuración opcional adicional:

    • Habilitar pensamiento (modelos de razonamiento): Selecciona para habilitar el pensamiento, que permite a un modelo de razonamiento razonar a través de un problema antes de generar una respuesta. El razonamiento del modelo se devuelve en el campo thinking de la respuesta. Esta opción está deshabilitada de forma predeterminada. Cuando se desactiva esta opción, el pensamiento se desactiva, incluso para modelos que de otro modo razonan de forma predeterminada.

      Nota

      El pensamiento solo es compatible con modelos de razonamiento. Consulta la documentación de pensamiento de Ollama para confirmar si el modelo seleccionado admite pensamiento.

    • Mantener modelo cargado: Selecciona cuánto tiempo el modelo permanece cargado en la memoria después de que se completa la solicitud (consulta ¿Cómo mantengo un modelo cargado en la memoria o hago que se descargue inmediatamente?). Mantener un modelo cargado evita el tiempo de carga en solicitudes posteriores, pero sigue utilizando memoria en el servidor Ollama:

      • 5 minutos: (Predeterminado.) Mantiene el modelo cargado durante 5 minutos.
      • 30 minutos: Mantiene el modelo cargado durante 30 minutos.
      • 1 hora: Mantiene el modelo cargado durante 1 hora.
      • Mantener cargado indefinidamente: Mantiene el modelo cargado hasta que se reinicie el servidor Ollama o se descargue el modelo.
      • Descargar después de cada llamada: Descarga el modelo inmediatamente después de que se devuelva la respuesta.

  • Aleatoriedad y diversidad:

    • Temperature: Ingresa un parámetro de temperatura. Los valores más altos producen respuestas más variadas, y los valores más bajos producen respuestas más determinísticas. El valor de este parámetro puede oscilar entre 0 y 2, por ejemplo: 0.8.
    • Top P: Ingresa un parámetro Top P para el muestreo de núcleo, que restringe la selección de tokens al conjunto más pequeño de tokens cuya probabilidad acumulada alcanza este valor. El valor de este parámetro puede oscilar entre 0 y 1, por ejemplo: 0.9.
    • Top K: Ingresa un parámetro Top K, que restringe la selección de tokens al número especificado de tokens con mayor probabilidad, por ejemplo: 40.
    • Seed: Ingresa un parámetro seed. Al utilizar el mismo valor de seed con el mismo prompt, se reproduce la misma salida. Deja este campo vacío para una salida no determinística.

    Cuando un campo de este grupo está vacío, se utiliza el valor predeterminado del modelo.

  • Contexto y longitud:

    • Context Window: Ingresa el tamaño de la ventana de contexto en tokens, que limita la longitud combinada del prompt, el historial de conversación y la salida generada. El valor predeterminado es 4096. El valor máximo depende del modelo seleccionado y de la memoria disponible en el servidor Ollama (consulta ¿Cómo puedo especificar el tamaño de la ventana de contexto?).
    • Max Output Tokens: Ingresa el número máximo de tokens a generar en la respuesta. El valor predeterminado es 2000. Ingresa -1 para generar sin límite.

  • Continue on error: Selecciona para continuar con la ejecución de la actividad si se encuentra un error para un conjunto de datos en una solicitud por lotes. Si se encuentran errores, se escriben en el registro de operaciones y se devuelven en el array errors de la respuesta de la actividad.

  • Save & Exit: Si está habilitado, haz clic para guardar la configuración de este paso y cerrar la configuración de la actividad.

  • Next: Haz clic para almacenar temporalmente la configuración de este paso y continuar al siguiente paso. La configuración no se guardará hasta que hagas clic en el botón Finished en el último paso.

  • Discard changes: Después de realizar cambios, haz clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje te pide que confirmes que deseas descartar los cambios.

Paso 2: Revisa los esquemas de datos

Se muestran los esquemas de solicitud o respuesta. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

  • Data schema: Estos esquemas de datos son heredados por las transformaciones adyacentes y se muestran nuevamente durante la asignación de datos de transformación.

    Nota

    Los datos suministrados en una transformación tienen prioridad sobre la configuración de la actividad.

    El esquema de solicitud acepta uno o más registros en el array schema, y cada registro se envía al modelo como una solicitud separada. Además de anular la configuración de la actividad como chatId, modelId, prompt y la configuración de generación opcional, un registro puede proporcionar estos campos:

    • system: Una instrucción del sistema para la conversación. Una instrucción del sistema proporcionada en la solicitud reemplaza cualquier instrucción del sistema almacenada para el ID de chat. Cuando system está vacío, la instrucción del sistema almacenada continúa siendo utilizada.
    • tool_calls y tool_response: Las llamadas de herramienta devueltas por una respuesta anterior del modelo y los resultados de ejecutar esas herramientas, utilizados para devolver resultados de herramientas al modelo en un flujo de trabajo de llamada de herramienta.

    El conector Ollama utiliza la API de Ollama. Consulta la documentación del endpoint de chat para obtener información sobre los nodos de esquema y campos.

  • Actualizar: Haz clic en el icono de actualización o en la palabra Actualizar para regenerar esquemas desde el endpoint de Ollama. Esta acción también regenera un esquema en otros lugares del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente.

  • Atrás: Haz clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

  • Finalizado: Haz clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.

  • Descartar cambios: Después de realizar cambios, haz clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje te pide que confirmes que deseas descartar los cambios.

Próximos pasos

Después de configurar una actividad Prompt de Ollama, completa la configuración de la operación agregando y configurando otras actividades, transformaciones o scripts como pasos de operación. También puedes configurar los ajustes de la operación, que incluyen la capacidad de encadenar operaciones que se encuentran en los mismos flujos de trabajo o en flujos de trabajo diferentes.

Las acciones de menú para una actividad están disponibles desde el panel del proyecto y el lienzo de diseño. Para más detalles, consulta Menú de acciones de actividad en Conceptos básicos de conectores.

Las actividades Prompt de Ollama se pueden usar como destino con estos patrones de operación:

Para usar la actividad con funciones de scripting, escribe los datos en una ubicación temporal y luego usa esa ubicación temporal en la función de scripting.

Cuando esté listo, implementa y ejecuta la operación y valida el comportamiento verificando los registros de operación.