Actividad de Obtener Mensajes de Apache Kafka
Introducción
Una actividad de Obtener Mensajes de Apache Kafka, utilizando su conexión de Apache Kafka, recupera flujos de datos de un tema en un clúster de Apache Kafka y está destinada a ser utilizada como una fuente para proporcionar datos en una operación.
Crear una actividad de Obtener Mensajes de Apache Kafka
Una instancia de una actividad de Obtener Mensajes de Apache Kafka se crea a partir de una conexión de Apache Kafka utilizando su tipo de actividad Obtener Mensajes.
Para crear una instancia de una actividad, arrastre el tipo de actividad al lienzo de diseño o copie el tipo de actividad y péguelo en el lienzo de diseño. Para más detalles, consulte Crear una instancia de actividad o herramienta en Reutilización de componentes.
Una actividad existente de Obtener Mensajes de Apache Kafka se puede editar desde estas ubicaciones:
- El lienzo de diseño (consulte Menú de acciones del componente en Lienzo de diseño).
- La pestaña Componentes del panel del proyecto (consulte Menú de acciones del componente en Pestaña de componentes del panel del proyecto).
Configurar una actividad de Obtener Mensajes de Apache Kafka
Siga estos pasos para configurar una actividad de Obtener Mensajes de Apache Kafka:
-
Paso 1: Ingrese un nombre
Ingrese un nombre para la actividad. -
Paso 2: Revise los esquemas de datos
Se muestran los esquemas de solicitud o respuesta generados desde el punto final.
Paso 1: Ingresa un nombre
En este paso, ingresa un nombre para la actividad. Cada elemento de la interfaz de usuario de este paso se describe a continuación.
-
Nombre: Ingresa un nombre para identificar la actividad. El nombre debe ser único para cada actividad de Obtener Mensajes de Apache Kafka y no debe contener barras diagonales
/ni dos puntos:. -
Guardar y Salir: Si está habilitado, haz clic para guardar la configuración de este paso y cerrar la configuración de la actividad.
-
Siguiente: Haz clic para almacenar temporalmente la configuración de este paso y continuar al siguiente paso. La configuración no se guardará hasta que hagas clic en el botón Finalizado en el último paso.
-
Descartar Cambios: Después de realizar cambios, haz clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje te pedirá que confirmes que deseas descartar los cambios.
Paso 2: Revisa los esquemas de datos
Cualquier esquema de solicitud o respuesta generado desde el punto final se muestra. Cada elemento de la interfaz de usuario de este paso se describe a continuación.
- Esquemas de Datos: Estos esquemas de datos son heredados por transformaciones adyacentes y se muestran nuevamente durante el mapeo de transformaciones.
El conector de Apache Kafka utiliza la API Principal de Apache Kafka. Consulta la documentación de la API para obtener información sobre los nodos y campos del esquema.
Los esquemas de datos de solicitud y respuesta constan de estos nodos y campos:
| Nodo/Campo del Esquema de Solicitud | Descripción |
|---|---|
getMessagesRequest | Nodo que representa la solicitud de la actividad |
consumerGroup | Cadena que contiene el grupo de consumidores que se utilizará para consumir datos del tema |
sessionTimeoutMS | Entero que representa la cantidad de tiempo (en milisegundos) para detectar fallos del cliente al usar la función de gestión de grupos de Apache Kafka |
maxPollRecords | Entero que representa el número máximo de registros devueltos en una sola llamada |
topic | Cadena con el nombre del tema que contiene los mensajes |
pollDurationSec | Entero que representa el tiempo (en segundos) después del cual se devolverá un conjunto de registros vacío si no se recuperan mensajes |
| Esquema de Respuesta Nodo/Campo | Descripción |
|---|---|
getMessagesResponse | Nodo que representa la respuesta de la actividad |
message | Nodo que representa el mensaje recuperado |
item | Nodo que representa los elementos dentro de un mensaje |
key | Cadena que contiene la clave del mensaje recuperado |
value | Cadena que contiene el valor del mensaje recuperado |
offset | Cadena que contiene el desplazamiento al que se asigna el mensaje |
topic | Cadena con el nombre del tema al que pertenece el mensaje |
-
Refresh: Haz clic en el ícono de refresco o en la palabra Refresh para regenerar esquemas desde el punto final de Apache Kafka. Esta acción también regenera un esquema en otras ubicaciones a lo largo del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente.
-
Back: Haz clic para almacenar temporalmente la configuración para este paso y regresar al paso anterior.
-
Finished: Haz clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.
-
Discard Changes: Después de realizar cambios, haz clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje te pide que confirmes que deseas descartar los cambios.
Next steps
Después de configurar una actividad de Apache Kafka Get Messages, completa la configuración de la operación añadiendo y configurando otras actividades o tools como pasos de operación. También puedes configurar los ajustes de la operación, que incluyen la capacidad de encadenar operaciones que están en los mismos o diferentes flujos de trabajo.
Las acciones del menú para una actividad son accesibles desde el panel del proyecto y el lienzo de diseño. Para más detalles, consulta el menú de acciones de actividad en Conceptos básicos de conectores.
Las actividades de Obtener Mensajes de Apache Kafka se pueden utilizar como fuente con estos patrones de operación:
- Patrón de transformación
- Patrón de archivo de dos destinos (como la primera fuente únicamente)
- Patrón de archivo HTTP de dos destinos (como la primera fuente únicamente)
- Patrón de dos transformaciones (como la primera o segunda fuente)
Para utilizar la actividad con funciones de scripting, escriba los datos en una ubicación temporal y luego use esa ubicación temporal en la función de scripting.
Cuando esté listo, despliegue y ejecute la operación y valide el comportamiento revisando los registros de operación.