Actividad de Obtención de Mensajes de Apache Kafka
Introducción
Una actividad de Apache Kafka Obtener mensajes, utilizando su conexión Apache Kafka, recupera flujos de datos de un tema en un clúster Apache Kafka y está destinado a ser utilizado como fuente para proporcionar datos en una operación.
Crear una Actividad de Obtención de Mensajes de Apache Kafka
Se crea una instancia de una actividad Obtener mensajes de Apache Kafka a partir de una conexión Apache Kafka usando su tipo de actividad Obtener mensajes.
Para crear una instancia de una actividad, arrastre el tipo de actividad al tela de diseño o cópielo y péguelo en el tela de diseño. Para obtener más información, consulte Creación de una instancia de actividad en Reutilización de componentes.
Una actividad Obtener mensajes de Apache Kafka existente se puede editar desde estas ubicaciones:
- El tela de diseño (consulte Menú de acciones del componente en Tela de Diseño).
- La pestaña Componentes del panel del proyecto (consulte Menú de acciones de componentes en Pestaña Componentes del panel de proyecto).
Configurar una Actividad de Obtención de Mensajes de Apache Kafka
Siga estos pasos para configurar una actividad Obtener mensajes de Apache Kafka:
-
Paso 1: Ingrese un nombre
Introduzca un nombre para la actividad. -
Paso 2: revisar los esquemas de datos
Se muestran todos los esquemas de solicitud o respuesta generados desde el extremo.
Paso 1: Ingrese un Nombre
En este paso, ingrese un nombre para la actividad. Cada elemento de la interfaz de usuario de este paso se describe a continuación.
-
Nombre: Introduzca un nombre para identificar la actividad. El nombre debe ser único para cada actividad de Apache Kafka Obtener mensajes y no debe contener barras diagonales
/o dos puntos:. -
Guardar y salir: Si está habilitado, haga clic para guardar la configuración para este paso y cerrar la configuración de la actividad.
-
Siguiente: Haga clic para almacenar temporalmente la configuración para este paso y continuar con el siguiente. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.
-
Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.
Paso 2: Revisar los Esquemas de Datos
Se muestran todos los esquemas de solicitud o respuesta generados desde el extremo. Cada elemento de la interfaz de usuario de este paso se describe a continuación.
- Esquemas de datos: Estos esquemas de datos se heredan mediante transformaciones adyacentes y se muestran nuevamente durante asignación de transformación.
El conector Apache Kafka utiliza Apache Kafka Core API. Consulte la documentación de la API para obtener información sobre los campos y nodos del esquema.
Los esquemas de datos de solicitud y respuesta constan de estos nodos y campos:
| Solicitar nodo/campo de esquema | Descripción |
|---|---|
getMessagesRequest | Nodo que representa la solicitud de actividad |
consumerGroup | Cadena que contiene el grupo de consumidores que se utilizará para consumir datos del tema |
sessionTimeoutMS | Número entero de la cantidad de tiempo (en milisegundos) para detectar fallas del cliente cuando se utiliza la función de administración de grupos de Apache Kafka |
maxPollRecords | Entero del número máximo de registros devueltos en una sola llamada |
topic | Cadena con el nombre del tema que contiene los mensajes |
pollDurationSec | Entero del tiempo (en segundos) después del cual se devolverá un conjunto de registros vacío si no se recupera ningún mensaje |
| Nodo/campo del esquema de respuesta | Descripción |
|---|---|
getMessagesResponse | Nodo que representa la respuesta de la actividad |
message | Nodo que representa el mensaje recuperado |
item | Nodo que representa los elementos dentro de un mensaje |
key | Cadena que contiene la clave del mensaje recuperado |
value | Cadena que contiene el valor del mensaje recuperado |
offset | Cadena que contiene el desplazamiento al que está asignado el mensaje |
topic | Cadena con el nombre del tema al que pertenece el mensaje |
-
Actualizar: Haga clic en el icono de actualización
o la palabra Actualizar para regenerar esquemas desde el extremo de Apache Kafka. Esta acción también regenera un esquema en otras ubicaciones del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente. -
Volver: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.
-
Terminado: Haga clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.
-
Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.
Próximos Pasos
Después de configurar una actividad Obtener mensajes de Apache Kafka, complete la configuración de la operación agregando y configurando otras actividades, transformaciones o secuencias de comandos como pasos de la operación. También puede configurar los ajustes de operación, que incluyen la capacidad de encadenar operaciones que se encuentran en el mismo flujos de trabajo o en diferentes.
Se puede acceder a las acciones del menú para una actividad desde el panel del proyecto y el tela de diseño. Para obtener más información, consulte Menú de acciones de actividad en Conceptos básicos del conector.
Las actividades de Apache Kafka Obtener mensajes se pueden utilizar como fuente con estos patrones de operación:
- Patrón de transformación
- Patrón de archivo de dos objetivos (solo como primera fuente)
- Patrón de archivo HTTP de dos destinos (solo como primera fuente)
- Patrón de dos transformaciones (como primera o segunda fuente)
Para usar la actividad con funciones de secuencias de comandos, escriba los datos en una ubicación temporal y luego use esa ubicación temporal en la función de secuencias de comandos.
Cuando esté listo, desplegar y ejecutar la operación y validar el comportamiento comprobando los registros de operación.