Atividade de Obtenção de Mensagens do Apache Kafka

Introdução

Uma atividade Apache Kafka Get Messages, usando sua conexão Apache Kafka, recupera fluxos de dados de um tópico em um cluster Apache Kafka e destina-se a ser usado como fonte para fornecer dados em uma operação.

Crie uma Atividade de Obtenção de Mensagens do Apache Kafka

Uma instância de uma atividade Apache Kafka Get Messages é criada a partir de uma conexão Apache Kafka usando seu tipo de atividade Obter mensagens.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a quadro de design ou copie o tipo de atividade e cole-o na quadro de design. Para obter detalhes, consulte Criando uma instância de atividade em Reutilização de componentes.

Uma atividade existente do Apache Kafka Get Messages pode ser editada nestes locais:

A quadro de design (consulte Menu Ações do componente em Quadro de Design).
A aba Componentes do painel do projeto (consulte Menu Ações do componente em Guia Componentes do painel do projeto).

Configurar uma Atividade de Obtenção de Mensagens do Apache Kafka

Siga estas etapas para configurar uma atividade Get Messages do Apache Kafka:

Etapa 1: Digite um nome
Insira um nome para a atividade.
Etapa 2: Revise os esquemas de dados
Quaisquer esquemas de solicitação ou resposta gerados a partir do endpoint são exibidos.

Etapa 1: Insira um Nome

Nesta etapa, insira um nome para a atividade. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Etapa 1 da configuração da atividade de obtenção de mensagens do Apache Kafka

Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade Get Messages do Apache Kafka e não deve conter barras / ou dois pontos :.
Salvar e Sair: Se ativado, clique para salvar a configuração desta etapa e feche a configuração da atividade.
Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 2: Revise os Esquemas de Dados

Quaisquer esquemas de solicitação ou resposta gerados a partir do endpoint serão exibidos. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Etapa 2 da configuração da atividade de obtenção de mensagens do Apache Kafka

Esquemas de dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

O conector Apache Kafka usa a API Apache Kafka Core. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.

Os esquemas de dados de solicitação e resposta consistem nestes nós e campos:

Nó/campo do esquema de solicitação	Descrição
`getMessagesRequest`	Nó que representa a solicitação de atividade
`consumerGroup`	String contendo o grupo de consumidores a ser utilizado para consumir dados do tópico
`sessionTimeoutMS`	Número inteiro da quantidade de tempo (em milissegundos) para detectar falhas do cliente ao usar o recurso de gerenciamento de grupo do Apache Kafka
`maxPollRecords`	Número inteiro do número máximo de registros retornados em uma única chamada
`topic`	String com o nome do tópico que contém as mensagens
`pollDurationSec`	Número inteiro do tempo (em segundos) após o qual um conjunto de registros vazio será retornado se nenhuma mensagem for recuperada

Nó/campo do esquema de resposta	Descrição
`getMessagesResponse`	Nó que representa a resposta da atividade
`message`	Nó que representa a mensagem recuperada
`item`	Nó que representa os itens de uma mensagem
`key`	String contendo a chave da mensagem recuperada
`value`	String contendo o valor da mensagem recuperada
`offset`	String contendo o deslocamento ao qual a mensagem está atribuída
`topic`	String com o nome do tópico ao qual a mensagem pertence

Atualizar: Clique no ícone de atualização ou a palavra Refresh para regenerar esquemas do endpoint Apache Kafka. Esta ação também regenera um esquema em outros locais do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.
Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.
Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.
Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Próximos Passos

Depois de configurar uma atividade Get Messages do Apache Kafka, conclua a configuração da operação adicionando e configurando outras atividades, transformações ou scripts como etapas de operação. Você também pode definir as configurações de operação, que incluem a capacidade de encadear operações que estejam no mesmo fluxo de trabalho ou em workflows diferentes.

As ações de menu de uma atividade podem ser acessadas no painel do projeto e na quadro de design. Para obter detalhes, consulte Menu Ações da atividade em Noções básicas do conector.

As atividades Get Messages do Apache Kafka podem ser usadas como fonte com estes padrões de operação:

Padrão de transformação
Padrão de arquivo de dois alvos (apenas como a primeira fonte)
Padrão de arquivo HTTP de dois destinos (apenas como a primeira fonte)
Padrão de duas transformações (como a primeira ou segunda fonte)

Para usar a atividade com funções de script, grave os dados em um local temporário e use esse local temporário na função de script.

Quando estiver pronto, implantar e execute a operação e validar o comportamento verificando os logs de operação.