Atividade Get Messages do Apache Kafka
Introdução
Uma atividade Get Messages do Apache Kafka, utilizando sua conexão Apache Kafka, recupera fluxos de dados de um tópico em um cluster Apache Kafka e é destinada a ser usada como uma fonte para fornecer dados em uma operação.
Criar uma atividade Get Messages do Apache Kafka
Uma instância de uma atividade Get Messages do Apache Kafka é criada a partir de uma conexão Apache Kafka usando seu tipo de atividade Get Messages.
Para criar uma instância de uma atividade, arraste o tipo de atividade para a tela de design ou copie o tipo de atividade e cole-o na tela de design. Para detalhes, veja Criar uma instância de atividade ou ferramenta em Reutilização de componentes.
Uma atividade Get Messages do Apache Kafka existente pode ser editada a partir destes locais:
- A tela de design (veja Menu de ações do componente em Tela de design).
- A aba Componentes do painel do projeto (veja Menu de ações do componente em Aba Componentes do painel do projeto).
Configurar uma atividade Get Messages do Apache Kafka
Siga estas etapas para configurar uma atividade Get Messages do Apache Kafka:
-
Etapa 1: Insira um nome
Insira um nome para a atividade. -
Etapa 2: Revise os esquemas de dados
Quaisquer esquemas de solicitação ou resposta gerados a partir do endpoint são exibidos.
Passo 1: Insira um nome
Neste passo, insira um nome para a atividade. Cada elemento da interface do usuário deste passo é descrito abaixo.
-
Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade Get Messages do Apache Kafka e não deve conter barras
/ou dois pontos:. -
Salvar e Sair: Se habilitado, clique para salvar a configuração deste passo e fechar a configuração da atividade.
-
Próximo: Clique para armazenar temporariamente a configuração deste passo e continuar para o próximo passo. A configuração não será salva até que você clique no botão Finalizado no último passo.
-
Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer passo. Uma mensagem pede para você confirmar que deseja descartar as alterações.
Passo 2: Revise os esquemas de dados
Quaisquer esquemas de solicitação ou resposta gerados a partir do endpoint são exibidos. Cada elemento da interface do usuário deste passo é descrito abaixo.
- Esquemas de Dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformações.
O conector Apache Kafka utiliza a API Principal do Apache Kafka. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.
Os esquemas de dados de solicitação e resposta consistem nos seguintes nós e campos:
| Nó/Campo do Esquema de Solicitação | Descrição |
|---|---|
getMessagesRequest | Nó representando a solicitação da atividade |
consumerGroup | String contendo o grupo de consumidores a ser usado para consumir dados do tópico |
sessionTimeoutMS | Inteiro que representa o tempo (em milissegundos) para detectar falhas do cliente ao usar o recurso de gerenciamento de grupos do Apache Kafka |
maxPollRecords | Inteiro do número máximo de registros retornados em uma única chamada |
topic | String com o nome do tópico contendo as mensagens |
pollDurationSec | Inteiro do tempo (em segundos) após o qual um conjunto de registros vazio será retornado se nenhuma mensagem for recuperada |
| Node/Campo do Esquema de Resposta | Descrição |
|---|---|
getMessagesResponse | Nó representando a resposta da atividade |
message | Nó representando a mensagem recuperada |
item | Nó representando os itens dentro de uma mensagem |
key | String contendo a chave da mensagem recuperada |
value | String contendo o valor da mensagem recuperada |
offset | String contendo o deslocamento ao qual a mensagem está atribuída |
topic | String com o nome do tópico ao qual a mensagem pertence |
-
Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para regenerar esquemas do endpoint Apache Kafka. Esta ação também regenera um esquema em outros locais do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.
-
Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.
-
Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.
-
Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pergunta se você deseja confirmar que quer descartar as alterações.
Próximas etapas
Após configurar uma atividade Obter Mensagens do Apache Kafka, complete a configuração da operação adicionando e configurando outras atividades ou ferramentas como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estão no mesmo ou em diferentes fluxos de trabalho.
As ações do menu para uma atividade estão acessíveis a partir do painel do projeto e da tela de design. Para mais detalhes, veja o menu de ações da atividade em Conceitos básicos do conector.
As atividades Get Messages do Apache Kafka podem ser usadas como uma fonte com esses padrões de operação:
- Padrão de transformação
- Padrão de arquivo com dois destinos (como a primeira fonte apenas)
- Padrão de arquivo HTTP com dois destinos (como a primeira fonte apenas)
- Padrão de duas transformações (como a primeira ou segunda fonte)
Para usar a atividade com funções de script, escreva os dados em um local temporário e, em seguida, use esse local temporário na função de script.
Quando estiver pronto, implante e execute a operação e valide o comportamento verificando os logs da operação.