Ir para o conteúdo

Conector HDFS no Jitterbit Studio

Resumo

O conector HDFS estabelece acesso ao HDFS.

O conector HDFS fornece uma interface para criar uma conexão HDFS, a base usada para gerar instâncias de atividades HDFS. Essas atividades, uma vez configuradas, interagem com HDFS através da conexão.

Acessa-se o conector HDFS pela aba Project endpoints and connectors (Endpoints e conectores do projeto) da paleta de componentes de design (consulte Design component palette).

Os endpoints criados com este conector são incluídos no relatório de uso de endpoints e contam para sua licença.

Documentação de conexão

Além da conexão HDFS, consulte a página abrangente de detalhes de conexão HDFS. Detalhes de configuração como estes estão incluídos nessa página:

  • Getting Started: Etapas iniciais para estabelecer uma conexão.
  • Advanced Features: Visualizações definidas pelo usuário e configuração de SSL.
  • Data Model: O modelo de dados que o conector usa para representar o endpoint.
  • Advanced Configurations Properties: Propriedades que podem ser definidas para configurar uma conexão para configurações básicas e avançadas.

Documentação de atividades

Juntos, uma conexão HDFS específica e suas atividades são chamados de endpoint HDFS:

Tipos de atividade HDFS

  • Query: Recupera registros de uma tabela no HDFS e destina-se a ser usado como origem em uma operação.

  • Execute: Executa um procedimento no HDFS e destina-se a ser usado como destino em uma operação.

Pré-requisitos e versões de API suportadas

Este conector pode ser usado apenas com agentes privados.

Os agentes baixam automaticamente a versão mais recente deste conector quando necessário. Em agentes privados, você pode suspender essas atualizações com a política organizacional Disable Auto Connector Update.

Consulte a documentação do endpoint para obter informações sobre os nós de esquema e campos.

Solução de problemas

Se você tiver problemas com o conector HDFS, recomenda-se seguir estas etapas de solução de problemas:

  1. Clique no botão Test na configuração de conexão para garantir que a conexão seja bem-sucedida e para garantir que a versão mais recente do conector seja baixada no agente (a menos que esteja usando a política organizacional Disable Auto Connector Update).

  2. Verifique os logs de operação para qualquer informação escrita durante a execução da operação.

  3. Ative o log de debug de operação para agentes privados para gerar arquivos de log e dados adicionais.

  4. Ative o log detalhado do conector para este conector adicionando esta entrada de configuração de logger ao arquivo logback.xml do seu agente privado:

    <logger name="org.jitterbit.connector.verbose.logging.HDFS" level="TRACE"/>
    

    Para obter mais informações sobre log detalhado do conector, consulte Log detalhado para conectores usando agentes privados Jitterbit.

  5. Verifique os logs do agente para obter mais informações.

  6. Para considerações adicionais de solução de problemas, consulte Solução de problemas de operação.