Conector WebCrawler para Jitterbit Studio

Resumo

O conector WebCrawler permite a busca e extração de informações de websites e páginas específicas.

O conector WebCrawler fornece uma interface para criar uma conexão WebCrawler, que é a base utilizada para gerar instâncias de atividades WebCrawler. Essas atividades, uma vez configuradas, interagem com websites e páginas especificados através da conexão.

O conector WebCrawler é acessado na aba Endpoints e conectores do projeto na paleta de componentes de design (veja Paleta de componentes de design).

Visão geral do conector

Este conector é utilizado para primeiro configurar uma conexão WebCrawler. Os tipos de atividades associados a essa conexão são então usados para criar instâncias de atividades que têm a intenção de serem usadas como fontes (para fornecer dados em uma operação) ou alvos (para consumir dados em uma operação).

Juntos, uma conexão WebCrawler específica e suas atividades são referidos como um endpoint WebCrawler:

• Extrair Página: Extrai uma página e é destinado a ser usado como um alvo em uma operação.

• Extrair URL: Extrai conteúdo de uma URL e é destinado a ser usado como um alvo em uma operação.

• Rastear: Rasteia websites e é destinado a ser usado como um alvo em uma operação.

Os endpoints criados com este conector estão incluídos no relatório de uso de endpoints e contam para a sua licença.

Pré-requisitos e versões de API suportadas

O conector WebCrawler requer o uso de uma versão de agente 10.1 ou posterior. Essas versões de agente baixam automaticamente a versão mais recente do conector quando necessário.

Solução de problemas

Se você encontrar problemas com o conector WebCrawler, estas etapas de solução de problemas são recomendadas:

1. Clique no botão Testar na configuração da conexão para garantir que a conexão seja bem-sucedida e para garantir que a versão mais recente do conector seja baixada para o agente (a menos que esteja usando a política de organização Desativar Atualização Automática do Conector).

2. Verifique os logs de operação para qualquer informação registrada durante a execução da operação.

3. Ative o registro de depuração da operação (para agentes em nuvem ou para agentes privados) para gerar arquivos de log e dados adicionais.

4. Se estiver usando agentes privados, você pode ativar o registro detalhado do conector para este conector adicionando esta entrada de configuração de logger ao arquivo logback.xml do seu agente privado:

   <logger name="org.jitterbit.connector.web.crawler" level="DEBUG"/>
   

   Para mais informações sobre o registro detalhado do conector, consulte Registro detalhado para conectores usando agentes privados Jitterbit.

5. Se estiver usando agentes privados, você pode verificar os logs do agente para mais informações.