WebCrawler-Connector in Jitterbit Studio

Zusammenfassung

Der WebCrawler-Connector ermöglicht das Crawlen und Scrapen von Informationen von gezielten Websites und Seiten.

Der WebCrawler-Connector bietet eine Schnittstelle zum Erstellen einer WebCrawler-Verbindung, die Grundlage für die Generierung von WebCrawler-Aktivitätsinstanzen. Diese Aktivitäten interagieren nach der Konfiguration mit angegebenen Websites und Seiten über die Verbindung.

Der WebCrawler-Connector wird über die Registerkarte Projektendpunkte und Connectoren der Designkomponentenpalette aufgerufen (siehe Designkomponentenpalette).

Connector-Übersicht

Dieser Connector wird zunächst zum Konfigurieren einer WebCrawler-Verbindung verwendet. Die mit dieser Verbindung verknüpften Aktivitätstypen werden dann zum Erstellen von Aktivitätsinstanzen verwendet, die als Quellen (zum Bereitstellen von Daten in einem Vorgang) oder Ziele (zum Verarbeiten von Daten in einem Vorgang) dienen sollen.

Zusammen werden eine bestimmte WebCrawler-Verbindung und ihre Aktivitäten als WebCrawler-Endpunkt bezeichnet:

• Seite scrapen: Scrapt eine Seite und soll als Ziel in einem Vorgang verwendet werden.

• URL extrahieren: Extrahiert Inhalte aus einer URL und soll als Ziel in einem Vorgang verwendet werden.

• Crawlen: Crawlt Websites und soll als Ziel in einem Vorgang verwendet werden.

Mit diesem Connector erstellte Endpunkte sind in der Endpunkt-Nutzungsberichterstellung enthalten und werden auf Ihre Lizenz angerechnet.

Voraussetzungen und unterstützte API-Versionen

Dieser Connector kann mit Cloud-Agenten und privaten Agenten verwendet werden.

Agenten laden automatisch die neueste Version dieses Connectors herunter, wenn erforderlich. Bei privaten Agenten können Sie diese Updates mit der Organisationsrichtlinie Automatische Connector-Aktualisierung deaktivieren aussetzen.

Fehlerbehebung

Bei Problemen mit dem WebCrawler-Connector werden folgende Schritte zur Fehlerbehebung empfohlen:

1. Klicken Sie auf die Schaltfläche Test in der Verbindungskonfiguration, um sicherzustellen, dass die Verbindung erfolgreich ist und die neueste Version des Connectors auf den Agent heruntergeladen wird (sofern nicht die Organisationsrichtlinie Automatische Connector-Aktualisierung deaktivieren verwendet wird).

2. Überprüfen Sie die Vorgangsprotokolle auf Informationen, die während der Ausführung des Vorgangs geschrieben wurden.

3. Aktivieren Sie das Debug-Logging für Vorgänge (für Cloud-Agenten oder für private Agenten), um zusätzliche Protokolldateien und Daten zu generieren.

4. Bei Verwendung von privaten Agenten können Sie das ausführliche Logging für Connectoren für diesen Connector aktivieren, indem Sie diesen Logger-Konfigurationseintrag in die logback.xml-Datei Ihres privaten Agenten einfügen:

   <logger name="org.jitterbit.connector.web.crawler" level="DEBUG"/>
   

   Weitere Informationen zum ausführlichen Logging für Connectoren finden Sie unter Ausführliches Logging für Connectoren mit privaten Jitterbit-Agenten.

5. Bei Verwendung von privaten Agenten können Sie die Agent-Protokolle auf weitere Informationen überprüfen.

6. Weitere Überlegungen zur Fehlerbehebung finden Sie unter Fehlerbehebung bei Vorgängen.