HDFS -Verbindungsdetails

Einführung

Connector-Version

Diese Dokumentation basiert auf Version 23.0.8895 des Connectors.

Erste Schritte

HDFS Versionsunterstützung

Der Connector nutzt die HDFS API, um bidirektionalen Zugriff auf HDFS zu ermöglichen.

Herstellen einer Verbindung

Herstellen einer Verbindung mit HDFS

Um eine Verbindung herzustellen, legen Sie die folgenden Verbindungseigenschaften fest:

• Host: Legen Sie diesen Wert auf den Host Ihrer HDFS Installation fest.
• Port: Setzen Sie diesen Wert auf den Port Ihrer HDFS Installation. Port: 50070
• UseSSL: (Optional) Setzen Sie diesen Wert auf „True“, um TLS/SSL-Verbindungen zum HDFS -Server auszuhandeln. Standard: „False“.

Authentifizieren bei HDFS

Für die Verbindung mit der HDFS Datenquelle stehen zwei Authentifizierungsmethoden zur Verfügung: anonyme Authentifizierung und Negotiate-Authentifizierung (Kerberos).

Anonyme Authentifizierung

In einigen Situationen kann eine Verbindung zu HDFS ohne Authentifizierungsverbindungseigenschaften hergestellt werden. Setzen Sie dazu die AuthScheme auf Keine (Standard).

Kerberos

Wenn Authentifizierungsdaten erforderlich sind, können Sie Kerberos verwenden. Siehe Verwenden von Kerberos für Einzelheiten zur Authentifizierung mit Kerberos.

Optimieren des Datenzugriffs

Optimieren des Datenzugriffs

Mit den folgenden Eigenschaften können Sie mehr Kontrolle über die von HDFS zurückgegebenen Daten erhalten:

• DirectoryRetrievalDepth: Wie viele Unterordner rekursiv gescannt werden sollen, bevor der Vorgang beendet wird.
  -1 gibt an, dass alle Unterordner gescannt werden. 0 gibt an, dass nur der aktuelle Ordner nach Elementen gescannt wird.
• Path: Begrenzen Sie die rekursiv gescannten Unterordner.

Kerberos verwenden

Kerberos

Um sich mit Kerberos bei HDFS zu authentifizieren, setzen Sie AuthScheme Zu NEGOTIATE.

Für die Authentifizierung bei HDFS über Kerberos müssen Sie Authentifizierungseigenschaften definieren und auswählen, wie Kerberos Authentifizierungstickets abrufen soll.

Abrufen von Kerberos-Tickets

Kerberos-Tickets werden verwendet, um die Identität des Anforderers zu authentifizieren. Durch die Verwendung von Tickets anstelle von formellen Logins/Passwörtern entfällt die Notwendigkeit, Passwörter lokal zu speichern oder über ein Netzwerk zu senden. Benutzer werden erneut authentifiziert (Tickets werden aktualisiert), wenn sie sich an ihrem lokalen Computer anmelden oder kinit USER in der Eingabeaufforderung.

Der Connector bietet drei Möglichkeiten, das erforderliche Kerberos-Ticket abzurufen, je nachdem, ob der KRB5CCNAME und/oder KerberosKeytabFile Variablen sind in Ihrer Umfeld vorhanden.

MIT Kerberos-Anmeldeinformations-Cache-Datei

Mit dieser Option können Sie den MIT Kerberos Ticket Manager verwenden oder kinit Befehl zum Abrufen von Tickets. Mit dieser Option ist es nicht erforderlich, den User oder Password Verbindungseigenschaften.

Diese Option erfordert, dass KRB5CCNAME wurde in Ihrem System erstellt.

So aktivieren Sie den Ticketabruf über MIT Cerberos Credential Cache Files:

1. Stellen Sie sicher, dass KRB5CCNAME Variable ist in Ihrer Umfeld vorhanden.
2. Satz KRB5CCNAME zu einem Pfad, der auf Ihre Anmeldeinformations-Cachedatei verweist. (Beispiel: C:\krb_cache\krb5cc_0 oder /tmp/krb5cc_0.) Die Anmeldeinformations-Cachedatei wird erstellt, wenn Sie den MIT Kerberos Ticket Manager zum Generieren Ihres Tickets verwenden.

3. So erhalten Sie ein Ticket:

   1. Öffnen Sie die Anwendung MIT Kerberos Ticket Manager.
   2. Klicken Sie auf Get Ticket.
   3. Geben Sie Ihren Hauptnamen und Ihr Passwort ein.
   4. Klicken Sie auf OK.

   Wenn das Ticket erfolgreich abgerufen wurde, werden die Ticketinformationen im Kerberos Ticket Manager angezeigt und in der Anmeldeinformations-Cache-Datei gespeichert.

Der Connector verwendet die Cache-Datei, um das Kerberos-Ticket für die Verbindung mit HDFS abzurufen.

Keytab-Datei

Wenn in Ihrer Umfeld die KRB5CCNAME Umfeld, Sie können ein Kerberos-Ticket mithilfe einer Keytab-Datei abrufen.

Um diese Methode zu verwenden, setzen Sie die User Eigenschaft auf den gewünschten Benutzernamen und legen Sie die KerberosKeytabFile-Eigenschaft auf einen Dateipfad, der auf die mit dem Benutzer verknüpfte Keytab-Datei verweist.

Benutzer und Passwort

Wenn in Ihrer Umfeld die KRB5CCNAME Umfeld und die KerberosKeytabFile-Eigenschaft nicht festgelegt wurde, können Sie ein Ticket mithilfe einer Benutzer- und Passwortkombination abrufen.

Um diese Methode zu verwenden, legen Sie die-Eigenschaft fest **User Und Password Eigenschaften für die Benutzer-/Passwortkombination, die Sie zur Authentifizierung bei HDFS verwenden.

Cross-Realm-Authentifizierung aktivieren

Komplexere Kerberos-Umgebungen können eine Cross-Realm-Authentifizierung erfordern, wenn mehrere Realms und KDC-Server verwendet werden. Beispielsweise können sie einen Realm/KDC für die Benutzerauthentifizierung und einen anderen Realm/KDC zum Abrufen des Servicetickets verwenden.

Um diese Art der Cross-Realm-Authentifizierung zu aktivieren, setzen Sie das KerberosRealm Und KerberosKDC Eigenschaften auf die Werte, die für die Benutzerauthentifizierung erforderlich sind. Setzen Sie außerdem die KerberosServiceRealm Und KerberosServiceKDC Eigenschaften auf die Werte, die zum Erhalt des Servicetickets erforderlich sind.

Wichtige Hinweise

Konfigurationsdateien und ihre Pfade

• Alle Verweise auf das Hinzufügen von Konfigurationsdateien und deren Pfaden beziehen sich auf Dateien und Speicherorte auf dem Jitterbit-Agenten, auf dem der Connector installiert ist. Diese Pfade sind je nach Agent und Operationssystem entsprechend anzupassen. Wenn mehrere Agenten in einer Agentengruppe verwendet werden, werden auf jedem Agenten identische Dateien benötigt.

Erweiterte Funktionen

In diesem Abschnitt wird eine Auswahl erweiterter Funktionen des HDFS Connectors beschrieben.

Benutzerdefinierte Ansichten

Der Connector ermöglicht Ihnen die Definition virtueller Tabellen, sogenannter benutzerdefinierter Ansichten, deren Inhalt durch eine vorkonfigurierte Abfrage bestimmt wird. Diese Ansichten sind nützlich, wenn Sie die an die Treiber gesendeten Abfragen nicht direkt steuern können. Siehe Benutzerdefinierte Ansichten für einen Überblick über das Erstellen und Konfigurieren benutzerdefinierter Ansichten.

SSL-Konfiguration

Verwenden Sie SSL-Konfiguration, um anzupassen, wie der Connector TLS/SSL-Zertifikatsverhandlungen handhabt. Sie können aus verschiedenen Zertifikatsformaten wählen; siehe SSLServerCert-Eigenschaft unter „Verbindungszeichenfolgenoptionen“ für weitere Informationen.

Proxy

So konfigurieren Sie den Connector mit privaten Agent-Proxy-Einstellungen, wählen Sie die Use Proxy Settings Kontrollkästchen auf dem Verbindungskonfigurationsbildschirm.

Abfrageverarbeitung

Der Connector verlagert möglichst viel der Verarbeitung der SELECT-Anweisung auf HDFS und verarbeitet dann den Rest der Abfrage im Speicher (clientseitig).

Siehe Abfrageverarbeitung für weitere Informationen.

Benutzerdefinierte Ansichten

Mit dem HDFS -Connector können Sie eine virtuelle Tabelle definieren, deren Inhalt durch eine vorkonfigurierte Abfrage bestimmt wird. Diese werden als benutzerdefinierte Ansichten bezeichnet und sind in Situationen nützlich, in denen Sie die an den Treiber gesendete Abfrage nicht direkt steuern können, z. B. wenn Sie den Treiber von Jitterbit verwenden. Die benutzerdefinierten Ansichten können verwendet werden, um Prädikate zu definieren, die immer angewendet werden. Wenn Sie in der Abfrage an die Ansicht zusätzliche Prädikate angeben, werden diese mit der bereits als Teil der Ansicht definierten Abfrage kombiniert.

Es gibt zwei Möglichkeiten, benutzerdefinierte Ansichten zu erstellen:

• Erstellen Sie eine Konfigurationsdatei im JSON-Format, die die gewünschten Ansichten definiert.
• DDL-Anweisungen.

Definieren von Ansichten mithilfe einer Konfigurationsdatei

Benutzerdefinierte Ansichten werden in einer JSON-formatierten Konfigurationsdatei namens UserDefinedViews.json. Der Connector erkennt die in dieser Datei angegebenen Ansichten automatisch.

Sie können auch mehrere Ansichtsdefinitionen haben und diese mit steuern UserDefinedViews Verbindungseigenschaft. Wenn Sie diese Eigenschaft verwenden, werden vom Connector nur die angegebenen Ansichten angezeigt.

Diese Konfigurationsdatei für benutzerdefinierte Ansichten ist wie folgt formatiert:

• Jedes Stammelement definiert den Namen einer Ansicht.
• Jedes Stammelement enthält ein untergeordnetes Element namens query, das die benutzerdefinierte SQL- Abfrage für die Ansicht enthält.

Zum Beispiel:

{
    "MyView": {
        "query": "SELECT * FROM Files WHERE MyColumn = 'value'"
    },
    "MyView2": {
        "query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
    }
}

Verwenden Sie UserDefinedViews Verbindungseigenschaft zur Angabe des Speicherorts Ihrer JSON-Konfigurationsdatei. Beispiel:

"UserDefinedViews", "C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json"

Definieren von Ansichten mit DDL-Anweisungen

Der Connector kann das Schema auch über DDL-Anweisungen wie CREATE LOCAL VIEW, ALTER LOCAL VIEW und DROP LOCAL VIEW erstellen und ändern.

Erstellen einer Ansicht

Um eine neue Ansicht mit DDL-Anweisungen zu erstellen, geben Sie den Ansichtsnamen und die Abfrage wie folgt an:

CREATE LOCAL VIEW`[MeinAnsichtsname] `AS SELECT * FROM Customers LIMIT 20;

Wenn keine JSON-Datei vorhanden ist, erstellt der obige Code eine. Die Ansicht wird dann in der JSON-Konfigurationsdatei erstellt und ist nun erkennbar. Der Speicherort der JSON-Datei wird durch angegeben UserDefinedViews Verbindungseigenschaft.

Ändern einer Ansicht

Um eine vorhandene Ansicht zu ändern, geben Sie den Namen der vorhandenen Ansicht zusammen mit der neuen Abfrage an, die Sie stattdessen verwenden möchten:

ALTER LOCAL VIEW`[MeinAnsichtsname] `AS SELECT * FROM Customers WHERE TimeModified > '3/1/2020';

Die Ansicht wird dann in der JSON-Konfigurationsdatei aktualisiert.

Löschen einer Ansicht

Um eine vorhandene Ansicht zu löschen, geben Sie den Namen eines vorhandenen Schema neben der neuen Abfrage an, die Sie stattdessen verwenden möchten.

DROP LOCAL VIEW [MyViewName]

Dadurch wird die Ansicht aus der JSON-Konfigurationsdatei entfernt. Sie kann nicht mehr abgefragt werden.

Schema für benutzerdefinierte Ansichten

Benutzerdefinierte Ansichten werden im angezeigt UserViews Schema standardmäßig. Dies geschieht, um zu vermeiden, dass der Name der Ansicht mit einer tatsächlichen Entität im Datenmodell kollidiert. Sie können den Namen des für UserViews verwendeten Schema ändern, indem Sie festlegen UserViewsSchemaName Eigentum.

Arbeiten mit benutzerdefinierten Ansichten

Beispielsweise eine SQL-Anweisung mit einer benutzerdefinierten Ansicht namens UserViews.RCustomers listet nur Kunden in Raleigh auf:

SELECT * FROM Customers WHERE City = 'Raleigh';

Ein Beispiel für eine Abfrage an den Treiber:

SELECT * FROM UserViews.RCustomers WHERE Status = 'Active';

Daraus ergibt sich die effektive Abfrage an die Quelle:

SELECT * FROM Customers WHERE City = 'Raleigh' AND Status = 'Active';

Dies ist ein sehr einfaches Beispiel für eine Abfrage an eine benutzerdefinierte Ansicht, die tatsächlich eine Kombination aus der Abfrage und der Ansichtsdefinition ist. Es ist möglich, diese Abfragen in viel komplexeren Mustern zusammenzustellen. Alle SQL-Operationen sind in beiden Abfragen zulässig und werden bei Bedarf kombiniert.

SSL-Konfiguration

Anpassen der SSL-Konfiguration

Standardmäßig versucht der Connector, SSL/TLS auszuhandeln, indem er das Zertifikat des Servers mit dem vertrauenswürdigen Zertifikatspeicher des Systems vergleicht.

Um ein anderes Zertifikat anzugeben, siehe SSLServerCert Eigenschaft für die verfügbaren Formate, um dies zu tun.

Datenmodell

Der HDFS Connector modelliert HDFS -Objekte als relationale Tabellen und Ansichten. HDFS -Objekte haben Beziehungen zu anderen Objekten; in den Tabellen werden diese Beziehungen durch Fremdschlüssel ausgedrückt. Die folgenden Abschnitte zeigen die verfügbaren API Objekte und bieten weitere Informationen zur Ausführung von SQL für HDFS APIs.

Schemas für die meisten Datenbankobjekte werden in einfachen, textbasierten Konfigurationsdateien definiert.

Hauptmerkmale

• Der Connector modelliert HDFS Entitäten wie Dateien und Berechtigungen als relationale Ansichten, sodass Sie SQL schreiben können, um HDFS Daten Abfrage.
• Gespeicherte Prozeduren ermöglichen die Ausführung von Operationen an HDFS
• Die Live-Konnektivität zu diesen Objekten bedeutet, dass alle Änderungen an Ihrem HDFS -Konto bei Verwendung des Connectors sofort berücksichtigt werden.

Ansichten

Ansichten ähneln Tabellen in der Art und Weise, wie Daten dargestellt werden; Ansichten sind jedoch schreibgeschützt.

Abfragen können für eine Ansicht ausgeführt werden, als wäre sie eine normale Tabelle.

HDFS Connector-Ansichten

Dateien

Listet den Inhalt des angegebenen Pfads auf.

Tabellenspezifische Informationen

Wählen

Dadurch wird eine Liste aller Dateien und Verzeichnisse in Ihrem System zurückgegeben. Standardmäßig werden alle Unterordner rekursiv gescannt, um ihre untergeordneten Unterordner aufzulisten. Sie können die Tiefe der Unterordner, die rekursiv gescannt werden sollen, mit der Eigenschaft DirectoryRetrievalDepth konfigurieren. Alle Filter werden clientseitig innerhalb des Connectors ausgeführt.

Spalten

Berechtigungen

Listet die Berechtigungen der im Pfad angegebenen Dateien/Dateien auf.

Tabellenspezifische Informationen

Wählen

Dadurch wird eine Liste der Berechtigungen aller Dateien und Verzeichnisse in Ihrem System zurückgegeben. Alle Filter werden clientseitig innerhalb des Connectors ausgeführt.

Spalten

Gespeicherte Prozeduren

Gespeicherte Prozeduren sind funktionsähnliche Schnittstellen, die die Funktionalität des Connectors über einfache SELECT-Operationen mit HDFS hinaus erweitern.

Gespeicherte Prozeduren akzeptieren eine Liste von Parametern, führen ihre beabsichtigte Funktion aus und geben dann alle relevanten Antwortdaten von HDFS zurück, zusammen mit einer Angabe, ob die Prozedur erfolgreich war oder fehlgeschlagen ist.

Gespeicherte Prozeduren für den HDFS Connector

An Datei anhängen

Erstellen und in eine Datei schreiben.

Eingang

Ergebnissatzspalten

Verketten

Eine Gruppe von Dateien mit einer anderen Datei verknüpfen.

Eingang

Ergebnissatzspalten

Schnappschuss erstellen

Erstellen Sie einen Snapshot eines Ordners.

Eingang

Ergebnissatzspalten

Symlink erstellen

Erstellen Sie einen symbolischen Link.

Eingang

Ergebnissatzspalten

Datei löschen

Eine Datei oder ein Verzeichnis löschen.

Eingang

Ergebnissatzspalten

Snapshot löschen

Erstellen Sie einen Snapshot eines Ordners.

Eingang

Ergebnissatzspalten

Datei herunterladen

Eine Datei öffnen und lesen.

Eingang

Ergebnissatzspalten

Inhalt abrufen

Erhalten Sie eine Inhaltsübersicht einer Datei/eines Ordners.

Eingang

Ergebnissatzspalten

GetFileChecksum

Prüfsumme einer Datei abrufen.

Eingang

Ergebnissatzspalten

HomeDirectory abrufen

Holen Sie sich das Home-Verzeichnis für den aktuellen Benutzer.

Ergebnissatzspalten

GetTrashRoot

Rufen Sie das Stammverzeichnis des Papierkorbs für den aktuellen Benutzer ab, wenn der angegebene Pfad gelöscht wird.

Eingang

Ergebnissatzspalten

Listenstatus

Listet den Inhalt des angegebenen Pfads auf.

Eingang

Ergebnissatzspalten

Verzeichnis erstellen

Erstellen Sie ein Verzeichnis im angegebenen Pfad.

Eingang

Ergebnissatzspalten

Datei umbenennen

Eine Datei oder ein Verzeichnis umbenennen.

Eingang

Ergebnissatzspalten

Snapshot umbenennen

Einen Snapshot eines Ordners umbenennen.

Eingang

Ergebnissatzspalten

Besitzer festlegen

Besitzer und Gruppe eines Pfades festlegen.

Eingang

Ergebnissatzspalten

Berechtigung festlegen

Berechtigung für einen Pfad festlegen.

Eingang

Ergebnissatzspalten

Datei abschneiden

Eine Datei auf eine neue Länge kürzen.

Eingang

Ergebnissatzspalten

Datei hochladen

Erstellen und in eine Datei schreiben.

Eingang

Ergebnissatzspalten

Systemtabellen

Sie können die in diesem Abschnitt beschriebenen Systemtabellen Abfrage, um auf Schema, Informationen zur Datenquellenfunktionalität und Statistiken zu Operation Charge.

Schematabellen

Die folgenden Tabellen geben Datenbankmetadaten für HDFS zurück:

• sys_catalogs: Listet die verfügbaren Datenbanken auf.
• sys_schemas: Listet die verfügbaren Schemata auf.
• sys_tables: Listet die verfügbaren Tabellen und Ansichten auf.
• sys_tablecolumns: Beschreibt die Spalten der verfügbaren Tabellen und Ansichten.
• sys_procedures: Beschreibt die verfügbaren gespeicherten Prozeduren.
• sys_procedureparameters: Beschreibt Parameter gespeicherter Prozeduren.
• sys_keycolumns: Beschreibt die Primär- und Fremdschlüssel.
• sys_indexes: Beschreibt die verfügbaren Indizes.

Datenquellentabellen

Die folgenden Tabellen enthalten Informationen dazu, wie eine Verbindung zur Datenquelle hergestellt und diese Abfrage wird:

• sys_connection_props: Gibt Informationen zu den verfügbaren Verbindungseigenschaften zurück.
• sys_sqlinfo: Beschreibt die SELECT-Abfragen, die der Connector an die Datenquelle auslagern kann.

Abfrageinformationstabellen

Die folgende Tabelle gibt Abfrage für Datenänderungsabfragen zurück:

• Systemidentität: Gibt Informationen zu Charge oder einzelnen Updates zurück.

Sys_catalogs

Listet die verfügbaren Datenbanken auf.

Die folgende Abfrage ruft alle durch die Verbindungszeichenfolge ermittelten Datenbanken ab:

SELECT * FROM sys_catalogs

Spalten

Sys_schemas

Listet die verfügbaren Schemas auf.

Die folgende Abfrage ruft alle verfügbaren Schemata ab:

SELECT * FROM sys_schemas

Spalten

Sys_tables

Listet die verfügbaren Tabellen auf.

Die folgende Abfrage ruft die verfügbaren Tabellen und Ansichten ab:

SELECT * FROM sys_tables

Spalten

Sys_tablecolumns

Beschreibt die Spalten der verfügbaren Tabellen und Ansichten.

Die folgende Abfrage gibt die Spalten und Datentypen für die Tabelle „Dateien“ zurück:

SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='Files'

Spalten

Sys_procedures

Listet die verfügbaren gespeicherten Prozeduren auf.

Die folgende Abfrage ruft die verfügbaren gespeicherten Prozeduren ab:

SELECT * FROM sys_procedures

Spalten

Sys_procedureparameters

Beschreibt Parameter gespeicherter Prozeduren.

Die folgende Abfrage gibt Informationen zu allen Eingabeparametern für die gespeicherte Prozedur „Öffnen“ zurück:

SELECT * FROM sys_procedureparameters WHERE ProcedureName='Open' AND Direction=1 OR Direction=2

Spalten

Sys_keycolumns

Beschreibt die Primär- und Fremdschlüssel.

Die folgende Abfrage ruft den Primärschlüssel für die Tabelle „Files“ ab:

SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='Files'

Spalten

Sys_foreignkeys

Beschreibt die Fremdschlüssel.

Die folgende Abfrage ruft alle Fremdschlüssel ab, die auf andere Tabellen verweisen:

SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'

Spalten

Sys_primarykeys

Beschreibt die Primärschlüssel.

Die folgende Abfrage ruft die Primärschlüssel aus allen Tabellen und Ansichten ab:

SELECT * FROM sys_primarykeys

Spalten

Sys_indexes

Beschreibt die verfügbaren Indizes. Durch das Filtern nach Indizes können Sie selektivere Abfragen mit schnelleren Abfrage schreiben.

Die folgende Abfrage ruft alle Indizes ab, die keine Primärschlüssel sind:

SELECT * FROM sys_indexes WHERE IsPrimary='false'

Spalten

Sys_connection_props

Gibt Informationen zu den verfügbaren Verbindungseigenschaften und den in der Verbindungszeichenfolge festgelegten Eigenschaften zurück.

Bei der Abfrage dieser Tabelle sollte die Konfigurationsverbindungszeichenfolge verwendet werden:

jdbc:cdata:hdfs:config:

Mit dieser Verbindungszeichenfolge können Sie diese Tabelle ohne eine gültige Verbindung Abfrage.

Die folgende Abfrage ruft alle Verbindungseigenschaften ab, die in der Verbindungszeichenfolge festgelegt oder über einen Standardwert gesetzt wurden:

SELECT * FROM sys_connection_props WHERE Value <> ''

Spalten

Sys_sqlinfo

Beschreibt die SELECT- Abfrage, die der Connector an die Datenquelle auslagern kann.

Entdecken der SELECT-Funktionen der Datenquelle

Nachfolgend sehen Sie einen Beispieldatensatz mit SQL-Funktionen. Einige Aspekte der SELECT-Funktionalität werden in einer durch Kommas getrennten Liste zurückgegeben, sofern sie unterstützt werden. Andernfalls enthält die Spalte NO.

Die folgende Abfrage ruft die Operatoren ab, die in der WHERE-Klausel verwendet werden können:

SELECT * FROM sys_sqlinfo WHERE Name = 'SUPPORTED_OPERATORS'

Beachten Sie, dass einzelne Tabellen unterschiedliche Einschränkungen oder Anforderungen an die WHERE-Klausel haben können; siehe Datenmodell Abschnitt für weitere Informationen.

Spalten

Systemidentität

Gibt Informationen zu versuchten Änderungen zurück.

Die folgende Abfrage ruft die IDs der geänderten Zeilen in einer Operation Charge:

SELECT * FROM sys_identity

Spalten

Systeminformationen

Beschreibt die verfügbaren Systeminformationen.

Die folgende Abfrage ruft alle Spalten ab:

SELECT * FROM sys_information

Spalten

Erweiterte Konfigurationseigenschaften

Die erweiterten Konfigurationseigenschaften sind die verschiedenen Optionen, die zum Herstellen einer Verbindung verwendet werden können. Dieser Abschnitt enthält eine vollständige Liste der Optionen, die Sie konfigurieren können. Klicken Sie auf die Links, um weitere Einzelheiten zu erfahren.

Authentifizierung

Verbindung

Kerberos

SSL

Schema

Verschiedenes

Authentifizierung

Dieser Abschnitt enthält eine vollständige Liste der Authentifizierungseigenschaften, die Sie konfigurieren können.

AuthScheme

Das zur Authentifizierung verwendete Schema. Akzeptierte Einträge sind „Keine“ und „Verhandeln (Kerberos)“. „Keine“ ist die Standardeinstellung.

Mögliche Werte

None, Negotiate, Token

Datentyp

string

Standardwert

None

Hinweise

Dieses Feld wird zur Authentifizierung gegenüber dem Server verwendet. Verwenden Sie die folgenden Optionen, um Ihr Authentifizierungsschema auszuwählen:

• Keine: Legen Sie dies fest, um die anonyme Authentifizierung zu verwenden und eine Verbindung mit der HDFS Datenquelle herzustellen, ohne die Benutzeranmeldeinformationen anzugeben.
• Verhandeln: Wenn AuthScheme auf Aushandeln eingestellt ist, verhandelt der Connector einen Authentifizierungsmechanismus mit dem Server. Setzen Sie AuthScheme um auszuhandeln, ob Sie die Kerberos-Authentifizierung verwenden möchten.
• Token: Legen Sie dies fest, um die Authentifizierung mit einem AccessToken durchzuführen.

Host

Diese Eigenschaft gibt den Host Ihrer HDFS Installation an.

Datentyp

string

Standardwert

""

Hinweise

Diese Eigenschaft gibt den Host Ihrer HDFS Installation an.

Port

Diese Eigenschaft gibt den Port Ihrer HDFS -Installation an.

Datentyp

string

Standardwert

50070

Hinweise

Diese Eigenschaft gibt den Port Ihrer HDFS -Installation an.

Benutzer

Der Benutzername zur Anmeldung beim HDFS -Server.

Datentyp

string

Standardwert

""

Hinweise

Der Benutzername für die Anmeldung beim HDFS -Server. Wenn AuthScheme=None, wird er als authentifizierter Benutzer verwendet. Wenn AuthScheme=Negotiate, wird er bei der Kerberos-Authentifizierung als Client-Principal verwendet.

Passwort

Das zur Authentifizierung beim HDFS -Server verwendete Kennwort. Wird nur verwendet, wenn die Kerberos-Authentifizierung ausgewählt ist.

Datentyp

string

Standardwert

""

Hinweise

Das zur Authentifizierung beim HDFS -Server verwendete Kennwort. Wird nur verwendet, wenn die Kerberos-Authentifizierung ausgewählt ist.

Zugriffstoken

Das HDFS Zugriffstoken.

Datentyp

string

Standardwert

""

Hinweise

Der HDFS Zugriffstoken, der zur Authentifizierung der Anforderungen verwendet wird.

Verwenden Sie SSL

Dieses Feld legt fest, ob SSL aktiviert ist.

Datentyp

bool

Standardwert

false

Hinweise

Dieses Feld legt fest, ob der Connector versucht, TLS/SSL-Verbindungen mit dem Server auszuhandeln. Standardmäßig prüft der Connector das Zertifikat des Servers anhand des vertrauenswürdigen Zertifikatspeichers des Systems. Um ein anderes Zertifikat anzugeben, legen Sie SSLServerCert fest.

Verbindung

Dieser Abschnitt enthält eine vollständige Liste der Verbindungseigenschaften, die Sie konfigurieren können.

Weg

Diese Eigenschaft gibt den HDFS Pfad an, der als Arbeitsverzeichnis verwendet wird.

Datentyp

string

Standardwert

""

Hinweise

Diese Eigenschaft gibt den HDFS Pfad an, der als Arbeitsverzeichnis verwendet wird. Wird in den Ansichten „Dateien“ und „Berechtigungen“ verwendet.

Verzeichnisabruftiefe

Beschränken Sie die rekursiv gescannten Unterordner.

Datentyp

int

Standardwert

-1

Hinweise

DirectoryRetrievalDepth gibt an, wie viele Unterordner rekursiv gescannt werden, bevor der Vorgang beendet wird. -1 gibt an, dass alle Unterordner gescannt werden. 0 gibt an, dass nur der aktuelle Ordner nach Elementen gescannt wird.

Kerberos

Dieser Abschnitt enthält eine vollständige Liste der Kerberos-Eigenschaften, die Sie konfigurieren können.

KerberosKDC

Der Kerberos Key Distribution Center (KDC)-Dienst, der zur Authentifizierung des Benutzers verwendet wird.

Datentyp

string

Standardwert

""

Hinweise

Die Kerberos-Eigenschaften werden bei Verwendung von SPNEGO oder Windows Authentifizierung verwendet. Der Connector fordert Sitzungstickets und temporäre Sitzungsschlüssel vom Kerberos-KDC-Dienst an. Der Kerberos-KDC-Dienst befindet sich üblicherweise am selben Standort wie der Domänencontroller.

Wenn Kerberos KDC nicht angegeben ist, versucht der Connector, diese Eigenschaften automatisch an den folgenden Standorten zu erkennen:

• KRB5 Config File (krb5.ini/krb5.conf): Wenn die Umfeld KRB5_CONFIG gesetzt ist und die Datei existiert, ruft der Connector den KDC aus der angegebenen Datei ab. Andernfalls versucht er, basierend auf dem Operationssystem vom Standard-MIT-Speicherort zu lesen: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) oder /etc/krb5.conf (Linux).
• Java System Properties: Verwenden der Systemeigenschaften java.security.krb5.realm Und java.security.krb5.kdc.
• Domain Name and Host: Wenn Kerberos Realm und Kerberos KDC nicht von einem anderen Standort abgeleitet werden konnten, leitet der Connector sie vom konfigurierten Domänennamen und Host ab.

KerberosRealm

Der Kerberos-Bereich, der zur Authentifizierung des Benutzers verwendet wird.

Datentyp

string

Standardwert

""

Hinweise

Die Kerberos-Eigenschaften werden bei Verwendung von SPNEGO oder Windows-Authentifizierung verwendet. Der Kerberos-Bereich wird verwendet, um den Benutzer mit dem Kerberos Key Distribution Service (KDC) zu authentifizieren. Der Kerberos-Bereich kann von einem Administrator als beliebige Zeichenfolge konfiguriert werden, basiert jedoch üblicherweise auf dem Domänennamen.

Wenn kein Kerberos-Bereich angegeben ist, versucht der Connector, diese Eigenschaften automatisch an den folgenden Standorten zu erkennen:

• KRB5 Config File (krb5.ini/krb5.conf): Wenn die Umfeld KRB5_CONFIG gesetzt ist und die Datei existiert, erhält der Connector den Standardbereich aus der angegebenen Datei. Andernfalls versucht er, basierend auf dem Operationssystem vom MIT-Standardspeicherort zu lesen: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) oder /etc/krb5.conf (Linux)
• Java System Properties: Verwenden der Systemeigenschaften java.security.krb5.realm Und java.security.krb5.kdc.
• Domain Name and Host: Wenn der Kerberos-Realm und der Kerberos-KDC nicht von einem anderen Standort abgeleitet werden konnten, leitet der Connector sie vom benutzerkonfigurierten Domänennamen und Host ab. Dies kann in einigen Windows Umgebungen funktionieren.

KerberosSPN

Der Service Principal Name (SPN) für den Kerberos-Domänencontroller.

Datentyp

string

Standardwert

""

Hinweise

Wenn der SPN auf dem Kerberos-Domänencontroller nicht mit der URL übereinstimmt, bei der Sie sich authentifizieren, verwenden Sie diese Eigenschaft, um den SPN festzulegen.

KerberosKeytabFile

Die Keytab-Datei, die Ihre Paare aus Kerberos-Prinzipalen und verschlüsselten Schlüsseln enthält.

Datentyp

string

Standardwert

""

Hinweise

Die Keytab-Datei, die Ihre Paare aus Kerberos-Prinzipalen und verschlüsselten Schlüsseln enthält.

KerberosServiceRealm

Der Kerberos-Bereich des Dienstes.

Datentyp

string

Standardwert

""

Hinweise

Der KerberosServiceRealm ist die Angabe des Service-Kerberos-Realms bei Verwendung einer Cross-Realm-Kerberos-Authentifizierung.

In den meisten Fällen werden ein einzelner Realm und eine KDC-Maschine zur Durchführung der Kerberos-Authentifizierung verwendet und diese Eigenschaft ist nicht erforderlich.

Diese Eigenschaft ist für komplexe Setups verfügbar, bei denen ein anderer Realm und eine andere KDC-Maschine zum Abrufen eines Authentifizierungstickets (AS-Anforderung) und eines Servicetickets (TGS-Anforderung) verwendet werden.

KerberosServiceKDC

Der Kerberos-KDC des Dienstes.

Datentyp

string

Standardwert

""

Hinweise

Der KerberosServiceKDC wird verwendet, um den Dienst Kerberos KDC anzugeben, wenn eine bereichsübergreifende Kerberos-Authentifizierung verwendet wird.

In den meisten Fällen werden ein einzelner Bereich und eine KDC-Maschine verwendet, um die Kerberos-Authentifizierung durchzuführen, und diese Eigenschaft ist nicht erforderlich.

Diese Eigenschaft ist für komplexe Setups verfügbar, bei denen ein anderer Bereich und eine andere KDC-Maschine verwendet werden, um ein Authentifizierungsticket (AS-Anforderung) und ein Dienstticket (TGS-Anforderung) zu erhalten.

KerberosTicketCache

Der vollständige Dateipfad zu einer MIT Kerberos-Anmeldeinformations-Cachedatei.

Datentyp

string

Standardwert

""

Hinweise

Diese Eigenschaft kann festgelegt werden, wenn Sie eine Anmeldeinformations-Cachedatei verwenden möchten, die mit dem MIT Kerberos Ticket Manager oder dem Befehl kinit erstellt wurde.

SSL

Dieser Abschnitt enthält eine vollständige Liste der SSL-Eigenschaften, die Sie konfigurieren können.

SSLServerCert

Das vom Server zu akzeptierende Zertifikat bei einer Verbindung über TLS/SSL.

Datentyp

string

Standardwert

""

Hinweise

Bei Verwendung einer TLS/SSL-Verbindung kann diese Eigenschaft verwendet werden, um das vom Server zu akzeptierende TLS/SSL-Zertifikat anzugeben. Jedes andere Zertifikat, dem der Computer nicht vertraut, wird abgelehnt.

Diese Eigenschaft kann folgende Formen annehmen:

Wenn nicht angegeben, wird jedes vom Computer vertrauenswürdige Zertifikat akzeptiert.

Zertifikate werden vom Computer basierend auf dem Trust Store des Systems als vertrauenswürdig validiert. Der verwendete Trust Store ist der für das System angegebene Wert „javax.net.ssl.trustStore“. Wenn für diese Eigenschaft kein Wert angegeben ist, wird der Standard-Trust Store von Java verwendet (z. B. JAVA_HOME\lib\security\cacerts).

Verwenden Sie „*“, um anzugeben, dass alle Zertifikate akzeptiert werden. Beachten Sie, dass dies aus Sicherheitsgründen nicht empfohlen wird.

Schema

Dieser Abschnitt enthält eine vollständige Liste der Schema, die Sie konfigurieren können.

Standort

Ein Pfad zum Verzeichnis, das die Schema enthält, die Tabellen, Ansichten und gespeicherte Prozeduren definieren.

Datentyp

string

Standardwert

%APPDATA%\HDFS Data Provider\Schema

Hinweise

Der Pfad zu einem Verzeichnis, das die Schema für den Connector enthält (.rsd-Dateien für Tabellen und Ansichten, .rsb-Dateien für gespeicherte Prozeduren). Der Ordnerspeicherort kann ein relativer Pfad vom Speicherort der ausführbaren Datei sein. Der Location Die Eigenschaft wird nur benötigt, wenn Sie Definitionen anpassen (z. B. einen Spaltennamen ändern, eine Spalte ignorieren usw.) oder das Datenmodell mit neuen Tabellen, Ansichten oder gespeicherten Prozeduren erweitern möchten.

Wenn nichts angegeben wird, ist der Standardspeicherort "%APPDATA%\ HDFS Data Provider\Schema" mit %APPDATA% wird auf das Konfigurationsverzeichnis des Benutzers eingestellt:

DurchsuchbareSchemas

Diese Eigenschaft beschränkt die gemeldeten Schemata auf eine Teilmenge der verfügbaren Schemata. Beispiel: BrowsableSchemas=SchemaA,SchemaB,SchemaC.

Datentyp

string

Standardwert

""

Hinweise

Das Auflisten der Schemata aus Datenbanken kann aufwändig sein. Die Bereitstellung einer Liste von Schemata in der Verbindungszeichenfolge verbessert die Leistung.

Tabellen

Diese Eigenschaft beschränkt die gemeldeten Tabellen auf eine Teilmenge der verfügbaren Tabellen. Beispiel: Tabellen=TabelleA,TabelleB,TabelleC.

Datentyp

string

Standardwert

""

Hinweise

Das Auflisten der Tabellen aus einigen Datenbanken kann teuer sein. Die Bereitstellung einer Liste von Tabellen in der Verbindungszeichenfolge verbessert die Leistung des Connectors.

Diese Eigenschaft kann auch als Alternative zum automatischen Auflisten von Ansichten verwendet werden, wenn Sie bereits wissen, mit welchen Sie arbeiten möchten, und es sonst zu viele wären.

Geben Sie die gewünschten Tabellen in einer durch Kommas getrennten Liste an. Jede Tabelle sollte ein gültiger SQL-Bezeichner sein, wobei alle Sonderzeichen mit eckigen Klammern, Anführungszeichen oder Backticks maskiert werden. Beispiel: Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space`.

Beachten Sie, dass Sie beim Herstellen einer Verbindung zu einer Datenquelle mit mehreren Schemata oder Katalogen den vollqualifizierten Namen der Tabelle in dieser Eigenschaft angeben müssen, wie im letzten Beispiel hier, um Mehrdeutigkeiten zwischen Tabellen zu vermeiden, die in mehreren Katalogen oder Schemata vorhanden sind.

Ansichten

Beschränkt die gemeldeten Ansichten auf eine Teilmenge der verfügbaren Tabellen. Beispiel: Ansichten=AnsichtA,AnsichtB,AnsichtC.

Datentyp

string

Standardwert

""

Hinweise

Das Auflisten der Ansichten aus einigen Datenbanken kann teuer sein. Die Bereitstellung einer Liste von Ansichten in der Verbindungszeichenfolge verbessert die Leistung des Connectors.

Diese Eigenschaft kann auch als Alternative zum automatischen Auflisten von Ansichten verwendet werden, wenn Sie bereits wissen, mit welchen Sie arbeiten möchten, und es sonst zu viele wären.

Geben Sie die gewünschten Ansichten in einer durch Kommas getrennten Liste an. Jede Ansicht sollte ein gültiger SQL-Bezeichner sein, wobei alle Sonderzeichen mit eckigen Klammern, Anführungszeichen oder Backticks maskiert werden. Beispiel: Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space`.

Beachten Sie, dass Sie beim Herstellen einer Verbindung zu einer Datenquelle mit mehreren Schemata oder Katalogen den vollqualifizierten Namen der Tabelle in dieser Eigenschaft angeben müssen, wie im letzten Beispiel hier, um Mehrdeutigkeiten zwischen Tabellen zu vermeiden, die in mehreren Katalogen oder Schemata vorhanden sind.

Verschiedenes

Dieser Abschnitt enthält eine vollständige Liste verschiedener Eigenschaften, die Sie konfigurieren können.

MaxRows

Begrenzt die Anzahl der zurückgegebenen Zeilen, wenn in der Abfrage keine Aggregation oder GROUP BY verwendet wird. Dies hat Vorrang vor LIMIT-Klauseln.

Datentyp

int

Standardwert

-1

Hinweise

Begrenzt die Anzahl der zurückgegebenen Zeilen, wenn in der Abfrage keine Aggregation oder GROUP BY verwendet wird. Dies hat Vorrang vor LIMIT-Klauseln.

Andere

Diese versteckten Eigenschaften werden nur in bestimmten Anwendungsfällen verwendet.

Datentyp

string

Standardwert

""

Hinweise

Die unten aufgeführten Eigenschaften sind für bestimmte Anwendungsfälle verfügbar. Für normale Anwendungsfälle und Funktionen von Treiber sollten diese Eigenschaften nicht erforderlich sein.

Geben Sie mehrere Eigenschaften in einer durch Semikolon getrennten Liste an.

Integration und Formatierung

Pseudospalten

Diese Eigenschaft gibt an, ob Pseudospalten als Spalten in die Tabelle aufgenommen werden sollen oder nicht.

Datentyp

string

Standardwert

""

Hinweise

Diese Einstellung ist besonders hilfreich im Entity Framework, da Sie dort keinen Wert für eine Pseudospalte festlegen können, es sei denn, es handelt sich um eine Tabellenspalte. Der Wert dieser Verbindungseinstellung hat das Format „Tabelle1=Spalte1, Tabelle1=Spalte2, Tabelle2=Spalte3“. Sie können das Zeichen „*“ verwenden, um alle Tabellen und alle Spalten einzuschließen, z. B. „*=*“.

Zeitüberschreitung

Der Wert in Sekunden, bis der Timeout-Fehler auftritt und der Operation abgebrochen wird.

Datentyp

int

Standardwert

60

Hinweise

Wenn Timeout = 0, Operationen werden nicht abgebrochen. Die Operationen werden ausgeführt, bis sie erfolgreich abgeschlossen sind oder bis ein Fehler auftritt.

Wenn Timeout abläuft und der Operation noch nicht abgeschlossen ist, löst der Connector eine Ausnahme aus.

BenutzerdefinierteAnsichten

Ein Dateipfad, der auf die JSON-Konfigurationsdatei verweist, die Ihre benutzerdefinierten Ansichten enthält.

Datentyp

string

Standardwert

""

Hinweise

Benutzerdefinierte Ansichten werden in einer JSON-formatierten Konfigurationsdatei namens UserDefinedViews.json. Der Connector erkennt die in dieser Datei angegebenen Ansichten automatisch.

Sie können auch mehrere Ansichtsdefinitionen haben und diese mit steuern UserDefinedViews Verbindungseigenschaft. Wenn Sie diese Eigenschaft verwenden, werden vom Connector nur die angegebenen Ansichten angezeigt.

Diese Konfigurationsdatei für benutzerdefinierte Ansichten ist wie folgt formatiert:

• Jedes Stammelement definiert den Namen einer Ansicht.
• Jedes Stammelement enthält ein untergeordnetes Element namens query, das die benutzerdefinierte SQL- Abfrage für die Ansicht enthält.

Zum Beispiel:

{
    "MyView": {
        "query": "SELECT * FROM Files WHERE MyColumn = 'value'"
    },
    "MyView2": {
        "query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
    }
}

Verwenden Sie UserDefinedViews Verbindungseigenschaft, um den Speicherort Ihrer JSON-Konfigurationsdatei anzugeben. Beispiel:

"UserDefinedViews", C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json

Beachten Sie, dass der angegebene Pfad nicht in Anführungszeichen steht.