Detalles de Conexión de Azure Data Lake Storage

Introducción

Versión del conector

Esta documentación se basa en la versión 21.0.8257 del conector.

Empezando

Compatibilidad con la versión de Azure Data Lake Storage

El conector aprovecha la API de Azure Data Lake Storage para habilitar el acceso bidireccional a Azure Data Lake Storage.

Transmisión de Datos de Azure Data Lake Storage

El Jitterbit Connector para Azure Data Lake Storage está diseñado para navegar por Azure Data Lake Storage metadata solo. Una variedad de procedimientos almacenados* relevantes para los datos de Azure Data Lake Storage también son compatibles.

Estos metadatos suelen incluir detalles sobre objetos almacenados, como nombres de archivos y carpetas, y excluyen el contenido real de los archivos detectables.

Si se necesita acceso tanto a los metadatos del archivo como al contenido real del archivo, se debe usar Jitterbit Connector para Azure Data Lake Storage junto con los controlador de transmisión de archivos asociados para los tipos de archivos almacenados en Azure Data Lake Storage.

Los siguientes controladores de transmisión de archivos están disponibles:

• Avro
• CSV
• Excel
• JSON
• Parquet
• DESCANSAR
• XML

Consulte la documentación del controlador de transmisión de archivos relevante para obtener una guía de configuración para conectarse a archivos almacenados en Azure Data Lake Storage.

Establecer una Conexión

Conexión a Azure DataLakeStorage Gen 1

Para conectarse a una cuenta Gen 1 DataLakeStorage, primero debe establecer las siguientes propiedades:

• Schema: Establézcalo en ADLSGen1.
• Account: establezca esto en el nombre de la cuenta.
• AzureTenant: Establézcalo en el Id. de arrendatario. Consulte la propiedad para obtener más información sobre cómo adquirirla.
• Directory: (Opcional) Configure esto en la ruta que se usará para almacenar el archivo replicado. Si no se especifica, se utilizará el directorio raíz.

Autenticación en Azure DataLakeStorage Gen 1

Gen 1 admite los siguientes métodos de autenticación: Azure Active Directory OAuth (AzureAD) e identidad de servicio administrado (AzureMSI).

Autenticación Mediante Azure AD

Azure AD es un tipo de conexión que pasa por OAuth. Establecer su AuthScheme a AzureAD y consulte Uso de la autenticación OAuth para obtener una guía de autenticación.

Autenticación Mediante Microsoft Entra service principal

Azure Service Principal es un tipo de conexión que pasa por OAuth. Establecer su AuthScheme a AzureServicePrincipal y consulte Uso de la autenticación principal de servicio de Azure para obtener una guía de autenticación.

Autenticación Mediante Autenticación MSI

Si ejecuta Azure Data Lake Storage en una máquina virtual de Azure, puede aprovechar las credenciales de Managed Service Identity (MSI) para conectarse:

• AuthScheme: Establézcalo en AzureMSI.

Las credenciales de MSI se obtendrán automáticamente para la autenticación.

Conexión a Azure DataLakeStorage Gen 2

Para conectarse a una cuenta Gen 2 DataLakeStorage, primero debe configurar las siguientes propiedades:

• Schema: Establézcalo en ADLSGen2.
• Account: establezca esto en el nombre de la cuenta de almacenamiento.
• FileSystem: establezca esto en el nombre del sistema de archivos que se usará para esta cuenta. Por ejemplo, el nombre de un Azure Blob Container
• Directory: (Opcional) Configure esto en la ruta que se usará para almacenar el archivo replicado. Si no se especifica, se utilizará el directorio raíz.

Autenticación en Azure DataLakeStorage Gen 2

Gen 2 admite los siguientes métodos de autenticación: mediante una clave de acceso, mediante una firma de acceso compartido, OAuth de Azure Active Directory (AzureAD), identidad de servicio administrado (AzureMSI).

Autenticación Mediante una Clave de Acceso

Para conectarse usando una firma de acceso compartido, establezca AccessKey propiedad y el AuthScheme a AccessKey.

Puede obtener una clave de acceso para la cuenta de almacenamiento de ADLS Gen2 mediante Azure Portal:

1. Vaya a su cuenta de almacenamiento ADLS Gen2 en Azure Portal.
2. En Configuración, seleccione Teclas de acceso.
3. Copie el valor de una de las claves de acceso disponibles en AccessKey propiedad de conexión.

Autenticación Mediante una Firma de Acceso Compartido (sas)

Para conectarse usando una firma de acceso compartido, establezca SharedAccessSignature propiedad a una firma válida de un recurso para conectarse y AuthScheme a SAS. El SharedAccessSignature puede generarse con una herramienta como Azure Storage Explorer.

Autenticación Mediante Azure AD

Azure AD es un tipo de conexión que pasa por OAuth. Establecer su AuthScheme a AzureAD y consulte Uso de la autenticación OAuth para obtener una guía de autenticación.

Autenticación Mediante Microsoft Entra service principal

Azure Service Principal es un tipo de conexión que pasa por OAuth. Establecer su AuthScheme a AzureServicePrincipal y consulte Uso de la autenticación principal de servicio de Azure para obtener una guía de autenticación.

Autenticación Mediante Autenticación MSI

Si ejecuta Azure Data Lake Storage en una máquina virtual de Azure, puede aprovechar las credenciales de Managed Service Identity (MSI) para conectarse:

• AuthScheme: Establézcalo en AzureMSI.

Las credenciales de MSI se obtendrán automáticamente para la autenticación.

Uso de la Autenticación OAuth

OAuth requiere que el usuario que se autentica interactúe con Azure Data Lake Storage mediante el explorador. El conector facilita esto de varias maneras, como se describe a continuación.

Credenciales Integradas

Consulte Credenciales integradas para conectarse con las credenciales incrustadas del conector y omitir la creación de una aplicación OAuth personalizada.

Credenciales Personalizadas

En lugar de conectarse con las credenciales integradas del conector, puede registrar una aplicación con Credenciales personalizadas para obtener el OAuthClientId y OAuthClientSecret.

Cuándo Crear una Aplicación OAuth Personalizada

La creación de una aplicación OAuth personalizada es opcional, ya que el conector ya está registrado con Azure Data Lake Storage y puede conectarse con sus credenciales incrustadas. Es posible que desee crear una aplicación de OAuth personalizada para cambiar la información que se muestra cuando los usuarios inician sesión en el extremo de OAuth de Azure Data Lake Storage para otorgar permisos al conector.

Creación de una Aplicación OAuth Personalizada

Consulte Crear una aplicación OAuth personalizada para un procedimiento.

Credenciales Integradas

Autenticarse con las Credenciales de OAuth Integradas

Autenticación de Escritorio con la Aplicación OAuth Integrada

Puede conectarse sin configurar ninguna propiedad de conexión para sus credenciales de usuario.

Cuando se conecta, el conector abre el extremo de OAuth en su navegador predeterminado. Inicie sesión y otorgue permisos a la aplicación. Luego, el conector completa el proceso de OAuth.

1. Extrae el token de acceso de la URL de devolución de llamada y autentica las solicitudes.
2. Obtiene un nuevo token de acceso cuando caduca el anterior.
3. Guarda los valores de OAuth en OAuthSettingsLocation para persistir a través de las conexiones.

Credenciales Personalizadas

Hay dos tipos de autenticación de aplicaciones disponibles: usar un secreto de cliente y usar un certificado. Puede usar cualquiera de ellos dependiendo de la autenticación de la aplicación configurada.

Autenticación de Escritorio con Su Aplicación OAuth

Siga los pasos a continuación para autenticarse con las credenciales de una aplicación OAuth personalizada. Consulte Crear una aplicación OAuth personalizada.

Obtenga un Token de Acceso OAuth

Está listo para conectarse después de configurar uno de los siguientes grupos de propiedades de conexión según el tipo de autenticación.

1. Authenticating using a Client Secret
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthClientSecret: establezca esto en el secreto del cliente en la configuración de su aplicación.
   • CallbackURL: establezca esto en la URL de redireccionamiento en la configuración de su aplicación.
   • AuthScheme: establezca esto en "AzureAD" en la configuración de su aplicación.
   • InitiateOAuth: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken..
2. Authenticating using a Certificate
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthJWTCert: establezca esto en el almacén de certificados JWT.
   • OAuthJWTCertType: establezca esto en el tipo de almacén de certificados especificado por OAuthJWTCert.
   • CallbackURL: establezca esto en la URL de redireccionamiento en la configuración de su aplicación.
   • AuthScheme: establezca esto en "AzureAD" en la configuración de su aplicación.
   • InitiateOAuth: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken..

Cuando se conecta, el conector abre el extremo de OAuth en su navegador predeterminado. Inicie sesión y otorgue permisos a la aplicación. Luego, el conector completa el proceso de OAuth:

1. Extrae el token de acceso de la URL de devolución de llamada y autentica las solicitudes.
2. Obtiene un nuevo token de acceso cuando caduca el anterior.
3. Guarda los valores de OAuth en OAuthSettingsLocation para persistir a través de las conexiones.

Máquinas Sin Cabeza

Uso de OAuth en una Máquina Sin Cabeza

Para crear orígenes de datos de Azure Data Lake Storage en servidores autónomos u otras máquinas en las que el conector no puede abrir un explorador, debe autenticarse desde otra máquina. La autenticación es un proceso de dos pasos.

1. En lugar de instalar el conector en otra máquina, puede seguir los pasos a continuación para obtener el OAuthVerifier valor. O bien, puede instalar el conector en otra máquina y transferir los valores de autenticación de OAuth, después de autenticarse a través del flujo habitual basado en el navegador.
2. A continuación, puede configurar el conector para actualizar automáticamente el token de acceso desde la máquina sin periféricos.

Puede seguir el flujo de autenticación de OAuth sin cabeza usando las credenciales de OAuth integradas del conector o usando las credenciales de OAuth para su aplicación de OAuth personalizada.

Uso de las Credenciales para una Aplicación OAuth Personalizada

Cree una aplicación OAuth personalizada

Consulte Crear una aplicación OAuth personalizada para un procedimiento. Luego puede seguir los procedimientos a continuación para autenticarse y conectarse a los datos.

Obtenga un código verificador

En la máquina sin periféricos, configure uno de los siguientes grupos de propiedades según el tipo de autenticación:

1. Authenticating using a Client Secret
   • InitiateOAuth: Ajústelo a APAGADO.
   • OAuthClientId: establezca esto en la ID de la aplicación en la configuración de su aplicación.
   • OAuthClientSecret: establezca esto en el secreto de la aplicación en la configuración de su aplicación.
2. Authenticating using a Certificate
   • InitiateOAuth: Ajústelo a APAGADO.
   • OAuthClientId: establezca esto en la ID de la aplicación en la configuración de su aplicación.
   • OAuthJWTCert: establezca esto en el almacén de certificados JWT.
   • OAuthJWTCertType: establezca esto en el tipo de almacén de certificados especificado por OAuthJWTCert.

Luego puede seguir los pasos a continuación para autenticarse desde otra máquina y obtener el OAuthVerifier propiedad de conexión.

1. Llame a GetOAuthAuthorizationURL procedimiento almacenado* con el parámetro de entrada CallbackURL establecido en el URI de redirección exacto que especificó en la configuración de su aplicación.
2. Abra la URL devuelta en un navegador. Inicie sesión y otorgue permisos al conector. A continuación, se le redirigirá a la URL de devolución de llamada. La página web indicará que no se pudo acceder al sitio.
3. Inspeccione la URL de la página de este sitio y busque code valor. Estará presente en la URL en la forma code=XXXXXX (terminado con &, que denota el siguiente parámetro de URL) El valor después de "code=" es el código verificador.
4. Guarde el valor del código verificador. Establecerá esto en el OAuthVerifier propiedad de conexión.

En la máquina sin periféricos, configure uno de los siguientes grupos de propiedades de conexión según el tipo de autenticación para obtener los valores de autenticación de OAuth:

• OAuthClientId: establezca esto en la clave de consumidor en la configuración de su aplicación.
• OAuthClientSecret: establezca esto en el secreto del consumidor en la configuración de su aplicación.
• OAuthVerifier: Establézcalo en el código del verificador.
• OAuthSettingsLocation: configure esto para conservar los valores de autenticación OAuth cifrados en el archivo especificado.
• InitiateOAuth: Establézcalo en ACTUALIZAR.

Conectarse a datos

Después de generar el archivo de configuración de OAuth, configure las siguientes propiedades para conectarse a los datos:

• OAuthSettingsLocation: Establézcalo en el archivo que contiene los valores de autenticación de OAuth cifrados. Asegúrese de que este archivo otorgue permisos de lectura y escritura al proveedor para habilitar la actualización automática del token de acceso.
• InitiateOAuth: Establézcalo en ACTUALIZAR.

Transferir configuración de OAuth

Siga los pasos a continuación para instalar el conector en otra máquina, autenticar y luego transferir los valores de OAuth resultantes.

En una segunda máquina, instale el conector y conéctese con uno de los siguientes grupos de propiedades según el tipo de autenticación:

1. Authenticating using a Client Secret
   • OAuthSettingsLocation: establezca esto en un archivo de texto grabable.
   • InitiateOAuth: Establézcalo en GETANDREFRESH.
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthClientSecret: establezca esto en el secreto del cliente en la configuración de su aplicación.
   • CallbackURL: establezca esto en la URL de devolución de llamada en la configuración de su aplicación.
2. Authenticating using a Certificate
   • OAuthSettingsLocation: establezca esto en un archivo de texto grabable.
   • InitiateOAuth: Establézcalo en GETANDREFRESH.
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthJWTCert: establezca esto en el almacén de certificados JWT.
   • OAuthJWTCertType: establezca esto en el tipo de almacén de certificados especificado por OAuthJWTCert.
   • CallbackURL: establezca esto en la URL de devolución de llamada en la configuración de su aplicación.

Pruebe la conexión para autenticarse. Los valores de autenticación resultantes se escriben, se cifran, en la ruta especificada por OAuthSettingsLocation. Una vez que haya probado con éxito la conexión, copie el archivo de configuración de OAuth en su máquina sin periféricos. En la máquina sin periféricos, configure las siguientes propiedades de conexión para conectarse a los datos:

• InitiateOAuth: Establézcalo en ACTUALIZAR.
• OAuthSettingsLocation: establezca esto en la ruta a su archivo de configuración de OAuth. Asegúrese de que este archivo otorgue permisos de lectura y escritura al conector para habilitar la actualización automática del token de acceso.

Creación de una Aplicación OAuth Personalizada

Cuándo Crear una Aplicación OAuth Personalizada

La creación de una aplicación OAuth personalizada es opcional, ya que el conector ya está registrado con Azure Data Lake Storage y puede conectarse con sus credenciales incrustadas.

Es posible que desee crear una aplicación de OAuth personalizada para cambiar la información que se muestra cuando los usuarios inician sesión en el extremo de OAuth de Azure Data Lake Storage para otorgar permisos al conector.

Siga los pasos a continuación para crear una aplicación OAuth personalizada y obtener las propiedades de conexión en un flujo de autenticación OAuth específico.

Pasos para Crear una Aplicación OAuth Personalizada

Siga los pasos a continuación para obtener los valores de OAuth para su aplicación, el OAuthClientId y OAuthClientSecret.

1. Inicie sesión en https://portal.azure.com.
2. En el panel de navegación de la izquierda, seleccione Azure Active Directory, luego Registros de aplicaciones y haga clic en el botón Nuevo registro.
3. Ingrese un nombre de aplicación y configure el botón de opción para la configuración de inquilino deseada. Al crear una aplicación OAuth personalizada en Azure Active Directory, puede definir si la aplicación es de un solo inquilino o de varios inquilinos. Si selecciona la opción predeterminada de "Cuentas solo en este directorio organizacional", deberá configurar AzureTenant propiedad de conexión al ID del arrendatario de Azure AD al establecer una conexión con Jitterbit Connector para Azure Data Lake Storage. De lo contrario, el intento de autenticación fallará con un error. Si su aplicación es solo para uso privado, "Solo cuentas en el directorio de esta organización" debería ser suficiente. De lo contrario, si desea distribuir su aplicación, elija una de las opciones de múltiples inquilinos.
4. Luego configure la URL de redireccionamiento a algo como http://localhost:33333, el valor predeterminado del conector. O configure un puerto diferente de su elección y configure CallbackURL a la URL de respuesta exacta que definiste.
5. Defina el tipo de autenticación de la aplicación en la sección Certificados y secretos. Hay dos tipos de autenticación disponibles: usando un secreto de cliente y usando un certificado. El método de autenticación recomendado es a través de un certificado, pero también puede crear un secreto de aplicación.
   • Option 1 - Upload a certificate: En la sección Certificados y secretos, seleccione Cargar certificado y seleccione el certificado para cargar desde su máquina local.
   • Option 2 - Create a new application secret: En la sección Certificados y secretos, seleccione Nuevo secreto de cliente para la aplicación y seleccione su duración. Después de guardar el secreto del cliente, se muestra el valor de la clave. Copie este valor ya que se muestra solo una vez y se usa como OAuthClientSecret.
6. Seleccione Permisos de API y luego haga clic en Agregar. Si planea que su aplicación se conecte sin un contexto de usuario, seleccione los Permisos de la aplicación (OAuthGrantType = CLIENTE). De lo contrario, al seleccionar permisos, utilice los permisos Delegados.
7. Seleccione ' API de administración de servicios de Windows Azure ' junto con ' Azure Data Lake' y agregue Have full access to the Azure Data Lake service permiso.
8. Guarde sus cambios.
9. Si ha seleccionado usar permisos que requieren el consentimiento del administrador (como los Permisos de la aplicación), puede otorgarlos desde el arrendatario actual en la página Permisos de la API. De lo contrario, siga los pasos en Consentimiento del administrador.

Consentimiento del Administrador

El consentimiento del administrador se refiere a cuando el administrador de un arrendatario de Azure Active Directory otorga permisos a una aplicación que requiere que un administrador dé su consentimiento para el caso de uso. La aplicación integrada dentro de Jitterbit Connector para Azure Data Lake Storage no contiene permisos que requieran el consentimiento del administrador. Por lo tanto, esta información se aplica solo a las aplicaciones personalizadas.

Permisos de Consentimiento del Administrador

Al crear una nueva aplicación de OAuth en Azure Portal, debe especificar qué permisos requerirá la aplicación. Algunos permisos pueden estar marcados como "Consentimiento del administrador requerido". Por ejemplo, todos los permisos de Grupos requieren el consentimiento del administrador. Si su aplicación requiere el consentimiento del administrador, hay varias formas de hacerlo.

La forma más fácil de otorgar el consentimiento del administrador es simplemente hacer que un administrador inicie sesión en portal.azure.com y navegue hasta la aplicación que ha creado en Registros de aplicaciones. En Permisos de API, habrá un botón para Otorgar consentimiento. Puede dar su consentimiento aquí para que su aplicación tenga permisos en el arrendatario bajo el que se creó.

Si su organización tiene varios inquilinos o es necesario otorgar permisos a la aplicación para otros inquilinos fuera de su organización, GetAdminConsentURL se puede utilizar para generar la URL de autorización del administrador. A diferencia de GetOAuthAuthorizationURL, no se devolverá información importante desde este extremo. Si otorga acceso, simplemente devolverá un valor booleano que indica que se otorgaron los permisos.

Una vez que un administrador otorga el consentimiento, la autenticación se puede realizar normalmente.

Credenciales del Cliente

Las credenciales del cliente hacen referencia a un flujo en OAuth en el que no se lleva a cabo una autenticación directa del usuario. En cambio, las credenciales se crean solo para la aplicación en sí. Todas las tareas realizadas por la aplicación se realizan sin un contexto de usuario predeterminado. Esto hace que el flujo de autenticación sea un poco diferente al estándar.

Flujo de OAuth del Cliente

Todos los permisos relacionados con el flujo de autenticación del cliente requieren el consentimiento del administrador. Esto significa que la aplicación integrada con Jitterbit Connector para Azure Data Lake Storage no se puede usar en el flujo de autenticación del cliente. Debe crear su propia aplicación OAuth para usar las credenciales del cliente. Consulte Crear una aplicación OAuth personalizada para más detalles.

En su Registro de aplicaciones en portal.azure.com, vaya a Permisos de API y seleccione los permisos de Microsoft Graph. Hay dos conjuntos distintos de permisos: permisos delegados y de aplicación. Los permisos utilizados durante la autenticación de credenciales del cliente se encuentran en Permisos de la aplicación. Seleccione los permisos aplicables que necesita para su integración.

Está listo para conectarse después de configurar uno de los siguientes grupos de propiedades de conexión según el tipo de autenticación.

1. Authenticating using a Client Secret
   • InitiateOAuth: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken.
   • AzureTenant: Configure esto para el arrendatario al que desea conectarse.
   • OAuthGrantType: Establézcalo en CLIENTE.
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthClientSecret: establezca esto en el secreto del cliente en la configuración de su aplicación.
2. Authenticating using a Certificate
   • InitiateOAuth: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken.
   • AzureTenant: Configure esto para el arrendatario al que desea conectarse.
   • OAuthGrantType: Establézcalo en CLIENTE.
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthJWTCert: establezca esto en el almacén de certificados JWT.
   • OAuthJWTCertType: establezca esto en el tipo de almacén de certificados especificado por OAuthJWTCert.

La autenticación con las credenciales del cliente se realizará automáticamente como cualquier otra conexión, excepto que no se abrirá ninguna ventana que pregunte al usuario. Debido a que no hay un contexto de usuario, no hay necesidad de una ventana emergente en el navegador. Las conexiones se llevarán a cabo y se manejarán internamente.

Uso de la Autenticación Principal de Servicio de Azure

La autenticación como entidad principal de servicio de Azure se gestiona a través del flujo de credenciales de cliente de OAuth y no implica la autenticación directa del usuario. En cambio, las credenciales se crean solo para la aplicación en sí. Todas las tareas realizadas por la aplicación se realizan sin un contexto de usuario predeterminado, pero en función de los roles asignados. El acceso de la aplicación a los recursos se controla a través de los permisos de los roles asignados.

Credenciales Personalizadas

Deberá registrar una aplicación de OAuth para obtener los valores de propiedad de OAuth antes de conectarse al origen de datos de Azure Data Lake Storage. Puede comprobar las Credenciales personalizadas guía sobre cómo configurar las propiedades de OAuth.

Creación de una Aplicación OAuth Personalizada

Consulte Crear una aplicación OAuth personalizada para un procedimiento.

Creación de una Aplicación OAuth Personalizada

Es necesario crear una aplicación de OAuth personalizada y una entidad de servicio que pueda acceder a los recursos necesarios cuando se autentica mediante una entidad de servicio de Azure.

Siga los pasos a continuación para crear una aplicación OAuth personalizada y obtener las propiedades de conexión para la autenticación de la entidad de servicio de Azure.

Pasos para Crear una Aplicación OAuth Personalizada

Siga los pasos a continuación para obtener los valores de OAuth para su aplicación.

1. Inicie sesión en <https://portal.azure.com>.
2. En el panel de navegación de la izquierda, seleccione Azure Active Directory, luego Registros de aplicaciones y haga clic en el botón Nuevo registro.
3. Ingrese un nombre de aplicación y configure el botón de opción para "Cualquier directorio de Azure AD - Multiusuario". Luego configure la URL de redireccionamiento a algo como http://localhost:33333, el valor predeterminado del conector.
4. Copie el valor de ID de la aplicación (cliente) que se muestra en la sección Descripción general después de crear la aplicación, ya que este valor se usa como OAuthClientId
5. Defina el tipo de autenticación de la aplicación en la sección Certificados y secretos. Hay dos tipos de autenticación disponibles: usando un secreto de cliente y usando un certificado. El método de autenticación recomendado es a través de un certificado, pero también puede crear un secreto de aplicación.
   • Option 1 - Upload a certificate: En la sección Certificados y secretos, seleccione Cargar certificado y seleccione el certificado para cargar desde su máquina local.
   • Option 2 - Create a new application secret: En la sección Certificados y secretos, seleccione Nuevo secreto de cliente para la aplicación y seleccione su duración. Después de guardar el secreto del cliente, se muestra el valor de la clave. Copie este valor ya que se muestra solo una vez y se usa como OAuthClientSecret.
6. En la pestaña Autenticación, asegúrese de marcar la opción: Tokens de acceso (utilizados para flujos implícitos).
7. Abra la página Suscripciones buscando y seleccionando el servicio Suscripciones en la barra de búsqueda.
8. Seleccione la suscripción particular para asignar la aplicación, luego abra la sección Control de acceso (IAM) y haga clic en el botón Agregar asignación de rol.
9. Establezca el rol para asignar a su aplicación OAuth creada. Seleccione el rol de Propietario para el ADLSGen1 Schema y el rol de Colaborador de datos de Storage Blob para ADLSGen2 Schema. Como alternativa, también puede otorgar derechos de acceso mediante la asignación de ACL (Listas de control de acceso) a su principal de servicio.

Credenciales Personalizadas

Siga los pasos a continuación para autenticarse con las credenciales de una aplicación OAuth personalizada. Consulte Crear una aplicación OAuth personalizada.

Autenticación con Su Aplicación OAuth

Hay dos tipos de autenticación de aplicaciones disponibles: usar un secreto de cliente y usar un certificado. Puede usar cualquiera de ellos dependiendo de la autenticación de la aplicación configurada.

Obtenga un Token de Acceso OAuth

Está listo para conectarse después de configurar uno de los siguientes grupos de propiedades de conexión según el tipo de autenticación.

1. Authenticating using a Client Secret
   • AuthScheme: establezca esto en "AzureServicePrincipal" en la configuración de su aplicación.
   • InitiateOAuth: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken.
   • AzureTenant: Configure esto para el arrendatario al que desea conectarse.
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthClientSecret: establezca esto en el secreto del cliente en la configuración de su aplicación.
2. Authenticating using a Certificate
   • AuthScheme: establezca esto en "AzureServicePrincipal" en la configuración de su aplicación.
   • InitiateOAuth: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken.
   • AzureTenant: Configure esto para el arrendatario al que desea conectarse.
   • OAuthClientId: establezca esto en la ID del cliente en la configuración de su aplicación.
   • OAuthJWTCert: establezca esto en el almacén de certificados JWT.
   • OAuthJWTCertType: establezca esto en el tipo de almacén de certificados especificado por OAuthJWTCert.

Ajuste Fino del Acceso a los Datos

Ajuste Fino del Acceso a Datos

Puede usar las siguientes propiedades para obtener más control sobre los datos devueltos por Azure Data Lake Storage:

• DirectoryRetrievalDepth: Para el ADLSGen1 esquema. Especifica cuántas subcarpetas se escanearán recursivamente antes de detenerse.
• IncludeSubDirectories: Para el ADLSGen2 esquema. Si el conector debe enumerar las rutas de los subdirectorios en la vista Recursos.

Notas Importantes

Procedimientos Almacenados

• Las funciones de procedimientos almacenados descritas en esta documentación no se admiten actualmente.
• Debido a que los procedimientos almacenados no se admiten actualmente, cualquier característica que dependa de los procedimientos almacenados tampoco se admite actualmente.

Archivos de Configuración y Sus Rutas

• Todas las referencias a la adición de archivos de configuración y sus rutas se refieren a archivos y ubicaciones en Harmony Agente donde está instalado el conector. Estas rutas deben ajustarse según corresponda según el agente y el sistema operativo. Si se utilizan varios agentes en un grupo de agentes, se requerirán archivos idénticos en cada agente.

Características Avanzadas

Esta sección detalla una selección de características avanzadas del conector Azure Data Lake Storage.

Vistas definidas por el usuario

El conector le permite definir tablas virtuales, llamadas vistas definidas por el usuario, cuyo contenido se decide mediante una consultar preconfigurada. Estas vistas son útiles cuando no puede controlar directamente las consultas que se envían a los controladores. Consulte Vistas definidas por el usuario para obtener una descripción general de la creación y configuración de vistas personalizadas.

Configuración SSL

Usar Configuración SSL para ajustar cómo el conector maneja las negociaciones de certificados TLS/SSL. Puede elegir entre varios formatos de certificado; ver el SSLServerCert propiedad en "Opciones de cadena de conexión" para obtener más información.

Apoderado

Para configurar el conector mediante Configuración de proxy de Agente Privado, Selecciona el Use Proxy Settings casilla de verificación en la pantalla de configuración de la conexión.

Vistas Definidas por el Usuario

El Jitterbit Connector para Azure Data Lake Storage le permite definir una tabla virtual cuyo contenido se decide mediante una consultar preconfigurada. Estas se denominan Vistas definidas por el usuario, que son útiles en situaciones en las que no puede controlar directamente la consultar que se envía al controlador, por ejemplo, cuando se utiliza el controlador de Jitterbit. Las vistas definidas por el usuario se pueden utilizar para definir predicados que siempre se aplican. Si especifica predicados adicionales en la consultar a la vista, se combinan con la consultar ya definida como parte de la vista.

Hay dos formas de crear vistas definidas por el usuario:

• Cree un archivo de configuración con formato JSON que defina las vistas que desea.
• Declaraciones DDL.

Definición de Vistas Usando un Archivo de Configuración

Las vistas definidas por el usuario se definen en un archivo de configuración con formato JSON llamado UserDefinedViews.json. El conector detecta automáticamente las vistas especificadas en este archivo.

También puede tener múltiples definiciones de vista y controlarlas usando UserDefinedViews propiedad de conexión. Cuando utiliza esta propiedad, el conector solo ve las vistas especificadas.

Este archivo de configuración de vista definida por el usuario tiene el siguiente formato:

• Cada elemento raíz define el nombre de una vista.
• Cada elemento raíz contiene un elemento hijo, llamado query, que contiene la consultar SQL personalizada para la vista.

Por ejemplo:

{
    "MyView": {
        "query": "SELECT * FROM Resources WHERE MyColumn = 'value'"
    },
    "MyView2": {
        "query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
    }
}

Utilizar el UserDefinedViews propiedad de conexión para especificar la ubicación de su archivo de configuración JSON. Por ejemplo:

"UserDefinedViews", "C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json"

Esquema para Vistas Definidas por el Usuario

Las vistas definidas por el usuario se exponen en UserViews esquema por defecto. Esto se hace para evitar que el nombre de la vista entre en conflicto con una entidad real en el modelo de datos. Puede cambiar el nombre del esquema utilizado para UserViews configurando UserViewsSchemaName propiedad.

Trabajar con Vistas Definidas por el Usuario

Por ejemplo, una instrucción SQL con una vista definida por el usuario llamada UserViews.RCustomers solo enumera clientes en Raleigh:

SELECT * FROM Customers WHERE City = 'Raleigh';

Un ejemplo de una consultar al controlador:

SELECT * FROM UserViews.RCustomers WHERE Status = 'Active';

Dando como resultado la consultar efectiva a la fuente:

SELECT * FROM Customers WHERE City = 'Raleigh' AND Status = 'Active';

Ese es un ejemplo muy simple de una consultar a una vista definida por el usuario que es efectivamente una combinación de la consultar de vista y la definición de vista. Es posible componer estas consultas en patrones mucho más complejos. Todas las operaciones de SQL están permitidas en ambas consultas y se combinan cuando corresponde.

Configuración SSL

Personalización de la Configuración SSL

De forma predeterminada, el conector intenta negociar SSL/TLS comparando el certificado del servidor con el almacén de certificados de confianza del sistema.

Para especificar otro certificado, consulte SSLServerCert propiedad de los formatos disponibles para hacerlo.

Modelo de Datos

Descripción general

Esta sección muestra los objetos de API disponibles y proporciona más información sobre cómo ejecutar SQL en las APIs de Azure Data Lake Storage.

Características clave

• El conector modela entidades de Azure Data Lake Storage como documentos, carpetas y grupos como vistas relacionales, lo que le permite escribir SQL para consultar datos de Azure Data Lake Storage.
• Procedimientos almacenados* le permiten ejecutar operaciones en Azure Data Lake Storage.
• La conectividad en vivo a estos objetos significa que cualquier cambio en su cuenta de Azure Data Lake Storage se refleja inmediatamente cuando se usa el conector.

Puntos de vista

Puntos de vista describe las vistas disponibles. Las vistas se definen estáticamente para modelar recursos y permisos.

Procedimientos almacenados

NOTE: Los procedimientos almacenados no se admiten actualmente. Consulte la nota anterior para detalles.

Procedimientos almacenados son interfaces similares a funciones para Azure Data Lake Storage. Procedimientos almacenados* le permiten ejecutar operaciones en Azure Data Lake Storage, incluida la descarga de documentos y el movimiento de sobres.

Procesamiento colaborativo de consultas

El conector descarga la mayor parte posible del procesamiento de instrucciones SELECT en Azure Data Lake Storage y luego procesa el resto de la consultar en la memoria. Las limitaciones y requisitos de API "también se documentan en esta sección.

Ver SupportEnhancedSQL para obtener más información sobre cómo el conector elude las limitaciones de la API con el procesamiento del lado del cliente en memoria.

Modelo de Datos ADLSGen1

Descripción General

Esta sección muestra los objetos de API disponibles y proporciona más información sobre cómo ejecutar SQL en las APIs de Azure Data Lake Storage.

Características Clave

• El conector modela entidades de Azure Data Lake Storage como documentos, carpetas y grupos como vistas relacionales, lo que le permite escribir SQL para consultar datos de Azure Data Lake Storage.
• Procedimientos almacenados* le permiten ejecutar operaciones en Azure Data Lake Storage.
• La conectividad en vivo a estos objetos significa que cualquier cambio en su cuenta de Azure Data Lake Storage se refleja inmediatamente cuando se usa el conector.

Puntos de Vista

Puntos de vista describe las vistas disponibles. Las vistas se definen estáticamente para modelar recursos y permisos.

Procedimientos Almacenados

NOTE: Los procedimientos almacenados no se admiten actualmente. Consulte la nota anterior para detalles.

Procedimientos almacenados son interfaces similares a funciones para Azure Data Lake Storage. Procedimientos almacenados* le permiten ejecutar operaciones en Azure Data Lake Storage, incluida la descarga de documentos y el movimiento de sobres.

Procesamiento Colaborativo de Consultas

El conector descarga la mayor parte posible del procesamiento de instrucciones SELECT en Azure Data Lake Storage y luego procesa el resto de la consultar en la memoria. Las limitaciones y requisitos de API "también se documentan en esta sección.

Ver SupportEnhancedSQL para obtener más información sobre cómo el conector elude las limitaciones de la API con el procesamiento del lado del cliente en memoria.

Puntos de Vista

Las vistas se componen de columnas y pseudocolumnas. Las vistas son similares a las tablas en la forma en que se representan los datos; sin embargo, las vistas no admiten actualizaciones. Las entidades que se representan como vistas suelen ser entidades de solo lectura. A menudo, un procedimiento almacenado* está disponible para actualizar los datos si dicha funcionalidad es aplicable a la fuente de datos.

Las consultas se pueden ejecutar contra una vista como si fuera una tabla normal, y los datos que regresan son similares en ese sentido. Para obtener más información sobre las tablas y los procedimientos almacenados, vaya a sus entradas correspondientes en este documento de ayuda.

Conector Jitterbit para Vistas de Azure Data Lake Storage

Permisos

Enumera los permisos de los archivos/archivo especificados en la ruta.

Información Específica de la Tabla

Seleccionar

Esto devolverá una lista de permisos de todos los archivos y directorios en su sistema. Todos los filtros se ejecutan del lado del cliente dentro del conector.

Columnas

Recursos

Muestra el contenido de la ruta proporcionada.

Información Específica de la Tabla

Seleccionar

Esto devolverá una lista de todos los archivos y directorios en su sistema. De forma predeterminada, todas las subcarpetas se exploran recursivamente para enumerar sus elementos secundarios. Puede configurar la profundidad de las subcarpetas que desea escanear recursivamente con la propiedad DirectoryRetrievalDepth. Todos los filtros se ejecutan del lado del cliente dentro del conector.

Columnas

Procedimientos Almacenados

Procedimientos almacenados* están disponibles para complementar los datos disponibles del Modelo de datos. Puede ser necesario actualizar los datos disponibles desde una vista usando un procedimiento almacenado* porque los datos no proporcionan actualizaciones bidireccionales directas, similares a tablas. En estas situaciones, la recuperación de los datos se realiza utilizando la vista o tabla adecuada, mientras que la actualización se realiza llamando a un procedimiento almacenado. Procedimientos almacenados* toman una lista de parámetros y devuelven un conjunto de datos que contiene la colección de tuplas que constituyen la respuesta.

Jitterbit Connector para Procedimientos Almacenados de Azure Data Lake Storage

Agregar al Archivo

Crear y escribir en un archivo.

Aporte

Columnas del Conjunto de Resultados

Concat

Concatenar un grupo de archivos a otro archivo.

Aporte

Columnas del Conjunto de Resultados

Borrar Archivo

Eliminar un archivo o un directorio.

Aporte

Columnas del Conjunto de Resultados

Descargar Archivo

Abre y lee un archivo.

Aporte

Columnas del Conjunto de Resultados

GetAdminConsentURL

Obtiene la URL de consentimiento del administrador que un administrador de un dominio determinado debe abrir por separado para otorgar acceso a su aplicación. Solo se necesita cuando se usan credenciales de OAuth personalizadas.

Aporte

Columnas del Conjunto de Resultados

ObtenerResumenContenido

Obtenga el resumen del contenido de un archivo/carpeta.

Aporte

Columnas del Conjunto de Resultados

Obtener Token de Acceso de OAuth

Obtiene un token de autenticación de Azure DataLakeStorage.

Aporte

Columnas del Conjunto de Resultados

Obtener URL de Autorización de OAuth

Obtiene una URL de autorización del origen de datos. La URL de autorización se puede utilizar para generar un verificador necesario para obtener el token de OAuth.

Aporte

Columnas del Conjunto de Resultados

ListStatus

Muestra el contenido de la ruta proporcionada.

Aporte

Columnas del Conjunto de Resultados

HacerDirectorio

Cree un directorio en la ruta especificada.

Aporte

Columnas del Conjunto de Resultados

RefreshOAuthAccessToken

Actualiza el token de acceso de OAuth utilizado para la autenticación.

Aporte

Columnas del Conjunto de Resultados

Renombrar Archivo

Cambiar el nombre de un archivo o un directorio.

Aporte

Columnas del Conjunto de Resultados

Propietario del Conjunto

Establecer propietario y grupo de una ruta.

Aporte

Columnas del Conjunto de Resultados

Establecer Permiso

Establecer el permiso de una ruta.

Aporte

Columnas del Conjunto de Resultados

Subir Archivo

Crear y escribir en un archivo.

Aporte

Columnas del Conjunto de Resultados

Modelo de Datos ADLSGen2

Descripción General

Esta sección muestra los objetos de API disponibles y proporciona más información sobre cómo ejecutar SQL en las APIs de Azure Data Lake Storage.

Características Clave

• El conector modela entidades de Azure Data Lake Storage como documentos, carpetas y grupos como vistas relacionales, lo que le permite escribir SQL para consultar datos de Azure Data Lake Storage.
• Procedimientos almacenados* le permiten ejecutar operaciones en Azure Data Lake Storage.
• La conectividad en vivo a estos objetos significa que cualquier cambio en su cuenta de Azure Data Lake Storage se refleja inmediatamente cuando se usa el conector.

Puntos de Vista

Puntos de vista describe las vistas disponibles. Las vistas se definen estáticamente para modelar recursos.

Procedimientos Almacenados

NOTE: Los procedimientos almacenados no se admiten actualmente. Consulte la nota anterior para detalles.

Procedimientos almacenados son interfaces similares a funciones para Azure Data Lake Storage. Procedimientos almacenados* le permiten ejecutar operaciones en Azure Data Lake Storage, incluida la descarga de documentos y el movimiento de sobres.

Procesamiento Colaborativo de Consultas

El conector descarga la mayor parte posible del procesamiento de instrucciones SELECT en Azure Data Lake Storage y luego procesa el resto de la consultar en la memoria. Las limitaciones y requisitos de API "también se documentan en esta sección.

Ver SupportEnhancedSQL para obtener más información sobre cómo el conector elude las limitaciones de la API con el procesamiento del lado del cliente en memoria.

Puntos de Vista

Las vistas se componen de columnas y pseudocolumnas. Las vistas son similares a las tablas en la forma en que se representan los datos; sin embargo, las vistas no admiten actualizaciones. Las entidades que se representan como vistas suelen ser entidades de solo lectura. A menudo, un procedimiento almacenado* está disponible para actualizar los datos si dicha funcionalidad es aplicable a la fuente de datos.

Las consultas se pueden ejecutar contra una vista como si fuera una tabla normal, y los datos que regresan son similares en ese sentido. Para obtener más información sobre las tablas y los procedimientos almacenados, vaya a sus entradas correspondientes en este documento de ayuda.

Conector Jitterbit para Vistas de Azure Data Lake Storage

Recursos

Muestra el contenido de la ruta proporcionada.

Información Específica de la Tabla

Seleccionar

Esto devolverá una lista de todos los archivos y directorios en su sistema. De forma predeterminada, se recuperarán todos los archivos y carpetas del primer nivel. Puede configurar el conector para leer todos los archivos y carpetas de forma recursiva estableciendo la propiedad IncluirSubDirectorios en verdadero. Todos los filtros se ejecutan del lado del cliente dentro del conector.

Una consultar simple como SELECT \* FROM Resources tendrá diferentes resultados con diferentes combinaciones de Incluir subdirectorios y propiedades de conexión de directorio.

• Si IncludeSubDirectories=true y Directory no está configurado, la tabla devolverá todos los archivos y carpetas con sus subcarpetas en todo el almacenamiento.
• Si IncludeSubDirectories=true y Directory=path, la tabla devolverá todos los archivos y carpetas con sus subcarpetas en la ruta especificada en Directory.
• Si IncludeSubDirectories=false y Directory no está configurado, la tabla devolverá todos los archivos y carpetas de la carpeta raíz.
• Si IncluirSubDirectorios=falso y Directorio=ruta, la tabla devolverá todos los archivos y carpetas de la carpeta especificada en la ruta.

Alternativamente, puede especificar el Directory columna en las condiciones de la cláusula WHERE para enumerar los archivos en un directorio específico.

Por ejemplo, la siguiente consultar enumerará los archivos ubicados en el primer nivel del directorio 'SecondLevelDir1'.

SELECT * FROM Resources WHERE Directory='FirstLevelDir/SecondLevelDir1'

También puede utilizar el operador IN para enumerar los archivos ubicados en los primeros niveles de varios directorios especificados.

SELECT * FROM Resources WHERE Directory IN ('FirstLevelDir', 'FirstLevelDir/SecondLevelDir1', 'FirstLevelDir/SecondLevelDir2')

Nota: El conector usará la API de Azure Data Lake Storage para procesar las condiciones de la cláusula WHERE creadas con la siguiente columna de directorio y el operador '='. El resto del filtro se ejecuta del lado del cliente dentro del conector.

Columnas

Pseudo-Columnas

Los campos de pseudocolumna se utilizan en la cláusula WHERE de las declaraciones SELECT y ofrecen un control más granular sobre las tuplas que se devuelven desde la fuente de datos.

Procedimientos Almacenados

Procedimientos almacenados* están disponibles para complementar los datos disponibles del Modelo de datos. Puede ser necesario actualizar los datos disponibles desde una vista usando un procedimiento almacenado* porque los datos no proporcionan actualizaciones bidireccionales directas, similares a tablas. En estas situaciones, la recuperación de los datos se realiza utilizando la vista o tabla adecuada, mientras que la actualización se realiza llamando a un procedimiento almacenado. Procedimientos almacenados* toman una lista de parámetros y devuelven un conjunto de datos que contiene la colección de tuplas que constituyen la respuesta.

Jitterbit Connector para Procedimientos Almacenados de Azure Data Lake Storage

Copiar Archivo

Copie un archivo de un origen a un destino.

Para copiar el archivo llamado Guidelines.txt que se encuentra en la raíz del contenedor a la carpeta Sales con el nuevo nombre Guidelines renamed.txt use el procedimiento almacenado* como esto:

EXEC CopyFile SourcePath=[Guidelines.txt], DestinationPath=[Sales/Guidelines renamed.txt]

Aporte

Columnas del Conjunto de Resultados

Crea un Archivo

Crea un archivo. La ruta es necesaria para una operación exitosa.

Aporte

Columnas del Conjunto de Resultados

Crear Carpeta

Crea una carpeta. La ruta es necesaria para una operación exitosa.

Aporte

Columnas del Conjunto de Resultados

EliminarObjeto

Eliminar un archivo o una carpeta. La ruta es necesaria para una operación exitosa.

• Recursive=false es el comportamiento predeterminado y generalmente se usa solo para archivos.

      EXEC DeleteObject Path=[directory1/file1.txt]
  

• Recursive=true se usa cuando desea eliminar una carpeta junto con su contenido.

      EXEC DeleteObject Path=[directory1], Recursive=true
  

• DeleteType=[FILES] se usa cuando desea eliminar solo los archivos dentro de una carpeta. Las subcarpetas no se eliminarán. En este caso, use Recursive=false (es el comportamiento predeterminado).

      EXEC DeleteObject Path=[directory1], DeleteType=[FILES]
  

• Si usa DeleteType=[FILES] y Recursive=true:

      EXEC DeleteObject Path=[directory1], DeleteType=[FILES], Recursive=true
  

  entonces tendría el mismo efecto que:

      EXEC DeleteObject Path=[directory1], Recursive=true
  

  También es más lento, por lo que no es recomendable.

Aporte

Columnas del Conjunto de Resultados

Descargar Archivo

Descargar un archivo. Path y DownloadPath son necesarios para una operación exitosa.

Aporte

Columnas del Conjunto de Resultados

Obtener Token de Acceso de OAuth

Obtiene el token de acceso de OAuth de SharePoint.

Aporte

Columnas del Conjunto de Resultados

Obtener URL de Autorización de OAuth

Obtiene la URL de autorización de SharePoint. Acceda a la URL devuelta en la salida en un navegador web. Esto solicita el token de acceso que se puede usar como parte de la cadena de conexión a SharePoint.

Aporte

Columnas del Conjunto de Resultados

RefreshOAuthAccessToken

Actualiza el token de acceso de OAuth utilizado para la autenticación con SharePoint.

Aporte

Columnas del Conjunto de Resultados

Cambiar Nombre de Objeto

Cambiar el nombre de un archivo o un directorio. Path y RenameTo son necesarios para una operación exitosa.

Aporte

Columnas del Conjunto de Resultados

Subir Archivo

Cargar un archivo. Path y FilePath son necesarios para una operación exitosa.

En caso de que desee cargar un solo archivo, especifique un archivo de origen y de destino como valores de parámetro. Por ejemplo:

EXEC UploadFile Path='destination/path/name.txt', FilePath='source/path/name.txt'

En caso de que desee cargar varios archivos, especifique una carpeta de origen y de destino para cargar todos los archivos dentro de esa carpeta. Utilizar el MaxThreads propiedad para controlar cuántos archivos se cargarán a la vez en paralelo. Por ejemplo:

EXEC UploadFile Path='destination/path', FilePath='source/path'

Aumenta el Timeout valor si está cargando archivos grandes.

Aporte

Columnas del Conjunto de Resultados

Tablas del Sistema

Puede consultar las tablas del sistema que se describen en esta sección para acceder a la información del esquema, la información sobre la funcionalidad del origen de datos y las estadísticas de operación lote.

Tablas de Esquema

Las siguientes tablas devuelven metadatos de la base de datos para Azure Data Lake Storage:

• sys_catalogs: enumera las bases de datos disponibles.
• sys_schemas: enumera los esquemas disponibles.
• sys_tablas: enumera las tablas y vistas disponibles.
• sys_tablecolumns: Describe las columnas de las tablas y vistas disponibles.
• procedimientos_sys: describe los procedimientos almacenados disponibles.
• parámetros_procedimiento_sys: Describe procedimiento almacenado* parámetros.
• sys_keycolumns: describe las claves principal y externa.
• índices_sys: Describe los índices disponibles.

Tablas de Fuentes de Datos

Las siguientes tablas devuelven información sobre cómo conectarse y consultar la fuente de datos:

• sys_connection_props: Devuelve información sobre las propiedades de conexión disponibles.
• sys_sqlinfo: describe las consultas SELECT que el conector puede descargar al origen de datos.

Tablas de Información de Consultas

La siguiente tabla devuelve estadísticas de consultar para consultas de modificación de datos:

• identidad_sys: devuelve información sobre operaciones lote o actualizaciones individuales.

Sys_catalogs

Enumera las bases de datos disponibles.

La siguiente consultar recupera todas las bases de datos determinadas por la cadena de conexión:

SELECT * FROM sys_catalogs

Columnas

Sys_schemas

Enumera los esquemas disponibles.

La siguiente consultar recupera todos los esquemas disponibles:

SELECT * FROM sys_schemas

Columnas

Sys_tables

Enumera las tablas disponibles.

La siguiente consultar recupera las tablas y vistas disponibles:

SELECT * FROM sys_tables

Columnas

Sys_tablecolumns

Describe las columnas de las tablas y vistas disponibles.

La siguiente consultar devuelve las columnas y los tipos de datos de la tabla de recursos:

SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='Resources' 

Columnas

Sys_procedimientos

Enumera los procedimientos almacenados disponibles.

La siguiente consultar recupera los procedimientos almacenados disponibles:

SELECT * FROM sys_procedures

Columnas

Sys_procedureparameters

Describe procedimiento almacenado* parámetros.

La siguiente consultar devuelve información sobre todos los parámetros de entrada para el procedimiento almacenado DownloadFile:

SELECT * FROM sys_procedureparameters WHERE ProcedureName='DownloadFile' AND Direction=1 OR Direction=2

Columnas

Sys_keycolumns

Describe las claves primarias y foráneas. La siguiente consultar recupera la clave principal de la tabla de recursos:

SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='Resources'

Columnas

Sys_foreignkeys

Describe las claves foráneas. La siguiente consultar recupera todas las claves foráneas que hacen referencia a otras tablas:

SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'

Columnas

Sys_indexes

Describe los índices disponibles. Al filtrar en los índices, puede escribir consultas más selectivas con tiempos de respuesta de consultar más rápidos.

La siguiente consultar recupera todos los índices que no son claves principales:

SELECT * FROM sys_indexes WHERE IsPrimary='false'

Columnas

Sys_connection_props

Devuelve información sobre las propiedades de conexión disponibles y las establecidas en la cadena de conexión.

Al consultar esta tabla, se debe usar la cadena de conexión de configuración:

jdbc:cdata:adls:config:

Esta cadena de conexión le permite consultar esta tabla sin una conexión válida.

La siguiente consultar recupera todas las propiedades de conexión que se han establecido en la cadena de conexión o se han establecido a través de un valor predeterminado:

SELECT * FROM sys_connection_props WHERE Value <> ''

Columnas

Sys_sqlinfo

Describe el procesamiento de consultar SELECT que el conector puede descargar al origen de datos.

Procesamiento Colaborativo de Consultas

Al trabajar con fuentes de datos que no admiten SQL-92, puede consultar la vista sys_sqlinfo para determinar las capacidades de consultar de las APIs subyacentes, expresadas en sintaxis SQL. El conector descarga la mayor cantidad posible del procesamiento de sentencias SELECT al servidor y luego procesa el resto de la consultar en la memoria.

Descubrimiento de las Capacidades SELECT de la Fuente de Datos

A continuación se muestra un conjunto de datos de ejemplo de las capacidades de SQL. El siguiente conjunto de resultados indica la funcionalidad SELECT que el conector puede descargar en el origen de datos o en el lado del cliente del proceso. Su fuente de datos puede admitir sintaxis SQL adicional. Algunos aspectos de la funcionalidad SELECT se devuelven en una lista separada por comas si es compatible; de lo contrario, la columna contiene NO.

La siguiente consultar recupera los operadores que se pueden usar en la cláusula WHERE:

SELECT * FROM sys_sqlinfo WHERE Name='SUPPORTED_OPERATORS'

Tenga en cuenta que las tablas individuales pueden tener diferentes limitaciones o requisitos en la cláusula WHERE; consulte el Modelo de datos para obtener más información.

Columnas

Sys_identidad

Devuelve información sobre los intentos de modificación.

La siguiente consultar recupera los Id. de las filas modificadas en una operación lote:

SELECT * FROM sys_identity

Columnas

Propiedades de Configuraciones Avanzadas

Las propiedades de configuraciones avanzadas son las diversas opciones que se pueden utilizar para establecer una conexión. Esta sección proporciona una lista completa de las opciones que puede configurar. Haga clic en los enlaces para obtener más detalles.

Autenticación

Conexión

Autenticación de Azure

OAuth

SSL

Esquema

Misceláneas

Autenticación

Esta sección proporciona una lista completa de las propiedades de autenticación que puede configurar.

AuthScheme

El tipo de autenticación que se usará al conectarse a Azure Data Lake Storage.

Valores Posibles

Auto, AzureAD, AzureServicePrincipal, AzureMSI, AccessKey, SAS

Tipo de Datos

string

Valor por Defecto

"Auto"

Observaciones

• Automático: permite que Jitterbit Connector para Azure Data Lake Storage determine qué hacer en función de otras propiedades de conexión.
• Microsoft Entra ID: configure esto para realizar la autenticación OAuth de Azure Active Directory.
• AzureServicePrincipal: configure esto para autenticarse como una entidad de servicio de Azure.
• AzureMSI: configure esto para obtener automáticamente las credenciales de identidad de servicio administrado cuando se ejecuta en una máquina virtual de Azure.
• Clave de acceso: configure esto para autenticar las llamadas a la API configurando la Clave de acceso a su clave de acceso. Esto es aplicable solo para ADLSGen2 Esquema.
• SAS: Configure esto para autenticar las llamadas a la API configurando SharedAccessSignature a su firma de acceso compartido (SAS). Esto es aplicable solo para ADLSGen2 Esquema.

Esquema

Esquema para usar ADLSGen1,ADLSGen2.

Valores Posibles

ADLSGen1, ADLSGen2

Tipo de Datos

string

Valor por Defecto

"ADLSGen2"

Observaciones

ADLSGen1 consume la API de Azure Data Lake Storage Gen1, que utiliza las especificaciones de la API REST de WebHDFS. ADLSGen2 consume una versión más reciente de la API, a saber, Data Lake Storage Gen2.

Cuenta

Esta propiedad especifica el nombre de la cuenta de almacenamiento de Azure Data Lake.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Esta propiedad especifica el nombre de la cuenta de almacenamiento de Azure Data Lake.

Llave de Acceso

Su clave de acceso a la cuenta de almacenamiento de Azure DataLakeStorage Gen 2.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Su clave de acceso a la cuenta de almacenamiento de Azure DataLakeStorage Gen 2. Use esto solo para la autenticación Gen 2. Puedes recuperarlo de la siguiente manera:

1. Inicie sesión en Azure Portal con las credenciales de su cuenta raíz. ( https://portal.azure.com/ )
2. Haga clic en cuentas de almacenamiento y seleccione la cuenta de almacenamiento que desea usar.
3. En configuración, haga clic en Teclas de acceso.
4. El nombre y la clave de su cuenta de almacenamiento se mostrarán en esa página.

Sistema de Archivos

Esta propiedad especifica el nombre del sistema de archivos que se usará en una cuenta de almacenamiento Gen 2. Por ejemplo, el nombre de su contenedor Azure Blob.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Esta propiedad especifica el nombre del sistema de archivos que se usará en una cuenta de almacenamiento Gen 2. Por ejemplo, el nombre de su contenedor Azure Blob.

SharedAccessFirma

Una firma de clave de acceso compartido que se puede utilizar para la autenticación.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Una firma de acceso compartido. Se puede usar en lugar de una AccessKey para acceder a los recursos.

Conexión

Esta sección proporciona una lista completa de las propiedades de conexión que puede configurar.

Directorio

Esta propiedad especifica la ruta raíz de Azure Data Lake Storage para enumerar archivos y carpetas.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Esta propiedad especifica la ruta raíz de Azure Data Lake Storage para enumerar archivos y carpetas.

Profundidad de Recuperación de Directorios

Limite las subcarpetas escaneadas recursivamente en el esquema ADLSGen1.

Tipo de Datos

int

Valor por Defecto

-1

Observaciones

DirectoryRetrievalDepth especifica cuántas subcarpetas se escanearán recursivamente antes de detenerse. -1 especifica que se analizan todas las subcarpetas. 0 especificó que solo se buscarán elementos en la carpeta actual.

Incluir Subdirectorios

Elija si las rutas de los subdirectorios deben aparecer en la vista Recursos en el esquema ADLSGen2.

Tipo de Datos

bool

Valor por Defecto

false

Observaciones

Elija si las rutas de los subdirectorios deben aparecer en la vista Recursos en el esquema ADLSGen2.

Autenticación de Azure

Esta sección proporciona una lista completa de las propiedades de autenticación de Azure que puede configurar.

AzureInquilino

El inquilino de Microsoft Online que se usa para acceder a los datos. Si no se especifica, se utilizará su tentant predeterminado.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

El inquilino de Microsoft Online que se usa para acceder a los datos. Por ejemplo, contoso.onmicrosoft.com. Como alternativa, especifique el Id. de arrendatario. Este valor es el ID de directorio en Azure Portal > Active Directory de Azure > Propiedades.

Por lo general, no es necesario especificar el Arrendatario. Microsoft puede determinar esto automáticamente cuando se utiliza el OAuthGrantType establecido en CÓDIGO (predeterminado). Sin embargo, puede fallar en el caso de que el usuario pertenezca a varios inquilinos. Por ejemplo, si un administrador del dominio A invita a un usuario del dominio B a ser un usuario invitado. El usuario ahora pertenecerá a ambos inquilinos. Es una buena práctica especificar el Tenant, aunque en general las cosas normalmente deberían funcionar sin tener que especificarlo.

El AzureTenant es necesario cuando se configura OAuthGrantType al CLIENTE. Cuando se usan credenciales de cliente, no hay contexto de usuario. Las credenciales se toman del contexto de la propia aplicación. Si bien Microsoft todavía permite obtener las credenciales de los clientes sin especificar qué arrendatario, tiene una probabilidad mucho menor de elegir el arrendatario específico con el que desea trabajar. Por esta razón, requerimos AzureTenant debe indicarse explícitamente para todas las conexiones de credenciales de clientes para garantizar que obtenga las credenciales que se aplican al dominio al que desea conectarse.

AzureAmbiente

El ambiente de Azure que se usará al establecer una conexión con Azure Data Lake Storage Gen1.

Valores Posibles

GLOBAL, CHINA, GERMANY, USGOVT

Tipo de Datos

string

Valor por Defecto

"GLOBAL"

Observaciones

En la mayoría de los casos, funcionará dejar el ambiente establecido en global. Sin embargo, si su cuenta de Azure se ha agregado a un ambiente diferente, el AzureEnvironment se puede utilizar para especificar qué ambiente.

OAuth

Esta sección proporciona una lista completa de las propiedades de OAuth que puede configurar.

Iniciar OAuth

Establezca esta propiedad para iniciar el proceso para obtener o actualizar el token de acceso de OAuth cuando se conecte.

Valores Posibles

OFF, GETANDREFRESH, REFRESH

Tipo de Datos

string

Valor por Defecto

"OFF"

Observaciones

Las siguientes opciones están disponibles:

1. OFF: Indica que el flujo de OAuth será manejado en su totalidad por el usuario. Se requerirá un OAuthAccessToken para la autenticación.
2. GETANDREFRESH: indica que el conector manejará todo el flujo de OAuth. Si actualmente no existe ningún token, se obtendrá solicitándolo al usuario a través del navegador. Si existe un token, se actualizará cuando corresponda.
3. REFRESH: indica que el conector solo manejará la actualización de OAuthAccessToken. El conector nunca le pedirá al usuario que se autentique a través del navegador. El usuario debe manejar la obtención de OAuthAccessToken y OAuthRefreshToken inicialmente.

OAuthClientId

El ID de cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Como parte del registro de una aplicación OAuth, recibirá el OAuthClientId valor, a veces también llamado clave de consumidor, y un secreto de cliente, el OAuthClientSecret.

OAuthClientSecretOAuthClientSecret

El secreto del cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Como parte del registro de una aplicación OAuth, recibirá el OAuthClientId, también denominada clave de consumidor. También recibirá un secreto de cliente, también llamado secreto de consumidor. Establezca el secreto del cliente en OAuthClientSecret propiedad.

Token de Acceso de OAuth

El token de acceso para conectarse mediante OAuth.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

El OAuthAccessToken la propiedad se usa para conectarse usando OAuth. El OAuthAccessToken se recupera del servidor OAuth como parte del proceso de autenticación. Tiene un tiempo de espera dependiente del servidor y se puede reutilizar entre solicitudes.

El token de acceso se utiliza en lugar de su nombre de usuario y contraseña. El token de acceso protege sus credenciales manteniéndolas en el servidor.

URL de Devolución de Llamada

La URL de devolución de llamada de OAuth a la que volver cuando se autentica. Este valor debe coincidir con la URL de devolución de llamada que especifica en la configuración de su aplicación.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Durante el proceso de autenticación, el servidor de autorización de OAuth redirige al usuario a esta URL. Este valor debe coincidir con la URL de devolución de llamada que especifica en la configuración de su aplicación.

OAuthGrantType

El tipo de concesión para el flujo de OAuth.

Valores Posibles

CLIENT, CODE

Tipo de Datos

string

Valor por Defecto

"CLIENT"

Observaciones

El tipo de concesión para el flujo de OAuth. Están disponibles las siguientes opciones: CLIENTE,CÓDIGO

OAuthVerifier

El código verificador devuelto desde la URL de autorización de OAuth.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

El código verificador devuelto desde la URL de autorización de OAuth. Esto se puede usar en sistemas en los que no se puede iniciar un navegador, como los sistemas sin cabeza.

Autenticación en Máquinas Sin Cabeza

Ver para obtener el OAuthVerifier valor.

Establezca OAuthSettingsLocation junto con OAuthVerifier. Cuando se conecta, el conector intercambia el OAuthVerifier para los tokens de autenticación de OAuth y los guarda, encriptados, en el archivo especificado. Establecer Iniciar OAuth para GETANDREFRESH automatizar el intercambio.

Una vez que se haya generado el archivo de configuración de OAuth, puede eliminar OAuthVerifier desde las propiedades de conexión y conéctese con OAuthSettingsLocation colocar.

Para actualizar automáticamente los valores del token de OAuth, establezca OAuthSettingsLocation y además configure InitiateOAuth refrescar.

OAuthRefreshToken

El token de actualización de OAuth para el token de acceso de OAuth correspondiente.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

El OAuthRefreshToken la propiedad se usa para actualizar el OAuthAccessToken al usar la autenticación OAuth.

OAuthExpiresIn

La vida útil en segundos del AccessToken de OAuth.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Empareje con OAuthTokenTimestamp para determinar cuándo caducará el AccessToken.

OAuthTokenTimestamp

La marca de tiempo de la época de Unix en milisegundos cuando se creó el token de acceso actual.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Emparéjese con OAuthExpiresIn para determinar cuándo expirará AccessToken.

SSL

Esta sección proporciona una lista completa de las propiedades SSL que puede configurar.

SSLServerCert

El certificado que se aceptará del servidor al conectarse mediante TLS/SSL.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Si usa una conexión TLS/SSL, esta propiedad se puede usar para especificar el certificado TLS/SSL que se aceptará del servidor. Se rechaza cualquier otro certificado que no sea de confianza para la máquina.

Esta propiedad puede tomar las siguientes formas:

Si no se especifica, se acepta cualquier certificado en el que confíe la máquina.

La máquina valida los certificados como confiables según el almacén de confianza del sistema. El almacén de confianza utilizado es el valor 'javax.net.ssl.trustStore' especificado para el sistema. Si no se especifica ningún valor para esta propiedad, se utiliza el almacén de confianza predeterminado de Java (por ejemplo, JAVA_HOME\lib\security\cacerts).

Use '*' para indicar que acepta todos los certificados. Tenga en cuenta que esto no se recomienda debido a problemas de seguridad.

Esquema

Esta sección proporciona una lista completa de propiedades de esquema que puede configurar.

Ubicación

Una ruta al directorio que contiene los archivos de esquema que definen tablas, vistas y procedimientos almacenados.

Tipo de Datos

string

Valor por Defecto

"%APPDATA%\\\ADLS Data Provider\\Schema"

Observaciones

La ruta a un directorio que contiene los archivos de esquema para el conector (archivos .rsd para tablas y vistas, archivos .rsb para procedimientos almacenados). La ubicación de la carpeta puede ser una ruta relativa desde la ubicación del ejecutable. El Location La propiedad solo es necesaria si desea personalizar las definiciones (por ejemplo, cambiar el nombre de una columna, ignorar una columna, etc.) o ampliar el modelo de datos con nuevas tablas, vistas o procedimientos almacenados.

Nota: Dado que este conector admite varios esquemas, la estructura de los archivos de esquema personalizados de Azure Data Lake Storage es la siguiente:

• Cada esquema recibe una carpeta correspondiente a ese nombre de esquema.
• Estas carpetas de esquema están contenidas en una carpeta principal.
• El parent folder debe establecerse como Location, no la carpeta de un esquema individual.

Si no se especifica, la ubicación predeterminada es "%APPDATA%\\ADLS Data Provider\Schema" con %APPDATA% estando configurado en el directorio de configuración del usuario:

Esquemas Navegables

Esta propiedad restringe los esquemas informados a un subconjunto de los esquemas disponibles. Por ejemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Enumerar los esquemas de las bases de datos puede resultar costoso. Proporcionar una lista de esquemas en la cadena de conexión mejora el rendimiento.

Mesas

Esta propiedad restringe las tablas notificadas a un subconjunto de las tablas disponibles. Por ejemplo, Tablas=TablaA,TablaB,TablaC.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Listar las tablas de algunas bases de datos puede resultar costoso. Proporcionar una lista de tablas en la cadena de conexión mejora el rendimiento del conector.

Esta propiedad también se puede utilizar como una alternativa a la lista automática de vistas si ya sabe con cuáles quiere trabajar y, de lo contrario, habría demasiadas para trabajar.

Especifique las tablas que desea en una lista separada por comas. Cada tabla debe ser un identificador SQL válido con cualquier carácter especial escapado usando corchetes, comillas dobles o acentos graves. Por ejemplo, Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space`.

Tenga en cuenta que al conectarse a una fuente de datos con varios esquemas o catálogos, deberá proporcionar el nombre completo de la tabla en esta propiedad, como en el último ejemplo aquí, para evitar la ambigüedad entre las tablas que existen en varios catálogos o esquemas.

Puntos de Vista

Restringe las vistas informadas a un subconjunto de las tablas disponibles. Por ejemplo, Vistas=VistaA,VistaB,VistaC.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Listar las vistas de algunas bases de datos puede ser costoso. Proporcionar una lista de vistas en la cadena de conexión mejora el rendimiento del conector.

Esta propiedad también se puede utilizar como una alternativa a la lista automática de vistas si ya sabe con cuáles quiere trabajar y, de lo contrario, habría demasiadas para trabajar.

Especifique las vistas que desee en una lista separada por comas. Cada vista debe ser un identificador SQL válido con cualquier carácter especial escapado usando corchetes, comillas dobles o acentos graves. Por ejemplo, Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space`.

Tenga en cuenta que al conectarse a una fuente de datos con varios esquemas o catálogos, deberá proporcionar el nombre completo de la tabla en esta propiedad, como en el último ejemplo aquí, para evitar la ambigüedad entre las tablas que existen en varios catálogos o esquemas.

Misceláneas

Esta sección proporciona una lista completa de propiedades misceláneas que puede configurar.

Tamaño de Porción

El tamaño de los fragmentos (en Mb) que se usarán al cargar archivos grandes.

Tipo de Datos

int

Valor por Defecto

64

Observaciones

El tamaño de los fragmentos (en Mb) que se usarán al cargar archivos grandes.

Filas Máximas

Limita el número de filas devueltas cuando no se usa agregación o agrupación en la consultar. Esto ayuda a evitar problemas de rendimiento en el momento del diseño.

Tipo de Datos

int

Valor por Defecto

-1

Observaciones

Limita el número de filas devueltas cuando no se usa agregación o agrupación en la consultar. Esto ayuda a evitar problemas de rendimiento en el momento del diseño.

Subprocesos Máximos

Especifica el número de solicitudes simultáneas.

Tipo de Datos

string

Valor por Defecto

"5"

Observaciones

Esta propiedad le permite emitir varias solicitudes simultáneamente, lo que mejora el rendimiento.

Otro

Estas propiedades ocultas se usan solo en casos de uso específicos.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Las propiedades enumeradas a continuación están disponibles para casos de uso específicos. Los casos de uso y la funcionalidad normales del controlador no deberían requerir estas propiedades.

Especifique varias propiedades en una lista separada por punto y coma.

Integración y Formateo

Pseudocolumnas

Esta propiedad indica si incluir o no pseudocolumnas como columnas en la tabla.

Tipo de Datos

string

Valor por Defecto

""

Observaciones

Esta configuración es particularmente útil en Entity Framework, que no le permite establecer un valor para una pseudocolumna a menos que sea una columna de tabla. El valor de esta configuración de conexión tiene el formato "Tabla1=Columna1, Tabla1=Columna2, Tabla2=Columna3". Puede usar el carácter "*" para incluir todas las tablas y todas las columnas; por ejemplo, "*=*".

Se Acabó el Tiempo

El valor en segundos hasta que se lanza el error de tiempo de espera, cancelando la operación.

Tipo de Datos

int

Valor por Defecto

60

Observaciones

Si Timeout = 0, las operaciones no expiran. Las operaciones se ejecutan hasta que se completan correctamente o hasta que encuentran una condición de error.

Si Timeout caduca y la operación aún no se ha completado, el conector genera una excepción.