Detalles de Conexión de Apache Parquet
Introducción
Versión del conector
Esta documentación se basa en la versión 21.0.8454 del conector.
Empezando
Compatibilidad con la versión de parquet
El conector aprovecha la API de Apache Parquet V2.0. El conector admite las siguientes codificaciones de compresión al analizar archivos de Parquet: Gzip, Snappy, sin comprimir.
Visualización de Metadatos de Parquet Remoto
El Jitterbit Connector for Parquet está diseñado para transmitir Parquet únicamente.
El contenido de este archivo transmitido no incluye todos los metadatos asociados con los archivos de Parquet almacenados de forma remota, como el nombre del archivo y la carpeta.
Si se necesita acceso tanto a los metadatos del archivo como al contenido real del archivo, se debe usar Jitterbit Connector for Parquet junto con los controlador del sistema de archivos asociados para el servicio en el que se almacenan los archivos de Parquet de forma remota.
Los siguientes controladores de sistema de archivos están disponibles:
- AmazonS3
- Box
- Dropbox
- FTP
- GoogleCloudAlmacenamiento
- IBLCloudObjectStorage
- OneDrive
- SFTP
Consulte la documentación del controlador del sistema de archivos correspondiente para obtener una guía de configuración para conectarse a metadatos de archivos de Parquet almacenados.
Establecer una Conexión
Conexión a Fuentes de Datos de Parquet
Jitterbit Connector for Parquet permite conectarse a recursos de Parquet locales y remotos. Selecciona el URI
propiedad a la ubicación del recurso Parquet, además de cualquier otra propiedad necesaria para conectarse a su fuente de datos.
Proveedor de servicios | Formatos URI | Iniciar OAuth | OAuthClientId | OAuthClientSecret | OAuthAccessToken | OAuthAccessTokenSecret | Usuario | Contraseña | Esquema de autenticación | Cuenta de AzureStorage | AzureAccessKey | AWSAccessKey | AWSSecretKey | Región de AWS | Clave de acceso | Clave secreta | Región | Espacio de nombres de Oracle | IdProyecto |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
locales | Ruta de archivo única (una tabla) file://localPath/file.parquet Ruta del directorio (una tabla por archivo) file://localPath | ||||||||||||||||||
HTTP o HTTPS | http://remoteStream https://remoteStream | OPCIONAL | OPCIONAL | OPCIONAL | |||||||||||||||
Amazon S3 | Ruta de archivo única (una tabla) s3://remotePath/file.parquet Ruta del directorio (una tabla por archivo) s3://remotePath | REQUERIDO (su clave de acceso) | REQUERIDO (su SecretKey) | OPCIONAL | |||||||||||||||
Almacenamiento de blobs de Azure | azureblob://mycontainer/myblob/ | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO (para OAuth) | REQUERIDO | REQUERIDO (su clave de acceso) | |||||||||||
Almacén de Azure Data Lake Gen1 | adl://remotePath adl://Account.azuredatalakestore.net@remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | REQUERIDO | ||||||||||||
Almacén de Azure Data Lake Gen2 | abfs://myfilesystem/remotePath | REQUERIDO | REQUERIDO (su clave de acceso) | ||||||||||||||||
Azure Data Lake Store Gen2 con SSL | abfss://myfilesystem/remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO (para OAuth) | REQUERIDO | REQUERIDO (su clave de acceso) | |||||||||||
Google Drive | Ruta de archivo única (una tabla) gdrive://remotePath/file.parquet Ruta del directorio (una tabla por archivo) gdrive://remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | ||||||||||||
OneDrive | Ruta de archivo única (una tabla) onedrive://remotePath/file.parquet Ruta del directorio (una tabla por archivo) onedrive://remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | ||||||||||||
Box | Ruta de archivo única (una tabla) box://remotePath/file.parquet Ruta del directorio (una tabla por archivo) box://remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | ||||||||||||
Dropbox | Ruta de archivo única (una tabla) dropbox://remotePath/file.parquet Ruta del directorio (una tabla por archivo) dropbox://remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | ||||||||||||
SOAP de SharePoint en línea | Ruta de archivo única (una tabla) sp://remotePath/file.parquet Ruta del directorio (una tabla por archivo) sp://remotePath | REQUERIDO | REQUERIDO | ||||||||||||||||
REST de SharePoint Online | Ruta de archivo única (una tabla) sprest://remotePath/file.parquet Ruta del directorio (una tabla por archivo) sprest://remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | |||||||||||||
FTP o FTPS | Ruta de archivo única (una tabla) ftp://server:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) ftp://server:port/remotePath | REQUERIDO | REQUERIDO | ||||||||||||||||
SFTP | Ruta de archivo única (una tabla) sftp://server:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) sftp://server:port/remotePath | OPCIONAL | OPCIONAL | ||||||||||||||||
Wasabi | Ruta de archivo única (una tabla) wasabi://bucket1/remotePath/file.parquet Ruta del directorio (una tabla por archivo) wasabi://bucket1/remotePath | REQUERIDO (su clave de acceso) | REQUERIDO (su SecretKey) | OPCIONAL | |||||||||||||||
Google Cloud Storage | Ruta de archivo única (una tabla) gs://bucket/remotePath/file.parquet Ruta del directorio (una tabla por archivo) gs://bucket/remotePath | REQUERIDO | OPCIONAL | OPCIONAL | OPCIONAL | OPCIONAL | REQUERIDO | REQUERIDO | |||||||||||
Almacenamiento en la nube de Oracle | Ruta de archivo única (una tabla) os://bucket/remotePath/file.parquet Ruta del directorio (una tabla por archivo) os://bucket/remotePath | REQUERIDO (su clave de acceso) | REQUERIDO (su SecretKey) | OPCIONAL | REQUERIDO | ||||||||||||||
archivo Azure | Ruta de archivo única (una tabla) azurefile://fileShare/remotePath/file.parquet Ruta del directorio (una tabla por archivo) azurefile://fileShare/remotePath | REQUERIDO | OPCIONAL | ||||||||||||||||
Fuente de almacenamiento de objetos de IBM | Ruta de archivo única (una tabla) ibmobjectstorage://bucket1/remotePath/file.parquet Ruta del directorio (una tabla por archivo) ibmobjectstorage://bucket1/remotePath | REQUERIDO | OPCIONAL | REQUERIDO | REQUERIDO (su clave de acceso) | REQUERIDO (su SecretKey) | REQUERIDO | ||||||||||||
Sistema de archivos distribuido Hadoop | Ruta de archivo única (una tabla) webhdfs://host:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) webhdfs://host:port/remotePath | ||||||||||||||||||
Sistema de archivos distribuido Hadoop seguro | Ruta de archivo única (una tabla) webhdfss://host:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) webhdfss://host:port/remotePath |
Conexión a Archivos Locales
Selecciona el URI
a una carpeta que contenga archivos de Parquet. Los archivos locales admiten SELECT\INSERT\UPDATE\DELETE.
A continuación se muestra una cadena de conexión de ejemplo:
URI=C:\folder1\file.parquet;
También puede conectarse a varios archivos de Parquet que comparten el mismo esquema. A continuación se muestra una cadena de conexión de ejemplo:
URI=C:\folder; AggregateFiles=True;
Si prefiere exponer todos los archivos de Parquet individuales como tablas, deje esta propiedad como Falso.
URI=C:\folder; AggregateFiles=False;
Conexión a Archivos en la Nube
Si bien el conector es capaz de extraer datos de archivos de Parquet alojados en una variedad de almacenes de datos en la nube, INSERTAR, ACTUALIZAR y ELIMINAR are not supported
fuera de los archivos locales en este conector.
Si necesita INSERTAR/ACTUALIZAR/ELIMINAR archivos en la nube, puede descargar el conector correspondiente para ese alojar en la nube (compatible a través de procedimientos almacenados), realizar cambios con el conector correspondiente del archivo local y luego cargar el archivo utilizando los procedimientos almacenados de la fuente en la nube.
Por ejemplo, si desea actualizar un archivo CSV almacenado en SharePoint, puede usar el procedimiento Descargar documento del conector de SharePoint para descargar el archivo CSV, actualizar el archivo CSV local con el conector CSV y luego usar el procedimiento Cargar documento del conector de SharePoint para cargar el archivo cambiado a SharePoint.
Conexión a Amazon S3
Selecciona el URI
al balde y carpeta. Además, establezca las siguientes propiedades para autenticar:
AWSAccessKey
: establezca esto en una clave de acceso de Amazon Web Services (un nombre de usuario).AWSSecretKey
: establezca esto en una clave secreta de Amazon Web Services.
Por ejemplo:
URI=s3://bucket1/folder1; AWSAccessKey=token1; AWSSecretKey=secret1; AWSRegion=OHIO;
Opcionalmente, especifique AWSRegion
además.
Nota: También es posible conectarse a servicios compatibles con S3 especificando su base StorageBaseURL
. Por ejemplo, si StorageBaseURL
conn prp se establece en http://s3.%region%.myservice.com
y Region
es región-1, entonces generaremos URLs de solicitud como https://s3.region-1.myservice.com/bucket/..
. (o como https://bucket.s3.region-1.myservice.com/...
, Si el UseVirtualHosting
la propiedad es verdadera).
Conexión al Almacenamiento de Objetos en la Nube de Oracle
Selecciona el URI
al balde y carpeta. Además, establezca las siguientes propiedades para autenticar:
AccessKey
: establezca esto en una clave de acceso a la nube de Oracle.SecretKey
: establezca esto en una clave secreta de la nube de Oracle.OracleNamespace
: establezca esto en un espacio de nombres de nube de Oracle.
Por ejemplo:
URI=os://bucket/remotePath/; AccessKey=token1; SecretKey=secret1; OracleNamespace=myNamespace; Region=us-ashburn-1;
Opcionalmente, especifique Region
además.
Conexión a Wasabi
Selecciona el URI
al balde y carpeta. Además, establezca las siguientes propiedades para autenticar:
AccessKey
: establezca esto en una clave de acceso de Wasabi (un nombre de usuario)SecretKey
: Establézcalo en una clave secreta de Wasabi.
Opcionalmente, especifique Region
además.
Por ejemplo:
URI=wasabi://bucket1/folder1; AccessKey=token1; SecretKey=secret1; Region=OHIO;
Conéctese a Azure Blob Storage
Selecciona el URI
al nombre de su contenedor y al nombre del blob. Además, establezca las siguientes propiedades para autenticar:
AzureStorageAccount
: establezca esto en la cuenta asociada con el blob de Azure.AzureAccessKey
: establézcalo en la clave de acceso asociada con el blob de Azure.
Por ejemplo:
URI=azureblob://mycontainer/myblob/; AzureStorageAccount=myAccount; AzureAccessKey=myKey;
También puede usar la autenticación OAuth para conectarse con Azure Blob Storage. Por ejemplo:
URI=azureblob://mycontainer/myblob/; AzureStorageAccount=myAccount; AuthScheme=AzureAD; InitiateOAuth=GETANDREFRESH;
Si se conecta desde una máquina virtual de Azure con permisos para Azure Blob Storage, simplemente puede usar AzureMSI AuthScheme
Por ejemplo:
URI=azureblob://mycontainer/myblob/; AzureStorageAccount=myAccount; AuthScheme=AzureMSI;
Si desea autenticarse con una entidad de servicio en lugar de un secreto de cliente, también es posible autenticarse con un certificado de cliente.
InitiateOAuth
: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmenteOAuthAccessToken
.AzureTenant
: Configure esto para el arrendatario al que desea conectarse.OAuthGrantType
: Establézcalo en CLIENTE.OAuthClientId
: establezca esto en la ID del cliente en la configuración de su aplicación.OAuthJWTCert
: establezca esto en el almacén de certificados JWT.OAuthJWTCertType
: establezca esto en el tipo de almacén de certificados especificado porOAuthJWTCert
.
Por ejemplo:
AuthScheme=AzureServicePrincipal;InitiateOAuth=GETANDREFRESH;OAuthClientId=MyClientId;;AzureTenant=MyAzureTenant;OAuthJWTCert=MyOAuthJWTCert;OAuthJWTCertType=PFXFile
Conéctese a Azure Data Lake Store Gen 2
Selecciona el URI
al nombre del sistema de archivos y al nombre de la carpeta que contacta con sus archivos de Parquet. Además, establezca las siguientes propiedades para autenticar:
AzureStorageAccount
: establezca esto en la cuenta asociada con el almacén del lago de datos de Azure.AzureAccessKey
: establézcalo en la clave de acceso asociada con el almacén del lago de datos de Azure.
Por ejemplo:
URI=abfs://myfilesystem/folder1; AzureStorageAccount=myAccount; AzureAccessKey=myKey;
URI=abfss://myfilesystem/folder1; AzureStorageAccount=myAccount; AzureAccessKey=myKey;
También puede usar la autenticación OAuth para conectarse con Azure Data Lake Store Gen 2. Por ejemplo:
URI=abfss://myfilesystem/folder1; AzureStorageAccount=myAccount; AuthScheme=AzureAD; InitiateOAuth=GETANDREFRESH;
Si se conecta desde una máquina virtual de Azure con permisos para conectarse a Azure Data Lake Store Gen 2, simplemente puede configurar AuthScheme en AzureMSI. Por ejemplo:
URI=abfss://myfilesystem/folder1; AzureStorageAccount=myAccount; AuthScheme=AzureMSI;
Si desea autenticarse con una entidad de servicio en lugar de un secreto de cliente, también es posible autenticarse con un certificado de cliente.
InitiateOAuth
: Establézcalo en GETANDREFRESH. Puede usar InitiateOAuth para evitar repetir el intercambio de OAuth y configurar manualmenteOAuthAccessToken
.AzureTenant
: Configure esto para el arrendatario al que desea conectarse.OAuthGrantType
: Establézcalo en CLIENTE.OAuthClientId
: establezca esto en la ID del cliente en la configuración de su aplicación.OAuthJWTCert
: establezca esto en el almacén de certificados JWT.OAuthJWTCertType
: establezca esto en el tipo de almacén de certificados especificado porOAuthJWTCert
.
Por ejemplo:
AuthScheme=AzureServicePrincipal;InitiateOAuth=GETANDREFRESH;OAuthClientId=MyClientId;;AzureTenant=MyAzureTenant;OAuthJWTCert=MyOAuthJWTCert;OAuthJWTCertType=PFXFile
Conéctese al Almacenamiento de Archivos de Azure
Selecciona el URI
al nombre de su recurso compartido de archivos de Azure y al nombre del recurso. Además, establezca las siguientes propiedades para autenticar:
AzureStorageAccount
(Obligatorio): establezca esto en la cuenta asociada con el archivo de Azure.AzureAccessKey
: establezca esto en la clave de acceso asociada con el archivo de Azure.AzureSharedAccessSignature
: establézcalo en la firma de acceso compartido asociada con el archivo de Azure.
Por ejemplo:
URI=azurefile://fileShare/remotePath/; AzureStorageAccount=myAccount; AzureAccessKey=myAccessKey;
URI=azurefile://fileShare/remotePath/; AzureStorageAccount=myAccount; AzureSharedAccessSignature=mySharedSignature;
Conexión a la Box
Selecciona el URI
a la ruta de una carpeta que contiene archivos de Parquet. Para autenticarse en Box, use el estándar de autenticación OAuth. Consulte Conexión a Box para obtener una guía de autenticación.
Por ejemplo:
URI=box://folder1; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;
Conexión a Dropbox
Selecciona el URI
a la ruta de una carpeta que contiene archivos de Parquet. Para autenticarse en Dropbox, use el estándar de autenticación OAuth. Consulte Conectarse a Dropbox para obtener una guía de autenticación. Puede autenticarse con una cuenta de usuario o una cuenta de servicio. En el flujo de la cuenta de usuario, no necesita establecer ninguna propiedad de conexión para sus credenciales de usuario, como se muestra en la cadena de conexión a continuación:
URI=dropbox://folder1; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;
Conexión a Google Drive
Selecciona el URI
a la ruta al nombre del sistema de archivos y el nombre de la carpeta que contacta con sus archivos de Parquet. Para acceder a los archivos compartidos, configure SharedWithMe como el nombre de la carpeta que contiene sus archivos de Excel. Por ejemplo URI=gdrive://SharedWithMe/remotePath
. Para autenticarse en las APIs de Google, utilice el estándar de autenticación OAuth.
Puede autorizar el conector para conectarse a las APIs de Google en nombre de usuarios individuales o en nombre de un dominio. Consulte Conectarse a Google Drive como guía.
Por ejemplo:
URI=gdrive://folder1;InitiateOAuth=GETANDREFRESH;
Conexión a la Fuente de Almacenamiento de Objetos de IBM
Selecciona el URI
al balde y carpeta. Además, establezca las siguientes propiedades para autenticar:
AccessKey
: establezca esto en una clave de acceso de IBM (un nombre de usuario).SecretKey
: establezca esto en una clave secreta de IBM.
Por ejemplo:
URI=ibmobjectstorage://bucket1/folder1; AccessKey=token1; SecretKey=secret1; Region=eu-gb;
Opcionalmente, especifique Region
además.
También puede autenticarse en su instancia de IBM Object Storage utilizando OAuth AuthScheme
:
AuthScheme
: establezca esto en OAuth.ApiKey
: establezca esto en su clave de API de IBM.Region
: establezca esta propiedad en la región de su instancia de IBM.
Por ejemplo:
URI=ibmobjectstorage://bucket1/folder1; ApiKey=key1; Region=eu-gb; AuthScheme=OAuth; InitiateOAuth=GETANDREFRESH;
Conexión a HDFS
Hay dos métodos de autenticación disponibles para conectarse a la fuente de datos HDFS, la autenticación anónima y la autenticación de negociación (Kerberos).
Autenticación anónima
En algunas situaciones, puede conectarse a HDFS sin ninguna propiedad de conexión de autenticación. Para hacerlo, configure AuthScheme
propiedad en Ninguno (predeterminado).
Autenticar usando Kerberos
Cuando se requieren credenciales de autenticación, puede usar Kerberos para la autenticación. Consulte Uso de Kerberos para obtener detalles sobre cómo autenticarse con Kerberos.
Conexión a SharePoint Online SOAP
Selecciona el URI
a una biblioteca de documentos que contiene archivos de Parquet. Para autenticarse, establezca User
y Password
y StorageBaseURL
.
Por ejemplo:
URI=sp://Documents/folder1; User=user1; Password=password1; StorageBaseURL=https://subdomain.sharepoint.com;
Tenga en cuenta que este método de conexión puede no funcionar si StorageBaseURL
termina con "-my.sharepoint.com". Deberías usar el onedrive://
esquema al conectarse a estos sitios porque no admiten los componentes de SharePoint que el conector necesita para descargar archivos.
Conexión a REST de SharePoint Online
Selecciona el URI
a una biblioteca de documentos que contiene archivos de Parquet. StorageBaseURL
es opcional. Si no se proporciona, el controlador funcionará con la unidad raíz. Para autenticarse, utilice el estándar de autenticación OAuth.
Por ejemplo:
URI=sp://Documents/folder1; InitiateOAuth=GETANDREFRESH; StorageBaseURL=https://subdomain.sharepoint.com;
Tenga en cuenta que este método de conexión puede no funcionar si StorageBaseURL
termina con "-my.sharepoint.com". Deberías usar el onedrive://
esquema al conectarse a estos sitios porque no admiten los componentes de SharePoint que el conector necesita para descargar archivos.
Conexión a FTP
Selecciona el URI
a la dirección del servidor seguida de la ruta a la carpeta que se utilizará como carpeta raíz. Para autenticarse, establezca User
y Password
.
Por ejemplo:
URI=ftps://localhost:990/folder1; User=user1; Password=password1;
Conexión al Google Cloud Storage
Selecciona el URI
a la ruta al nombre del sistema de archivos y el nombre de la carpeta que contacta con sus archivos de Parquet. Para autenticarse en las APIs de Google, proporcione un ProjectId
.
Por ejemplo:
URI=gs://bucket/remotePath/; ProjectId=PROJECT_ID;
Conexión a Google Drive
El conector facilita los siguientes flujos de autenticación OAuth:
- El flujo de consentimiento del usuario permite a los usuarios individuales conectarse a sus propios datos.
- El flujo de la cuenta de servicio permite el acceso a datos de todo el dominio.
Uso de una Cuenta de Usuario para Conectarse a Google
Este flujo de OAuth requiere que el usuario que se autentica interactúe con Google usando el navegador. El conector facilita esto de varias maneras, como se describe a continuación.
Autenticarse en Google
Después de configurar InitiateOAuth
para GETANDREFRESH, ya está listo para conectarse. Puedes usar InitiateOAuth
para evitar repetir el intercambio de OAuth y configurar manualmente OAuthAccessToken
propiedad de conexión. Cuando se conecta, el conector abre el extremo de OAuth en su navegador predeterminado. Inicie sesión y otorgue permisos a la aplicación. Luego, el conector completa el proceso de OAuth:
- Extrae el token de acceso de la URL de devolución de llamada y autentica las solicitudes.
- Actualiza el token de acceso cuando caduca.
- Guarda los valores de OAuth para que se mantengan entre las conexiones. Este archivo se puede configurar en
OAuthSettingsLocation
.
Uso de una Cuenta de Servicio para Conectarse a Datos de Todo el Dominio
Puede usar una cuenta de servicio en este flujo de OAuth para acceder a las APIs de Google en nombre de los usuarios de un dominio. Un administrador de dominio puede delegar el acceso de todo el dominio a la cuenta de servicio.
Para completar el flujo de la cuenta de servicio, genere una clave privada en la consola de APIs de Google. En el flujo de la cuenta de servicio, el conector intercambia un token web JSON (JWT) por el OAuthAccessToken
. Se requiere la clave privada para firmar el JWT. El OAuthAccessToken
autentica que el conector tiene los mismos permisos otorgados a la cuenta de servicio.
Generar una Clave Privada
Siga los pasos a continuación para generar una clave privada y obtener las credenciales para su aplicación:
- Inicie sesión en la Consola API de Google.
- Haga clic en Crear proyecto o seleccione un proyecto existente.
- En el API Manager, haga clic en Credenciales -> Crear credenciales -> Clave de cuenta de servicio. En el menú Cuenta de servicio, seleccione Nueva cuenta de servicio o seleccione una cuenta de servicio existente. En la sección Tipo de clave, seleccione el tipo de clave P12.
- Haga clic en Crear para descargar el par de claves. Se muestra la contraseña de la clave privada: Configure esto en
OAuthJWTCertPassword
. - En la sección Claves de cuenta de servicio en la página Credenciales, haga clic en Administrar cuentas de servicio y configure
OAuthJWTIssuer
a la dirección de correo que se muestra en la identificación de la cuenta de servicio. - Haga clic en Biblioteca -> API de Google Drive -> Habilitar API.
- Si utiliza la delegación de todo el dominio, deberá agregar los siguientes ámbitos al ID de cliente de la cuenta de servicio en la consola de administración de Google. En la Consola de administración, vaya a Seguridad -> Controles de API -> Delegación en todo el dominio -> Administrar la delegación de todo el dominio. Agrega el ID de la cuenta de servicio e ingresa los siguientes alcances:
https://www.googleapis.com/auth/drive
,https://www.googleapis.com/auth/devstorage.read_write
Autenticarse con una Cuenta de Servicio
Después de configurar las siguientes propiedades de conexión, está listo para conectarse:
InitiateOAuth
: Establézcalo en GETANDREFRESH. Puedes usarInitiateOAuth
para evitar repetir el intercambio de OAuth y configurar manualmenteOAuthAccessToken
propiedad de conexión.OAuthJWTCertType
: Ajústelo a "PFXFILE".OAuthJWTCertPassword
: establezca esto en la contraseña del archivo .p12.OAuthJWTCertSubject
: establezca esto en "*" para elegir el primer certificado en el almacén de certificados.OAuthJWTIssuer
: establezca esto en la dirección de correo de la cuenta de servicio.OAuthJWTCert
: Establézcalo en la ruta del archivo .p12.OAuthJWTSubject
: establezca esto en la dirección de correo del usuario para quien la aplicación solicita acceso de delegado.
Cuando se conecta, el conector completa el flujo de OAuth para una cuenta de servicio:
- Crea y firma el JWT con el conjunto de notificaciones requerido por el conector.
- Intercambia el JWT por el token de acceso.
- Envía el JWT para un nuevo token de acceso cuando el token caduca.
Conexión a la Box
Utilice el estándar de autenticación OAuth para conectarse a Parquet. Puede conectarse con su cuenta de usuario o puede usar una cuenta de servicio. El conector facilita estos flujos de OAuth como se describe a continuación.
Autenticarse con una Cuenta de Usuario
El flujo de la cuenta de usuario requiere que el usuario que se autentica interactúe con Parquet a través del navegador.
Puede conectarse sin configurar ninguna propiedad de conexión para sus credenciales de usuario. Después de configurar InitiateOAuth
para GETANDREFRESH, ya está listo para conectarse. Cuando se conecta, el conector abre el extremo de OAuth en su navegador predeterminado. Inicie sesión y otorgue permisos a la aplicación. Luego, el conector completa el proceso de OAuth.
- Extrae el token de acceso de la URL de devolución de llamada y autentica las solicitudes.
- Obtiene un nuevo token de acceso cuando caduca el antiguo.
- Guarda los valores de OAuth en
OAuthSettingsLocation
para persistir a través de las conexiones.
Nota: El conector ya está registrado con Parquet como una aplicación OAuth y utilizará automáticamente sus credenciales OAuth integradas para conectarse.
Autenticarse con una Cuenta de Servicio
Las cuentas de servicio tienen autenticación silenciosa, sin autenticación de usuario en el navegador. Debe crear una aplicación OAuth en este flujo. Luego puede conectarse a los datos de Parquet a los que la cuenta de servicio tiene permiso para acceder.
Después de configurar las siguientes propiedades de conexión, está listo para conectarse:
InitiateOAuth
: Establézcalo en GETANDREFRESH.OAuthClientId
: establezca esto en la ID del cliente en la configuración de su aplicación.OAuthClientSecret
: establezca esto en el secreto del cliente en la configuración de su aplicación.OAuthJWTCertType
: Establézcalo en "PEMKEY_FILE".OAuthJWTCert
: Establézcalo en la ruta del archivo .pem que generó.OAuthJWTCertPassword
: establezca esto en la contraseña del archivo .pem.OAuthJWTCertSubject
: establezca esto en "*" para elegir el primer certificado en el almacén de certificados.OAuthJWTSubjectType
: establezca esto en "empresa" o "usuario" según el tipo de token que desee solicitar. También debe establecer el valor Acceso a la aplicación en la configuración de su aplicación para el tipo de asunto correspondiente. El valor predeterminado de esta propiedad de conexión es "empresa".OAuthJWTSubject
: establezca esto en su ID de empresa si su tipo de asunto está configurado en "empresa" o su ID de usuario de la aplicación si su tipo de asunto está configurado en "usuario".OAuthJWTPublicKeyId
: establezca esto en la ID de su clave pública en la configuración de su aplicación.
Cuando se conecta, el conector completa el flujo de OAuth para una cuenta de servicio.
- Crea y firma el JWT con el conjunto de notificaciones requerido por el conector.
- Intercambia el JWT por el token de acceso.
- Guarda los valores de OAuth en
OAuthSettingsLocation
para persistir a través de las conexiones. - Envía el JWT para un nuevo token de acceso cuando el token caduca.
Conexión a Dropbox
OAuth requiere que el usuario que se autentica interactúe con Parquet usando el navegador. El conector facilita esto de varias maneras, como se describe a continuación.
Puede conectarse sin configurar ninguna propiedad de conexión para sus credenciales de usuario. Después de configurar InitiateOAuth
para GETANDREFRESH, ya está listo para conectarse. Cuando se conecta, el conector abre el extremo de OAuth en su navegador predeterminado. Inicie sesión y otorgue permisos a la aplicación. Luego, el conector completa el proceso de OAuth.
- Extrae el token de acceso de la URL de devolución de llamada y autentica las solicitudes.
- Obtiene un nuevo token de acceso cuando caduca el antiguo.
- Guarda los valores de OAuth en
OAuthSettingsLocation
para persistir a través de las conexiones.
Nota: El conector ya está registrado con Parquet como una aplicación OAuth y utilizará automáticamente sus credenciales OAuth integradas para conectarse. Si desea utilizar su propia aplicación OAuth personalizada, consulte Creación de una aplicación OAuth personalizada.
Conexiones SSO
Autenticación con SSO
Proveedor de servicios | Okta | Inicio de sesión único | ADFS | AzureAD |
---|---|---|---|---|
Amazon S3 | Y | Y | Y | |
Almacenamiento de blobs de Azure | ||||
Almacén de Azure Data Lake Gen1 | ||||
Almacén de Azure Data Lake Gen2 | ||||
Azure Data Lake Store Gen2 con SSL | ||||
Google Drive | ||||
OneDrive | ||||
Box | ||||
Dropbox | ||||
SOAP de SharePoint en línea | Y | Y | Y | |
REST de SharePoint Online | ||||
Wasabi | ||||
Google Cloud Storage | ||||
Almacenamiento en la nube de Oracle | ||||
archivo Azure |
Microsoft Entra ID
Configuración de Azure AD
El tema principal detrás de esta configuración es el Flujo en nombre de OAuth 2.0. Requiere dos aplicaciones de Azure AD:
- Una aplicación utilizada para el proceso de inicio de sesión único para un proveedor de servicios específico.
-
Amazon S3:
Siga este enlace para obtener instrucciones detalladas sobre cómo crear esta aplicación. Asegúrese de probar la conexión y de poder iniciar sesión en la consola de AWS desde Azure AD.Guarde el paso "Asignar el usuario de prueba de Azure AD" hasta después del aprovisionamiento para que pueda seleccionar los roles de AWS al asignar el usuario. 2. Una aplicación de "conector" con permiso de suplantación de usuario en la aplicación SSO que creó en el paso anterior. Vaya a Azure Active Directory --> Registros de aplicaciones y registrar una nueva aplicación. Después de registrar esta aplicación, debe permitirle realizar llamadas API a la aplicación SSO. Vaya a la sección de permisos de API de la aplicación que registró y haga clic en el cuadro "Agregar un permiso". Seleccione la API de su aplicación SSO especificando el nombre de la API o el ID de la aplicación y agregue el permiso de suplantación de usuario.
-
Propiedades comunes del controlador
La siguiente SSOProperties
son necesarios para autenticarse en Azure Active Directory y deben especificarse para cada proveedor de servicios.
- Recurso: el identificador URI de la aplicación SSO, que se muestra en la sección Descripción general del registro de la aplicación.
- Tenant: el ID del arrendatario de Azure AD donde se registran las aplicaciones. Puede encontrar este valor usando las instrucciones que se encuentran aquí.
Recuperaremos la respuesta SSO SAML de un flujo OAuth 2.0 en nombre de, por lo que se deben especificar las siguientes propiedades de conexión OAuth:
OAuthClientId
: el ID de aplicación de la aplicación del conector, que aparece en la sección Descripción general del registro de la aplicación.OAuthClientSecret
: El valor secreto del cliente de la aplicación del conector. Azure AD muestra esto cuando crea un nuevo secreto de cliente (sección Certificados y secretos).
Amazon S3
Además de las propiedades comunes, se deben especificar las siguientes propiedades al conectarse al proveedor de servicios de Amazon S3:
AuthScheme
: Selecciona elAuthScheme
a Azure AD.AWSRoleARN
: el ARN del rol de IAM. Encuentre esto en la página Resumen del rol de IAM.AWSPrincipalARN
: el ARN del proveedor de identidad. Encuentre esto en la página de resumen del proveedor de identidad.
La siguiente es una cadena de conexión de ejemplo:
AuthScheme=AzureAD;InitiateOAuth=GETANDREFRESH;OAuthClientId=d593a1d-ad89-4457-872d-8d7443aaa655;OauthClientSecret=g9-oy5D_rl9YEKfN-45~3Wm8FgVa2F;SSOProperties='Tenant=94be7-edb4-4fda-ab12-95bfc22b232f;Resource=https://signin.aws.amazon.com/saml;';AWSRoleARN=arn:aws:iam:2153385180:role/AWS_AzureAD;AWSPrincipalARN=arn:aws:iam:215515180:saml-provider/AzureAD;
OneLogin
Configuración OneLogin
Debe crear una aplicación utilizada para el proceso de inicio de sesión único para un proveedor específico.
Sharepoint SOAP:
Siga este enlace para obtener instrucciones detalladas sobre cómo crear esta aplicación. Asegúrese de probar la conexión y poder iniciar sesión en Office 365 desde OneLogin.Make sure you have enabled WS-TRUST in your application otherwise the driver will not be able to connect.
Sharepoint SOAP
Las siguientes propiedades deben especificarse al conectarse al proveedor de servicios SOAP de Sharepoint:
AuthScheme
: Selecciona elAuthScheme
a OneLogin.User
: El nombre de usuario de la cuenta OneLogin.Password
: La contraseña de la cuenta OneLogin.SSOProperties
:- Dominio (opcional): Es posible que deba establecerse si el dominio configurado en el dominio SSO es diferente al dominio del
User
.
- Dominio (opcional): Es posible que deba establecerse si el dominio configurado en el dominio SSO es diferente al dominio del
La siguiente es una cadena de conexión de ejemplo:
AuthScheme='OneLogin';User=test;Password=test;SSOProperties='Domain=test.cdata;';
Okta
Configuración Okta
Debe crear una aplicación utilizada para el proceso de inicio de sesión único para un proveedor específico.
Sharepoint SOAP:
Siga este enlace para obtener instrucciones detalladas sobre cómo crear esta aplicación y configurar SSO. Asegúrese de probar la conexión y poder iniciar sesión en Office 365 desde Okta.Make sure you have configured SSO using WS-Federation in your application otherwise the driver will not be able to connect.
Amazon S3:
Siga este enlace para obtener instrucciones detalladas sobre cómo crear esta aplicación y configurar SSO. Asegúrese de probar la conexión y de poder iniciar sesión en AWS desde Okta.Make sure you have configured SSO with SAML 2.0 in your application otherwise the driver will not be able to connect.
Asegúrese de que el rol de AWS asignado en la aplicación OKTA tenga acceso al depósito S3 que desea conectar.
Sharepoint SOAP
Las siguientes propiedades deben especificarse al conectarse al proveedor de servicios SOAP de Sharepoint:
AuthScheme
: Selecciona elAuthScheme
a Okta.User
: El nombre de usuario de la cuenta de Okta.Password
: La contraseña de la cuenta de Okta.SSOProperties
:- Dominio (opcional): Es posible que deba establecerse si el dominio configurado en el dominio SSO es diferente al dominio del
User
.
- Dominio (opcional): Es posible que deba establecerse si el dominio configurado en el dominio SSO es diferente al dominio del
La siguiente es una cadena de conexión de ejemplo:
AuthScheme='Okta';User=test;Password=test;SSOProperties='Domain=test.cdata;';
Amazon S3
Las siguientes propiedades deben especificarse al conectarse al proveedor de servicios de Amazon S3:
AuthScheme
: Selecciona elAuthScheme
a Okta.User
: El nombre de usuario de la cuenta de Okta.Password
: La contraseña de la cuenta de Okta.SSOLoginURL
: establezca esto en la URL incrustada de su aplicación AWS OKTA SSO.AWSRoleARN
(opcional): el ARN del rol de IAM. Encuentre esto en la página Resumen del rol de IAM.AWSPrincipalARN
(opcional): el ARN del proveedor de identidad. Encuentre esto en la página de resumen del proveedor de identidad.SSOProperties
:- APIToken (opcional): establezca esto en el token de API que el cliente creó a partir de la organización de Okta. Debe usarse al autenticar a un usuario a través de una aplicación confiable o un proxy que anula el contexto de solicitud del cliente de OKTA.
La siguiente es una cadena de conexión de ejemplo:
AuthScheme=Okta;User=OktaUser;Password=OktaPassword;SSOLoginURL='https://{subdomain}.okta.com/home/amazon_aws/0oan2hZLgQiy5d6/272';
ADFS
Configuración ADFS
Debe crear una aplicación utilizada para el proceso de inicio de sesión único para un proveedor específico.
Sharepoint SOAP:
Siga este enlace para obtener instrucciones detalladas sobre cómo configurar ADFS para Office 365 para el inicio de sesión único. Asegúrese de probar la conexión y poder iniciar sesión en Office 365 desde ADFS.Amazon S3:
Siga este enlace para obtener instrucciones detalladas sobre cómo configurar ADFS para AWS Single Sign-On. Asegúrese de probar la conexión y de poder iniciar sesión en AWS desde ADFS.
Sharepoint SOAP
Las siguientes propiedades deben especificarse al conectarse al proveedor de servicios SOAP de Sharepoint:
AuthScheme
: Selecciona elAuthScheme
a ADFS.User
: El nombre de usuario de la cuenta ADFS.Password
: La contraseña de la cuenta ADFS.SSOProperties
:- Dominio (opcional): Es posible que deba establecerse si el dominio configurado en el dominio SSO es diferente al dominio del
User
.
- Dominio (opcional): Es posible que deba establecerse si el dominio configurado en el dominio SSO es diferente al dominio del
La siguiente es una cadena de conexión de ejemplo:
AuthScheme='ADFS';User=test;Password=test;SSOProperties='Domain=test.cdata;';
Amazon S3
Las siguientes propiedades deben especificarse al conectarse al proveedor de servicios SOAP de Sharepoint:
AuthScheme
: Selecciona elAuthScheme
a ADFS.SSOLoginURL
: establezca esto en la URL de su instancia de ADFS.User
: El nombre de usuario de la cuenta ADFS.Password
: La contraseña de la cuenta ADFS.AWSRoleARN
(opcional): el ARN del rol de IAM. Encuentre esto en la página Resumen del rol de IAM.AWSPrincipalARN
(opcional): el ARN del proveedor de identidad. Encuentre esto en la página de resumen del proveedor de identidad.
La siguiente es una cadena de conexión de ejemplo:
AuthScheme=ADFS;User=username;Password=password;SSOLoginURL='https://sts.company.com';
ADFS integrado
El flujo integrado de ADFS indica que se está conectando con currently logged in Windows user credentials
. Para usar el flujo integrado de ADFS, simplemente no especifique el User
y Password
, pero por lo demás siga los mismos pasos en la guía ADFS anterior.
Ajuste Fino del Acceso a los Datos
Ajuste Fino del Acceso a Datos
Puede usar las siguientes propiedades para obtener más control sobre los datos devueltos por Parquet:
PageSize
: se usa para especificar el número de filas que se van a buscar a la vez.
Uso de Kerberos
Esta sección muestra cómo utilizar el conector para autenticarse en Parquet mediante Kerberos.
Autenticación con Kerberos
Para autenticarse en Parquet mediante Kerberos, establezca las siguientes propiedades:
AuthScheme
: Establézcalo enNEGOTIATE
.KerberosKDC
: Establézcalo enhost name or IP Address
de su máquina Kerberos KDC.KerberosRealm
: Establézcalo enthe realm of the Parquet Kerberos principal
. Este será el valor después del símbolo '@' (por ejemplo, EXAMPLE.COM) deprincipal value
(por ejemplo, ServiceName/MyHost@EXAMPLE.COM).KerberosSPN
: Establézcalo enservice and host of the Parquet Kerberos Principal
. Este será el valor antes del símbolo '@' (por ejemplo, ServiceName/MyHost) deprincipal value
(por ejemplo, ServiceName/MyHost@EXAMPLE.COM).
Recuperar el Ticket de Kerberos
Puede utilizar una de las siguientes opciones para recuperar el vale de Kerberos requerido.
Archivo de Caché de Credenciales MIT Kerberos
Esta opción le permite utilizar el administrador de tickets MIT Kerberos o el comando kinit para obtener tickets. Tenga en cuenta que usted no necesitará configurar el User
o Password
propiedades de conexión con esta opción.
- Asegúrese de tener una variable de ambiente creada llamada
KRB5CCNAME
. - Configure el
KRB5CCNAME
variable de ambiente a una ruta que apunta a sucredential cache file
(por ejemplo, C:\krb_cache\krb5cc_0 o /tmp/krb5cc_0). Este archivo se creará al generar su ticket con MIT Kerberos Ticket Manager. - Para obtener un ticket, abra la aplicación MIT Kerberos Ticket Manager, haga clic en
Get Ticket, enter your principal name and password, then click OK
. Si tiene éxito, la información del ticket aparecerá en Kerberos Ticket Manager y ahora se almacenará en el archivo de caché de credenciales. - Ahora que se ha creado el archivo de caché de credenciales, el conector utilizará el archivo de caché para obtener el ticket de Kerberos para conectarse a Parquet.
Como alternativa a la configuración de KRB5CCNAME
variable de ambiente, puede establecer directamente la ruta del archivo usando KerberosTicketCache
propiedad. Cuando se establece, el conector utilizará el archivo de caché especificado para obtener el vale de Kerberos para conectarse a Parquet.
Archivo de Tabla de Claves
Si no se ha configurado la variable de entorno KRB5CCNAME
, puede recuperar un ticket de Kerberos usando un Keytab File
. Para hacer esto, configure User
propiedad al nombre de usuario deseado y configure KerberosKeytabFile
propiedad a una ruta de archivo que apunta al archivo keytab asociado con el usuario.
Usuario y Contraseña
Si no se han establecido ni la variable de entorno KRB5CCNAME
ni la propiedad KerberosKeytabFile
, puede recuperar un boleto usando un User and Password combination
. Para hacer esto, configure User
y Password
propiedades al combo de usuario/contraseña que usa para autenticarse con Parquet.
Autenticación Entre Reinos
Los ambientes de Kerberos más complejos pueden requerir la autenticación entre dominios donde se utilizan múltiples dominios y servidores KDC (por ejemplo, donde se usa un dominio/KDC para la autenticación del usuario y otro dominio/KDC para obtener el ticket de servicio).
En tal ambiente, el KerberosRealm
y KerberosKDC
las propiedades se pueden establecer en los valores necesarios para la autenticación del usuario. El KerberosServiceRealm
y KerberosServiceKDC
las propiedades se pueden configurar a los valores requeridos para obtener el ticket de servicio.
Modelado de Datos de Parquet
En esta sección, mostraremos cómo controlar los diversos esquemas que ofrece el conector para cerrar la brecha con SQL relacional y servicios de Parquet anidados. Jitterbit Connector for Parquet proporciona una forma administrada de utilizar las dos técnicas predominantes para manejar datos de Parquet anidados:
- Analizar la estructura de datos y construir un modelo relacional basado en la jerarquía existente.
- Profundizar en las matrices y objetos anidados mediante el aplanamiento horizontal.
Análisis de datos jerárquicos
De forma predeterminada, el conector detecta automáticamente las filas de un documento, por lo que no necesita conocer la estructura de los datos subyacentes para consultar con SQL. Selecciona el DataModel
propiedad para elegir una configuración básica de cómo el conector modela matrices de objetos en tablas. Selecciona el FlattenObjects
y FlattenArrays
propiedades para configurar cómo los datos anidados se aplanan en columnas. Consulte Análisis de datos jerárquicos como guía.
Datos Sin Procesar
A continuación se muestran los datos sin procesar utilizados a lo largo de este capítulo. Los datos incluyen entradas para personas, los autos que poseen y varios servicios de mantenimiento realizados en esos autos:
{
"people": [
{
"personal": {
"age": 20,
"gender": "M",
"name": {
"first": "John",
"last": "Doe"
}
},
"vehicles": [
{
"type": "car",
"model": "Honda Civic",
"insurance": {
"company": "ABC Insurance",
"policy_num": "12345"
},
"maintenance": [
{
"date": "07-17-2017",
"desc": "oil change"
},
{
"date": "01-03-2018",
"desc": "new tires"
}
]
},
{
"type": "truck",
"model": "Dodge Ram",
"insurance": {
"company": "ABC Insurance",
"policy_num": "12345"
},
"maintenance": [
{
"date": "08-27-2017",
"desc": "new tires"
},
{
"date": "01-08-2018",
"desc": "oil change"
}
]
}
],
"source": "internet"
},
{
"personal": {
"age": 24,
"gender": "F",
"name": {
"first": "Jane",
"last": "Roberts"
}
},
"vehicles": [
{
"type": "car",
"model": "Toyota Camry",
"insurance": {
"company": "Car Insurance",
"policy_num": "98765"
},
"maintenance": [
{
"date": "05-11-2017",
"desc": "tires rotated"
},
{
"date": "11-03-2017",
"desc": "oil change"
}
]
},
{
"type": "car",
"model": "Honda Accord",
"insurance": {
"company": "Car Insurance",
"policy_num": "98765"
},
"maintenance": [
{
"date": "10-07-2017",
"desc": "new air filter"
},
{
"date": "01-13-2018",
"desc": "new brakes"
}
]
}
],
"source": "phone"
}
]
}
Análisis de Datos Jerárquicos
El conector ofrece tres configuraciones básicas para modelar matrices de objetos como tablas, que se describen en las siguientes secciones. El conector analizará el documento e identificará las matrices de objetos.
- Modelo de documentos planos: unir implícitamente matrices de objetos anidados en una sola tabla.
- Modelo relacional: modele las matrices de objetos como tablas individuales que contienen una clave principal y una clave externa que se vincula con el documento principal.
- Modelo de documento de nivel superior: modele una vista de nivel superior de un documento. Las matrices de objetos anidados se devuelven como cadenas.
Modelo de Documentos Planos
Para los usuarios que simplemente necesitan acceder a la totalidad de sus datos de Parquet, la mejor opción es aplanar los datos en una sola tabla. El conector utilizará la transmisión y solo analizará los datos una vez por consultar en este modo.
Unión de Matrices de Objetos en una Sola Tabla
Con DataModel
Los valores establecidos en "FlattenedDocuments" actuarán de la misma manera que SQL JOIN. Todos los valores hermanos anidados (rutas secundarias a la misma altura) se tratarán como SQL CROSS JOIN.
Ejemplo
A continuación se muestra una consultar de muestra y los resultados, basados en el documento de muestra en Datos sin procesar. Esto une implícitamente la colección de personas con la colección de vehículos e implícitamente une la colección de vehículos con la colección de mantenimiento.
Cadena de Conexión
Utilice la siguiente cadena de conexión para consultar los Datos sin procesar en este ejemplo.
URI=C:\people.parquet;DataModel=FlattenedDocuments;
Consulta
La siguiente consultar profundiza en los elementos anidados en cada objeto de personas.
SELECT
[personal.edad] AS age,
[personal.género] AS gender,
[nombre.personal.primero] AS name_first,
[nombre.personal.apellido] AS name_last,
[source],
[type],
[model],
[compañía de seguros] AS ins_company,
[seguro.policy_num] AS ins_policy_num,
[fecha] AS maint_date,
[desc] AS maint_desc
FROM
[people]
Resultados
Con el aplanamiento horizontal y vertical basado en las rutas descritas, cada objeto de vehículo se UNE implícitamente a su objeto principal de personas y cada objeto de mantenimiento se UNE implícitamente a su objeto principal de vehículo.
edad | género | nombre_primero | apellido | fuente | tipo | modelo | ins_empresa | ins_policy_num | fecha_mantenimiento | maint_desc |
---|---|---|---|---|---|---|---|---|---|---|
20 | m | Juan | cierva | Internet | coche | honda cívica | Seguro ABC | 12345 | 2017-07-17 | cambio de aceite |
20 | m | Juan | cierva | internet | coche | honda cívica | Seguro ABC | 12345 | 2018-01-03 | neumáticos nuevos |
20 | m | Juan | cierva | Internet | camión | Esquivar Ram | Seguro ABC | 12345 | 2017-08-27 | neumáticos nuevos |
20 | m | Juan | cierva | Internet | camión | Esquivar Ram | Seguro ABC | 12345 | 2018-01-08 | cambio de aceite |
24 | F | Juana | Roberts | telefono | coche | ToyotaCamry | Seguro de coche | 98765 | 2017-05-11 | rotacion de neumaticos |
24 | F | Juana | Roberts | telefono | coche | ToyotaCamry | Seguro de coche | 98765 | 2017-11-03 | cambio de aceite |
24 | F | Juana | Roberts | telefono | coche | Acuerdo de Honda | Seguro de coche | 98765 | 2017-10-07 | filtro de aire nuevo |
24 | F | Juana | Roberts | telefono | coche | Acuerdo de Honda | Seguro de coche | 98765 | 2018-01-13 | frenos nuevos |
Modelo de Documento de Nivel Superior
El uso de una vista de documento de nivel superior de los datos proporciona acceso inmediato a los elementos de nivel superior. El conector devuelve elementos anidados en conjunto, como columnas individuales.
Un aspecto a considerar es el rendimiento. Renuncia al tiempo y los recursos para procesar y analizar los elementos anidados: el conector analiza los datos devueltos una vez y utiliza la transmisión para leer los datos. Otra consideración es su necesidad de acceder a los datos almacenados en elementos principales anidados y la capacidad de su herramienta o aplicación para procesar los datos.
Modelado de una Vista de Documento de Nivel Superior
Con DataModel
establecido en "Documento" (valor predeterminado), el conector escanea solo una matriz de objetos, la matriz de objetos de nivel superior de forma predeterminada. Los elementos de objeto de nivel superior están disponibles como columnas debido al aplanamiento de objeto predeterminado. Las matrices de objetos anidados se devuelven como cadenas agregadas.
Ejemplo
A continuación se muestra una consultar de muestra y los resultados, basados en el documento de muestra en Datos sin procesar. La consultar da como resultado una sola tabla de "personas".
Cadena de Conexión
Selecciona el DataModel
propiedad de conexión a "Documento" para realizar la siguiente consultar y ver el conjunto de resultados de ejemplo.
URI=C:\people.parquet;DataModel=Document;
Consulta
La siguiente consultar extrae los elementos de objeto de nivel superior y la matriz de vehículos en los resultados.
SELECT
[personal.edad] AS age,
[personal.género] AS gender,
[nombre.personal.primero] AS name_first,
[nombre.personal.apellido] AS name_last,
[source],
[vehicles]
FROM
[people]
Resultados
Con una vista de documento de los datos, el objeto personal se aplana en 4 columnas y los elementos fuente y vehículos se devuelven como columnas individuales, lo que da como resultado una tabla con 6 columnas.
edad | género | nombre_primero | nombre_apellido | fuente | vehículos |
---|---|---|---|---|---|
20 | m | Juan | cierva | internet | [{"type":"car", "model":"Honda Civic", "insurance":{"company":"ABC Insurance", "policy_num":"12345"}, "maintenance":[{"date":"07-17-2017", "desc":"oil change"}, {"date":"01-03-2018", "desc":"new tires"}]}, {"type":"truck", "model":"Dodge Ram", "insurance":{"company":"ABC Insurance", "policy_num":"12345"}, "maintenance":[{"date":"08-27-2017", "desc":"new tires"}, {"date":"01-08-2018", "desc":"oil change"}]}] |
24 | F | Juana | Roberts | telefono | [{"type":"car", "model":"Toyota Camry", "insurance":{"company":"Car Insurance", "policy_num":"98765"}, "maintenance":[{"date":"05-11-2017", "desc":"tires rotated"}, {"date":"11-03-2017", "desc":"oil change"}]}, {"type":"car", "model":"Honda Accord", "insurance":{"company":"Car Insurance", "policy_num":"98765"}, "maintenance":[{"date":"10-07-2017", "desc":"new air filter"}, {"date":"01-13-2018", "desc":"new brakes"}]}] |
Modelo Relacional
Jitterbit Connector for Parquet se puede configurar para crear un modelo relacional de los datos, tratando las matrices de objetos anidados como tablas individuales que contienen una clave principal y una clave externa que se vincula con el documento principal. Esto es particularmente útil si necesita trabajar con sus datos en herramientas existentes de BI, informes y ETL que esperan un modelo de datos relacional.
Unión de Matrices Anidadas Como Tablas
Con DataModel
establecido en "Relacional", cualquier JOIN está controlado por la consultar. Cada vez que realice una consultar JOIN, el archivo o la fuente se consultará una vez para cada tabla (matriz anidada) incluida en la consultar.
Ejemplo
A continuación se muestra una consultar de muestra contra el documento de muestra en Datos sin procesar, utilizando un modelo relacional.
Cadena de Conexión
URI=C:\people.parquet;DataModel=Relational;'
Consulta
La siguiente consultar une explícitamente las tablas de personas, vehículos y mantenimiento.
SELECT
[people].[personal.age] AS age,
[people].[personal.gender] AS gender,
[people].[personal.name.first] AS first_name,
[people].[personal.name.last] AS last_name,
[people].[source],
[vehicles].[type],
[vehicles].[model],
[vehicles].[insurance.company] AS ins_company,
[vehicles].[insurance.policy_num] AS ins_policy_num,
[maintenance].[date] AS maint_date,
[maintenance].[desc] AS maint_desc
FROM
[people]
JOIN
[vehículos]
ON
[people].[_id] = [vehicles].[people_id]
JOIN
[mantenimiento]
ON
[vehicles].[_id] = [maintenance].[vehicles_id]
Resultados
En la consultar de ejemplo, cada objeto de mantenimiento se une a su objeto principal de vehículo, que se une a su objeto principal de personas para producir una tabla con 8 filas (2 entradas de mantenimiento para cada uno de los 2 vehículos para 2 personas).
edad | género | nombre_primero | apellido | fuente | tipo | modelo | ins_empresa | ins_policy_num | fecha_mantenimiento | maint_desc |
---|---|---|---|---|---|---|---|---|---|---|
20 | m | Juan | cierva | internet | coche | honda cívica | Seguro ABC | 12345 | 2017-07-17 | cambio de aceite |
20 | m | Juan | cierva | Internet | coche | honda cívica | Seguro ABC | 12345 | 2018-01-03 | neumáticos nuevos |
20 | m | Juan | cierva | internet | camión | Esquivar Ram | Seguro ABC | 12345 | 2017-08-27 | neumáticos nuevos |
20 | m | Juan | cierva | Internet | camión | Esquivar Ram | Seguro ABC | 12345 | 2018-01-08 | cambio de aceite |
24 | F | Juana | Roberts | telefono | coche | ToyotaCamry | Seguro de coche | 98765 | 2017-05-11 | rotacion de neumaticos |
24 | F | Juana | Roberts | telefono | coche | ToyotaCamry | Seguro de coche | 98765 | 2017-11-03 | cambio de aceite |
24 | F | Juana | Roberts | telefono | coche | Acuerdo de Honda | Seguro de coche | 98765 | 2017-10-07 | filtro de aire nuevo |
24 | F | Juana | Roberts | telefono | coche | Acuerdo de Honda | Seguro de coche | 98765 | 2018-01-13 | frenos nuevos |
Características Avanzadas
Esta sección detalla una selección de funciones avanzadas del conector Parquet.
Vistas definidas por el usuario
El conector le permite definir tablas virtuales, llamadas vistas definidas por el usuario, cuyo contenido se decide mediante una consultar preconfigurada. Estas vistas son útiles cuando no puede controlar directamente las consultas que se envían a los controladores. Consulte Vistas definidas por el usuario para obtener una descripción general de la creación y configuración de vistas personalizadas.
Configuración SSL
Usar Configuración SSL para ajustar cómo el conector maneja las negociaciones de certificados TLS/SSL. Puede elegir entre varios formatos de certificado; ver el SSLServerCert
propiedad en "Opciones de cadena de conexión" para obtener más información.
Apoderado
Para configurar el conector mediante Configuración de proxy de Agente Privado, Selecciona el Use Proxy Settings
casilla de verificación en la pantalla de configuración de la conexión.
Vistas Definidas por el Usuario
Jitterbit Connector for Parquet le permite definir una tabla virtual cuyos contenidos se deciden mediante una consultar preconfigurada. Estas se denominan Vistas definidas por el usuario, que son útiles en situaciones en las que no puede controlar directamente la consultar que se envía al controlador, por ejemplo, cuando se utiliza el controlador de Jitterbit. Las vistas definidas por el usuario se pueden utilizar para definir predicados que siempre se aplican. Si especifica predicados adicionales en la consultar a la vista, se combinan con la consultar ya definida como parte de la vista.
Hay dos formas de crear vistas definidas por el usuario:
- Cree un archivo de configuración con formato JSON que defina las vistas que desea.
- Declaraciones DDL.
Definición de Vistas Utilizando un Archivo de Configuración
Las vistas definidas por el usuario se definen en un archivo de configuración con formato JSON llamado UserDefinedViews.json
. El conector detecta automáticamente las vistas especificadas en este archivo.
También puede tener múltiples definiciones de vista y controlarlas usando UserDefinedViews
propiedad de conexión. Cuando utiliza esta propiedad, el conector solo ve las vistas especificadas.
Este archivo de configuración de vista definida por el usuario tiene el siguiente formato:
- Cada elemento raíz define el nombre de una vista.
- Cada elemento raíz contiene un elemento hijo, llamado
query
, que contiene la consultar SQL personalizada para la vista.
Por ejemplo:
{
"MyView": {
"query": "SELECT * FROM SampleTable_1 WHERE MyColumn = 'value'"
},
"MyView2": {
"query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
}
}
Utilizar el UserDefinedViews
propiedad de conexión para especificar la ubicación de su archivo de configuración JSON. Por ejemplo:
"UserDefinedViews", "C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json"
Esquema para Vistas Definidas por el Usuario
Las vistas definidas por el usuario se exponen en UserViews
esquema por defecto. Esto se hace para evitar que el nombre de la vista entre en conflicto con una entidad real en el modelo de datos. Puede cambiar el nombre del esquema utilizado para UserViews configurando UserViewsSchemaName
propiedad.
Trabajar con Vistas Definidas por el Usuario
Por ejemplo, una instrucción SQL con una vista definida por el usuario llamada UserViews.RCustomers
solo enumera clientes en Raleigh:
SELECT * FROM Customers WHERE City = 'Raleigh';
Un ejemplo de una consultar al controlador:
SELECT * FROM UserViews.RCustomers WHERE Status = 'Active';
Dando como resultado la consultar efectiva a la fuente:
SELECT * FROM Customers WHERE City = 'Raleigh' AND Status = 'Active';
Ese es un ejemplo muy simple de una consultar a una vista definida por el usuario que es efectivamente una combinación de la consultar de vista y la definición de vista. Es posible componer estas consultas en patrones mucho más complejos. Todas las operaciones de SQL están permitidas en ambas consultas y se combinan cuando corresponde.
Configuración SSL
Personalización de la Configuración SSL
De forma predeterminada, el conector intenta negociar SSL/TLS comparando el certificado del servidor con el almacén de certificados de confianza del sistema.
Para especificar otro certificado, consulte SSLServerCert
propiedad de los formatos disponibles para hacerlo.
Certificados SSL de Cliente
El conector de Parquet también admite la configuración de certificados de cliente. Configure lo siguiente para conectarse usando un certificado de cliente.
SSLClientCert
: el nombre del almacén de certificados para el certificado de cliente.SSLClientCertType
: el tipo de almacén de claves que contiene el certificado de cliente TLS/SSL.SSLClientCertPassword
: La contraseña para el certificado de cliente TLS/SSL.SSLClientCertSubject
: El asunto del certificado de cliente TLS/SSL.
Modelo de Datos
Descripción general
Esta sección muestra los objetos de API disponibles y proporciona más información sobre cómo ejecutar SQL en las APIs de Parquet.
Características clave
- El conector modela entidades de Parquet como documentos, carpetas y grupos como vistas relacionales, lo que le permite escribir SQL para consultar datos de Parquet.
- Procedimientos almacenados* le permiten ejecutar operaciones a Parquet
- La conectividad en vivo con estos objetos significa que cualquier cambio en su cuenta de Parquet se refleja de inmediato al usar el conector.
Procesamiento colaborativo de consultas
El conector descarga la mayor parte posible del procesamiento de la declaración SELECT en Parquet y luego procesa el resto de la consultar en la memoria. Las limitaciones y los requisitos de la API también se documentan en esta sección.
Ver SupportEnhancedSQL
para obtener más información sobre cómo el conector elude las limitaciones de la API con el procesamiento del lado del cliente en memoria.
Procedimientos Almacenados
Procedimientos almacenados* están disponibles para complementar los datos disponibles del Modelo de datos. Puede ser necesario actualizar los datos disponibles desde una vista usando un procedimiento almacenado* porque los datos no proporcionan actualizaciones bidireccionales directas, similares a tablas. En estas situaciones, la recuperación de los datos se realiza utilizando la vista o tabla adecuada, mientras que la actualización se realiza llamando a un procedimiento almacenado. Procedimientos almacenados* toman una lista de parámetros y devuelven un conjunto de datos que contiene la colección de tuplas que constituyen la respuesta.
Conector Jitterbit para Procedimientos Almacenados de Parquet
Nombre | Descripción |
---|---|
GetOAuthAccessToken | Obtiene el token de acceso de OAuth que se utilizará para la autenticación con orígenes de datos mediante OAuth. |
GetOAuthAuthorizationURL | Obtiene la URL de autorización de OAuth utilizada para la autenticación con orígenes de datos mediante OAuth. |
RefreshOAuthAccessToken | Intercambia un token de actualización por un nuevo token de acceso. |
Obtener Token de Acceso de OAuth
Obtiene el token de acceso de OAuth que se utilizará para la autenticación con orígenes de datos mediante OAuth.
Aporte
Nombre | Tipo | Obligatorio | Descripción |
---|---|---|---|
Other_Options | String | Falso | Otras opciones para controlar el comportamiento de OAuth. |
Cert | String | Falso | Ruta para un archivo .pfx de certificado personal. Solo disponible para OAuth 1.0. |
Cert_Password | String | Falso | Contraseña del certificado personal. Solo disponible para OAuth 1.0. |
AuthToken | String | Falso | El token de solicitud devuelto por GetOAuthAuthorizationUrl. Disponible solo para OAuth 1.0. |
AuthKey | String | Falso | La clave secreta de solicitud devuelta por GetOAuthAuthorizationUrl. Disponible solo para OAuth 1.0. |
AuthSecret | String | Falso | El nombre heredado de AuthKey, incluido por motivos de compatibilidad. |
Sign_Method | String | Falso | El método de firma utilizado para calcular la firma para OAuth 1.0. Los valores permitidos son HMAC-SHA1, PLAINTEXT. El valor predeterminado es HMAC-SHA1. |
GrantType | String | Falso | Tipo de concesión de autorización. Solo disponible para OAuth 2.0. Los valores permitidos son CÓDIGO, CONTRASEÑA, CLIENTE, ACTUALIZAR. El valor predeterminado es CÓDIGO. |
Post_Data | String | Falso | Los datos de la publicación a enviar, si corresponde. |
AuthMode | String | Falso | El tipo de modo de autenticación a utilizar. Los valores permitidos son APP, WEB. El valor predeterminado es WEB. |
Verifier | String | Falso | El código verificador devuelto por la fuente de datos después de que se haya otorgado el permiso para que la aplicación se conecte. Modo de autenticación WEB únicamente. |
Scope | String | Falso | El ámbito de acceso a las APIs. De forma predeterminada, se especificará el acceso a todas las APIs utilizadas por este proveedor de datos. |
CallbackURL | String | Falso | Este campo determina dónde se envía la respuesta. |
Prompt | String | Falso | Este campo indica el aviso para presentar al usuario. Acepta uno de los siguientes valores: NINGUNO, CONSENTIMIENTO, SELECCIONAR CUENTA. El valor predeterminado es SELECT_ACCOUNT, por lo que se le pedirá a un usuario determinado que seleccione la cuenta a la que conectarse. Si se establece en CONSENTIMIENTO, el usuario verá una página de consentimiento cada vez, incluso si previamente ha dado su consentimiento a la aplicación para un conjunto determinado de ámbitos. Por último, si se establece en NINGUNO, no se mostrarán pantallas de autenticación o consentimiento al usuario. El valor predeterminado es SELECT_ACCOUNT. |
AccessType | String | Falso | Este campo indica si su aplicación necesita acceder a una API de Google cuando el usuario no está presente en el navegador. Este parámetro está predeterminado en LÍNEA. Si su aplicación necesita actualizar los tokens de acceso cuando el usuario no está presente en el navegador, use OFFLINE. Esto hará que su aplicación obtenga un token de actualización la primera vez que intercambie un código de autorización para un usuario. |
State | String | Falso | Este campo indica cualquier estado que pueda ser de utilidad para su solicitud al recibir la respuesta. Su aplicación recibe el mismo valor que envió, ya que este parámetro realiza un viaje de ida y vuelta al servidor de autorización de Google y viceversa. Los usos incluyen redirigir al usuario al recurso correcto en su sitio, usar nonces y mitigar la falsificación de solicitudes entre sitios. |
Columnas del Conjunto de Resultados
Nombre | Tipo | Descripción |
---|---|---|
OAuthAccessToken | String | El token de autenticación devuelto por Google. Esto se puede usar en llamadas posteriores a otras operaciones para este servicio en particular. |
OAuthAccessTokenSecret | String | El secreto del token de acceso de OAuth. |
OAuthRefreshToken | String | Un token que puede usarse para obtener un nuevo token de acceso. |
ExpiresIn | String | El tiempo de vida restante en el token de acceso. |
\* | String | Otras salidas que puede devolver la fuente de datos. |
Obtener URL de Autorización de OAuth
Obtiene la URL de autorización de OAuth utilizada para la autenticación con orígenes de datos mediante OAuth.
Aporte
Nombre | Tipo | Obligatorio | Descripción |
---|---|---|---|
Cert | String | Falso | Ruta para un archivo .pfx de certificado personal. Solo disponible para OAuth 1.0. |
Cert_Password | String | Falso | Contraseña del certificado personal. Solo disponible para OAuth 1.0. |
Sign_Method | String | Falso | El método de firma utilizado para calcular la firma para OAuth 1.0. Los valores permitidos son HMAC-SHA1, PLAINTEXT. El valor predeterminado es HMAC-SHA1. |
Scope | String | Falso | El ámbito de acceso a las APIs. De forma predeterminada, se especificará el acceso a todas las APIs utilizadas por este proveedor de datos. |
CallbackURL | String | Falso | La URL a la que se redirigirá al usuario después de autorizar su aplicación. |
Prompt | String | Falso | Este campo indica el aviso para presentar al usuario. Acepta uno de los siguientes valores: NINGUNO, CONSENTIMIENTO, SELECCIONAR CUENTA. El valor predeterminado es SELECT_ACCOUNT, por lo que se le pedirá a un usuario determinado que seleccione la cuenta a la que conectarse. Si se establece en CONSENTIMIENTO, el usuario verá una página de consentimiento cada vez, incluso si previamente ha dado su consentimiento a la aplicación para un conjunto determinado de ámbitos. Por último, si se establece en NINGUNO, no se mostrarán pantallas de autenticación o consentimiento al usuario. El valor predeterminado es SELECT_ACCOUNT. |
AccessType | String | Falso | Este campo indica si su aplicación necesita acceder a una API de Google cuando el usuario no está presente en el navegador. Este parámetro está predeterminado en LÍNEA. Si su aplicación necesita actualizar los tokens de acceso cuando el usuario no está presente en el navegador, use OFFLINE. Esto hará que su aplicación obtenga un token de actualización la primera vez que intercambie un código de autorización para un usuario. |
State | String | Falso | Este campo indica cualquier estado que pueda ser de utilidad para su solicitud al recibir la respuesta. Su aplicación recibe el mismo valor que envió, ya que este parámetro realiza un viaje de ida y vuelta al servidor de autorización de Google y viceversa. Los usos posibles incluyen redirigir al usuario al recurso correcto en su sitio, usar nonces y mitigar la falsificación de solicitudes entre sitios. |
Other_Options | String | Falso | Otras opciones para controlar el comportamiento de OAuth. |
Columnas del Conjunto de Resultados
Nombre | Tipo | Descripción |
---|---|---|
AuthToken | String | El token de autorización, pasado al procedimiento almacenado GetOAuthAccessToken. |
AuthKey | String | El token secreto de autorización, pasado al procedimiento almacenado GetOAuthAccessToken. |
AuthSecret | String | Un nombre heredado utilizado para AuthKey, aceptado por compatibilidad. |
URL | String | La URL para completar la autenticación del usuario. |
RefreshOAuthAccessToken
Intercambia un token de actualización por un nuevo token de acceso.
Aporte
Nombre | Tipo | Obligatorio | Descripción |
---|---|---|---|
OAuthRefreshToken | String | Cierto | El token de actualización devuelto del intercambio de código de autorización original. |
Columnas del Conjunto de Resultados
Nombre | Tipo | Descripción |
---|---|---|
OAuthAccessToken | String | El token de autenticación devuelto desde la fuente de datos. Esto se puede usar en llamadas posteriores a otras operaciones para este servicio en particular. |
OAuthRefreshToken | String | El token de autenticación devuelto desde la fuente de datos. Esto se puede usar en llamadas posteriores a otras operaciones para este servicio en particular. |
ExpiresIn | String | El tiempo de vida restante en el token de acceso. |
Tablas del Sistema
Puede consultar las tablas del sistema que se describen en esta sección para acceder a la información del esquema, la información sobre la funcionalidad del origen de datos y las estadísticas de operación lote.
Tablas de Esquema
Las siguientes tablas devuelven metadatos de la base de datos para Parquet:
- sys_catalogs: enumera las bases de datos disponibles.
- sys_schemas: enumera los esquemas disponibles.
- sys_tablas: enumera las tablas y vistas disponibles.
- sys_tablecolumns: Describe las columnas de las tablas y vistas disponibles.
- procedimientos_sys: describe los procedimientos almacenados disponibles.
- parámetros_procedimiento_sys: Describe procedimiento almacenado* parámetros.
- sys_keycolumns: describe las claves principal y externa.
- índices_sys: Describe los índices disponibles.
Tablas de Fuentes de Datos
Las siguientes tablas devuelven información sobre cómo conectarse y consultar la fuente de datos:
- sys_connection_props: Devuelve información sobre las propiedades de conexión disponibles.
- sys_sqlinfo: describe las consultas SELECT que el conector puede descargar al origen de datos.
Tablas de Información de Consulta
La siguiente tabla devuelve estadísticas de consultar para consultas de modificación de datos, incluidas las operaciones lote:
- identidad_sys: devuelve información sobre operaciones lote o actualizaciones individuales.
Sys_catalogs
Enumera las bases de datos disponibles.
La siguiente consultar recupera todas las bases de datos determinadas por la cadena de conexión:
SELECT * FROM sys_catalogs
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | El nombre de la base de datos. |
Sys_schemas
Enumera los esquemas disponibles.
La siguiente consultar recupera todos los esquemas disponibles:
SELECT * FROM sys_schemas
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | El nombre de la base de datos. |
SchemaName | String | El nombre del esquema. |
Sys_tables
Enumera las tablas disponibles.
La siguiente consultar recupera las tablas y vistas disponibles:
SELECT * FROM sys_tables
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | La base de datos que contiene la tabla o vista. |
SchemaName | String | El esquema que contiene la tabla o vista. |
TableName | String | El nombre de la tabla o vista. |
TableType | String | El tipo de tabla (tabla o vista). |
Description | String | Una descripción de la tabla o vista. |
IsUpdateable | Boolean | Si la tabla se puede actualizar. |
Sys_tablecolumns
Describe las columnas de las tablas y vistas disponibles.
La siguiente consultar devuelve las columnas y los tipos de datos de la tabla SampleTable_1:
SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='SampleTable_1'
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | El nombre de la base de datos que contiene la tabla o vista. |
SchemaName | String | El esquema que contiene la tabla o vista. |
TableName | String | El nombre de la tabla o vista que contiene la columna. |
ColumnName | String | El nombre de la columna. |
DataTypeName | String | El nombre del tipo de datos. |
DataType | Int32 | Un número entero que indica el tipo de datos. Este valor se determina en tiempo de ejecución en función del ambiente. |
Length | Int32 | El tamaño de almacenamiento de la columna. |
DisplaySize | Int32 | El ancho máximo normal de la columna designada en caracteres. |
NumericPrecision | Int32 | El número máximo de dígitos en datos numéricos. La longitud de la columna en caracteres para datos de carácter y fecha y hora. |
NumericScale | Int32 | La escala de columna o número de dígitos a la derecha del punto decimal. |
IsNullable | Boolean | Si la columna puede contener nulo. |
Description | String | Una breve descripción de la columna. |
Ordinal | Int32 | El número de secuencia de la columna. |
IsAutoIncrement | String | Si el valor de la columna se asigna en incrementos fijos. |
IsGeneratedColumn | String | Si se genera la columna. |
IsHidden | Boolean | Si la columna está oculta. |
IsArray | Boolean | Si la columna es una matriz. |
Sys_keycolumns
Describe las claves primarias y foráneas. La siguiente consultar recupera la clave principal de la tabla SampleTable_1:
SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='SampleTable_1'
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | El nombre de la base de datos que contiene la clave. |
SchemaName | String | El nombre del esquema que contiene la clave. |
TableName | String | El nombre de la tabla que contiene la clave. |
ColumnName | String | El nombre de la columna clave. |
IsKey | Boolean | Si la columna es una clave principal en la tabla a la que se hace referencia en el campo TableName. |
IsForeignKey | Boolean | Si la columna es una clave externa a la que se hace referencia en el campo TableName. |
PrimaryKeyName | String | El nombre de la clave principal. |
ForeignKeyName | String | El nombre de la clave foránea. |
ReferencedCatalogName | String | La base de datos que contiene la clave principal. |
ReferencedSchemaName | String | El esquema que contiene la clave principal. |
ReferencedTableName | String | La tabla que contiene la clave principal. |
ReferencedColumnName | String | El nombre de la columna de la clave principal. |
Sys_foreignkeys
Describe las claves foráneas. La siguiente consultar recupera todas las claves foráneas que hacen referencia a otras tablas:
SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | El nombre de la base de datos que contiene la clave. |
SchemaName | String | El nombre del esquema que contiene la clave. |
TableName | String | El nombre de la tabla que contiene la clave. |
ColumnName | String | El nombre de la columna clave. |
PrimaryKeyName | String | El nombre de la clave principal. |
ForeignKeyName | String | El nombre de la clave foránea. |
ReferencedCatalogName | String | La base de datos que contiene la clave principal. |
ReferencedSchemaName | String | El esquema que contiene la clave principal. |
ReferencedTableName | String | La tabla que contiene la clave principal. |
ReferencedColumnName | String | El nombre de la columna de la clave principal. |
ForeignKeyType | String | Designa si la clave externa es una clave de importación (apunta a otras tablas) o de exportación (hace referencia desde otras tablas). |
Sys_indexes
Describe los índices disponibles. Al filtrar en los índices, puede escribir consultas más selectivas con tiempos de respuesta de consultar más rápidos.
La siguiente consultar recupera todos los índices que no son claves principales:
SELECT * FROM sys_indexes WHERE IsPrimary='false'
Columnas
Nombre | Tipo | Descripción |
---|---|---|
CatalogName | String | El nombre de la base de datos que contiene el índice. |
SchemaName | String | El nombre del esquema que contiene el índice. |
TableName | String | El nombre de la tabla que contiene el índice. |
IndexName | String | El nombre del índice. |
ColumnName | String | El nombre de la columna asociada con el índice. |
IsUnique | Boolean | True si el índice es único. Falso en caso contrario. |
IsPrimary | Boolean | True si el índice es una clave principal. Falso en caso contrario. |
Type | Int16 | Un valor entero correspondiente al tipo de índice: estadística (0), agrupado (1), hash (2) u otro (3). |
SortOrder | String | El orden de clasificación: A para ascender o D para descender. |
OrdinalPosition | Int16 | El número de secuencia de la columna en el índice. |
Sys_connection_props
Devuelve información sobre las propiedades de conexión disponibles y las establecidas en la cadena de conexión.
Al consultar esta tabla, se debe usar la cadena de conexión de configuración:
jdbc:cdata:parquet:config:
Esta cadena de conexión le permite consultar esta tabla sin una conexión válida.
La siguiente consultar recupera todas las propiedades de conexión que se han establecido en la cadena de conexión o se han establecido a través de un valor predeterminado:
SELECT * FROM sys_connection_props WHERE Value <> ''
Columnas
Nombre | Tipo | Descripción |
---|---|---|
Name | String | El nombre de la propiedad de conexión. |
ShortDescription | String | Una breve descripción. |
Type | String | El tipo de datos de la propiedad de conexión. |
Default | String | El valor predeterminado si no se establece uno explícitamente. |
Values | String | Una lista separada por comas de valores posibles. Se lanza un error de validación si se especifica otro valor. |
Value | String | El valor que establezca o un valor predeterminado preconfigurado. |
Required | Boolean | Si la propiedad es necesaria para conectarse. |
Category | String | La categoría de la propiedad de conexión. |
IsSessionProperty | String | Si la propiedad es una propiedad de sesión, utilizada para guardar información sobre la conexión actual. |
Sensitivity | String | El nivel de sensibilidad de la propiedad. Esto informa si la propiedad está ofuscada en los formularios de registro y autenticación. |
PropertyName | String | Una forma truncada en mayúsculas y minúsculas del nombre de la propiedad de conexión. |
Ordinal | Int32 | El índice del parámetro. |
CatOrdinal | Int32 | El índice de la categoría de parámetro. |
Hierarchy | String | Muestra las propiedades dependientes asociadas que deben configurarse junto con esta. |
Visible | Boolean | Informa si la propiedad está visible en la interfaz de usuario de la conexión. |
ETC | String | Diversa información miscelánea sobre la propiedad. |
Sys_sqlinfo
Describe el procesamiento de consultar SELECT que el conector puede descargar al origen de datos.
Procesamiento Colaborativo de Consultas
Al trabajar con fuentes de datos que no admiten SQL-92, puede consultar la vista sys_sqlinfo para determinar las capacidades de consultar de las APIs subyacentes, expresadas en sintaxis SQL. El conector descarga la mayor cantidad posible del procesamiento de sentencias SELECT al servidor y luego procesa el resto de la consultar en la memoria.
Descubrimiento de las Capacidades SELECT de la Fuente de Datos
A continuación se muestra un conjunto de datos de ejemplo de las capacidades de SQL. El siguiente conjunto de resultados indica la funcionalidad SELECT que el conector puede descargar en el origen de datos o en el lado del cliente del proceso. Su fuente de datos puede admitir sintaxis SQL adicional. Algunos aspectos de la funcionalidad SELECT se devuelven en una lista separada por comas si es compatible; de lo contrario, la columna contiene NO.
Nombre | Descripción | Valores posibles |
---|---|---|
AGGREGATE_FUNCTIONS | Funciones de agregación admitidas. | AVG , COUNT , MAX , MIN , SUM , DISTINCT |
COUNT | Si se admite la función COUNT. | YES , NO |
IDENTIFIER_QUOTE_OPEN_CHAR | El carácter de apertura utilizado para escapar de un identificador. | [ |
IDENTIFIER_QUOTE_CLOSE_CHAR | El carácter de cierre utilizado para escapar de un identificador. | ] |
SUPPORTED_OPERATORS | Una lista de operadores de SQL admitidos. | = , > , < , >= , <= , <> , != , LIKE , NOT LIKE , IN , NOT IN , IS NULL , IS NOT NULL , AND , OR |
GROUP_BY | Si se admite GROUP BY y, de ser así, el grado de compatibilidad. | NO , NO_RELATION , EQUALS_SELECT , SQL_GB_COLLATE |
STRING_FUNCTIONS | Funciones de cadena admitidas. | LENGTH , CHAR , LOCATE , REPLACE , SUBSTRING , RTRIM , LTRIM , RIGHT , LEFT , UCASE , SPACE , SOUNDEX , LCASE , CONCAT , ASCII , REPEAT , OCTET , BIT , POSITION , INSERT , TRIM , UPPER , REGEXP , LOWER , DIFFERENCE , CHARACTER , SUBSTR , STR , REVERSE , PLAN , UUIDTOSTR , TRANSLATE , TRAILING , TO , STUFF , STRTOUUID , STRING , SPLIT , SORTKEY , SIMILAR , REPLICATE , PATINDEX , LPAD , LEN , LEADING , KEY , INSTR , INSERTSTR , HTML , GRAPHICAL , CONVERT , COLLATION , CHARINDEX , BYTE |
NUMERIC_FUNCTIONS | Funciones numéricas compatibles. | ABS , ACOS , ASIN , ATAN , ATAN2 , CEILING , COS , COT , EXP , FLOOR , LOG , MOD , SIGN , SIN , SQRT , TAN , PI , RAND , DEGREES , LOG10 , POWER , RADIANS , ROUND , TRUNCATE |
TIMEDATE_FUNCTIONS | Funciones de fecha/hora admitidas. | NOW , CURDATE , DAYOFMONTH , DAYOFWEEK , DAYOFYEAR , MONTH , QUARTER , WEEK , YEAR , CURTIME , HOUR , MINUTE , SECOND , TIMESTAMPADD , TIMESTAMPDIFF , DAYNAME , MONTHNAME , CURRENT_DATE , CURRENT_TIME , CURRENT_TIMESTAMP , EXTRACT |
REPLICATION_SKIP_TABLES | Indica tablas omitidas durante la replicación. | |
REPLICATION_TIMECHECK_COLUMNS | Una matriz de cadenas que contiene una lista de columnas que se usarán para verificar (en el orden dado) para usar como una columna modificada durante la replicación. | |
IDENTIFIER_PATTERN | Valor de cadena que indica qué cadena es válida para un identificador. | |
SUPPORT_TRANSACTION | Indica si el proveedor admite transacciones como compromiso y reversión. | YES , NO |
DIALECT | Indica el dialecto SQL a usar. | |
KEY_PROPERTIES | Indica las propiedades que identifican la base de datos uniforme. | |
SUPPORTS_MULTIPLE_SCHEMAS | Indica si pueden existir varios esquemas para el proveedor. | YES , NO |
SUPPORTS_MULTIPLE_CATALOGS | Indica si pueden existir varios catálogos para el proveedor. | YES , NO |
DATASYNCVERSION | La versión de sincronización de datos necesaria para acceder a este controlador. | Standard , Starter , Professional , Enterprise |
DATASYNCCATEGORY | La categoría Sincronización de datos de este controlador. | Source , Destination , Cloud Destination |
SUPPORTSENHANCEDSQL | Si se admite la funcionalidad de SQL mejorada más allá de lo que ofrece la API. | TRUE , FALSE |
SUPPORTS_BATCH_OPERATIONS | Si se admiten las operaciones lote. | YES , NO |
SQL_CAP | Todas las funciones de SQL admitidas para este controlador. | SELECT , INSERT , DELETE , UPDATE , TRANSACTIONS , ORDERBY , OAUTH , ASSIGNEDID , LIMIT , LIKE , BULKINSERT , COUNT , BULKDELETE , BULKUPDATE , GROUPBY , HAVING , AGGS , OFFSET , REPLICATE , COUNTDISTINCT , JOINS , DROP , CREATE , DISTINCT , INNERJOINS , SUBQUERIES , ALTER , MULTIPLESCHEMAS , GROUPBYNORELATION , OUTERJOINS , UNIONALL , UNION , UPSERT , GETDELETED , CROSSJOINS , GROUPBYCOLLATE , MULTIPLECATS , FULLOUTERJOIN , MERGE , JSONEXTRACT , BULKUPSERT , SUM , SUBQUERIESFULL , MIN , MAX , JOINSFULL , XMLEXTRACT , AVG , MULTISTATEMENTS , FOREIGNKEYS , CASE , LEFTJOINS , COMMAJOINS , WITH , LITERALS , RENAME , NESTEDTABLES , EXECUTE , BATCH , BASIC , INDEX |
PREFERRED_CACHE_OPTIONS | Un valor de cadena especifica las cacheOptions preferidas. | |
ENABLE_EF_ADVANCED_QUERY | Indica si el controlador admite directamente consultas avanzadas provenientes de Entity Framework. De lo contrario, las consultas se manejarán del lado del cliente. | YES , NO |
PSEUDO_COLUMNS | Una matriz de cadenas que indica las pseudocolumnas disponibles. | |
MERGE_ALWAYS | Si el valor es verdadero, el modo de combinación se ejecuta a la fuerza en la sincronización de datos. | TRUE , FALSE |
REPLICATION_MIN_DATE_QUERY | Una consultar de selección para devolver la fecha y hora de inicio de la réplica. | |
REPLICATION_MIN_FUNCTION | Permite que un proveedor especifique el nombre de la fórmula que se usará para ejecutar un min del lado del servidor. | |
REPLICATION_START_DATE | Permite que un proveedor especifique una fecha de inicio de réplica. | |
REPLICATION_MAX_DATE_QUERY | Una consultar de selección para devolver la fecha y hora de finalización de la réplica. | |
REPLICATION_MAX_FUNCTION | Permite que un proveedor especifique el nombre de la fórmula que se usará para ejecutar un máx. del lado del servidor. | |
IGNORE_INTERVALS_ON_INITIAL_REPLICATE | Una lista de tablas que omitirán dividir la réplica en fragmentos en la réplica inicial. | |
CHECKCACHE_USE_PARENTID | Indica si la instrucción CheckCache debe realizarse en la columna de clave principal. | TRUE , FALSE |
CREATE_SCHEMA_PROCEDURES | Indica procedimientos almacenados* que se puede utilizar para generar archivos de esquema. |
La siguiente consultar recupera los operadores que se pueden usar en la cláusula WHERE:
SELECT * FROM sys_sqlinfo WHERE Name='SUPPORTED_OPERATORS'
Tenga en cuenta que las tablas individuales pueden tener diferentes limitaciones o requisitos en la cláusula WHERE; consulte el Modelo de datos para obtener más información.
Columnas
Nombre | Tipo | Descripción |
---|---|---|
NAME | String | Un componente de la sintaxis SQL o una capacidad que se puede procesar en el servidor. |
VALUE | String | Detalles sobre el SQL o la sintaxis de SQL admitidos. |
Sys_identidad
Devuelve información sobre los intentos de modificación.
La siguiente consultar recupera los Id. de las filas modificadas en una operación lote:
SELECT * FROM sys_identity
Columnas
Nombre | Tipo | Descripción |
---|---|---|
Id | String | El ID generado por la base de datos devuelto de una operación de modificación de datos. |
Batch | String | Un identificador para el lote. 1 para una sola operación. |
Operation | String | El resultado de la operación en el lote: INSERTADO, ACTUALIZADO o ELIMINADO. |
Message | String | ÉXITO o un mensaje de error si falla la actualización en el lote. |
Propiedades de Configuraciones Avanzadas
Las propiedades de configuraciones avanzadas son las diversas opciones que se pueden utilizar para establecer una conexión. Esta sección proporciona una lista completa de las opciones que puede configurar. Haga clic en los enlaces para obtener más detalles.
Propiedad | Descripción |
---|---|
AuthScheme | El tipo de autenticación que se utilizará al conectarse a servicios remotos. |
AccessKey | Su clave de acceso a la cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad. |
SecretKey | La clave secreta de su cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad. |
ApiKey | La clave de API utilizada para identificar al usuario en IBM Cloud. |
User | La cuenta de usuario de Parquet utilizada para la autenticación. |
Password | La contraseña utilizada para autenticar al usuario. |
SharePointEdition | La edición de SharePoint que se está utilizando. Establezca SharePointOnline o SharePointOnPremise. |
Propiedad | Descripción |
---|---|
URI | El identificador uniforme de recursos (URI) para la ubicación de recursos de Parquet. |
DataModel | Especifica el modelo de datos que se usará al analizar documentos de Parquet y generar los metadatos de la base de datos. |
Region | La región de alojamiento para sus servicios web similares a S3. |
ProjectId | El ID del proyecto donde reside su instancia de Google Cloud Storage. |
OracleNamespace | El espacio de nombres de Oracle Cloud Object Storage que se utilizará. |
StorageBaseURL | La URL de un proveedor de servicios de almacenamiento en la nube. |
UseVirtualHosting | Si es verdadero (predeterminado), se hará referencia a los depósitos en la solicitud mediante la solicitud de estilo alojado: http://yourbucket.s3.amazonaws.com/yourobject . Si se establece en falso, el bean utilizará la solicitud de estilo de ruta: http://s3.amazonaws.com/yourbucket/yourobject . Tenga en cuenta que esta propiedad se establecerá en falso, en el caso de un servicio personalizado basado en S3 cuando se especifica CustomURL. |
Propiedad | Descripción |
---|---|
AWSAccessKey | Su clave de acceso a la cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS. |
AWSSecretKey | La clave secreta de su cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS. |
AWSRoleARN | El nombre de recurso de Amazon del rol que se usará al autenticarse. |
AWSPrincipalARN | El ARN del proveedor de identidad SAML en su cuenta de AWS. |
AWSRegion | La región de alojamiento de sus Amazon Web Services. |
AWSSessionToken | Su token de sesión de AWS. |
MFASerialNumber | El número de serie del dispositivo MFA, si se está utilizando uno. |
MFAToken | El token temporal disponible desde su dispositivo MFA. |
Propiedad | Descripción |
---|---|
AzureStorageAccount | El nombre de su cuenta de almacenamiento de Azure. |
AzureAccessKey | La clave de almacenamiento asociada a su cuenta de Parquet. |
AzureSharedAccessSignature | Una firma de clave de acceso compartido que se puede utilizar para la autenticación. |
AzureTenant | El inquilino de Microsoft Online que se usa para acceder a los datos. Si no se especifica, se utilizará su tentant predeterminado. |
AzureEnvironment | El ambiente de Azure que se usará al establecer una conexión. |
Propiedad | Descripción |
---|---|
SSOLoginURL | La URL de inicio de sesión del proveedor de identidad. |
SSOProperties | Se requieren propiedades adicionales para conectarse al proveedor de identidad en una lista separada por punto y coma. |
Propiedad | Descripción |
---|---|
InitiateOAuth | Establezca esta propiedad para iniciar el proceso para obtener o actualizar el token de acceso de OAuth cuando se conecte. |
OAuthVersion | La versión de OAuth que se está utilizando. |
OAuthClientId | El ID de cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth. |
OAuthClientSecret | El secreto del cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth. |
OAuthAccessToken | El token de acceso para conectarse mediante OAuth. |
OAuthAccessTokenSecret | El secreto del token de acceso de OAuth para conectarse mediante OAuth. |
CallbackURL | La URL de devolución de llamada de OAuth a la que volver cuando se autentica. Este valor debe coincidir con la URL de devolución de llamada que especifica en la configuración de su aplicación. |
OAuthGrantType | El tipo de concesión para el flujo de OAuth. |
OAuthPasswordGrantMode | Cómo pasar el ID de cliente y el secreto con OAuthGrantType se establece en Contraseña. |
OAuthIncludeCallbackURL | Si incluir la URL de devolución de llamada en una solicitud de token de acceso. |
OAuthAuthorizationURL | La URL de autorización para el servicio OAuth. |
OAuthAccessTokenURL | La URL desde la que recuperar el token de acceso de OAuth. |
OAuthRefreshTokenURL | La URL desde la que actualizar el token de OAuth. |
OAuthRequestTokenURL | La URL que proporciona el servicio para recuperar los tokens de solicitud. Esto es obligatorio en OAuth 1.0. |
OAuthVerifier | El código verificador devuelto desde la URL de autorización de OAuth. |
AuthToken | El token de autenticación utilizado para solicitar y obtener el token de acceso de OAuth. |
AuthKey | El secreto de autenticación utilizado para solicitar y obtener el token de acceso de OAuth. |
OAuthParams | Una lista separada por comas de otros parámetros para enviar en la solicitud del token de acceso de OAuth en el formato paramname=value. |
OAuthRefreshToken | El token de actualización de OAuth para el token de acceso de OAuth correspondiente. |
OAuthExpiresIn | La vida útil en segundos del AccessToken de OAuth. |
OAuthTokenTimestamp | La marca de tiempo de la época de Unix en milisegundos cuando se creó el token de acceso actual. |
Propiedad | Descripción |
---|---|
OAuthJWTCert | El almacén de certificados JWT. |
OAuthJWTCertType | El tipo de almacén de claves que contiene el certificado JWT. |
OAuthJWTCertPassword | La contraseña para el certificado OAuth JWT. |
OAuthJWTCertSubject | El asunto del certificado OAuth JWT. |
OAuthJWTIssuer | El emisor del token web de Java. |
OAuthJWTSubject | El sujeto de usuario para el que la aplicación solicita acceso delegado. |
Propiedad | Descripción |
---|---|
KerberosKDC | El servicio Kerberos Key Distribution Center (KDC) utilizado para autenticar al usuario. |
KerberosRealm | El reino de Kerberos utilizado para autenticar al usuario. |
KerberosSPN | El nombre principal de servicio (SPN) para el controlador de dominio Kerberos. |
KerberosKeytabFile | El archivo Keytab que contiene sus pares de principales de Kerberos y claves cifradas. |
KerberosServiceRealm | El dominio Kerberos del servicio. |
KerberosServiceKDC | El KDC de Kerberos del servicio. |
KerberosTicketCache | La ruta completa del archivo a un archivo de caché de credenciales de MIT Kerberos. |
Propiedad | Descripción |
---|---|
SSLClientCert | El almacén de certificados de cliente TLS/SSL para la autenticación de cliente SSL (SSL bidireccional). |
SSLClientCertType | El tipo de almacén de claves que contiene el certificado de cliente TLS/SSL. |
SSLClientCertPassword | La contraseña para el certificado de cliente TLS/SSL. |
SSLClientCertSubject | El asunto del certificado de cliente TLS/SSL. |
SSLMode | El mecanismo de autenticación que se utilizará al conectarse al servidor FTP o FTPS. |
SSLServerCert | El certificado que se aceptará del servidor al conectarse mediante TLS/SSL. |
Propiedad | Descripción |
---|---|
SSHAuthMode | El método de autenticación que se utilizará para iniciar sesión en un servidor SFTP. |
SSHClientCert | Un certificado que se utilizará para autenticar al usuario. |
SSHClientCertPassword | La contraseña del certificado SSHClientCert si lo tiene. |
SSHClientCertType | El tipo de certificado SSHClientCert. |
Propiedad | Descripción |
---|---|
Location | Una ruta al directorio que contiene los archivos de esquema que definen tablas, vistas y procedimientos almacenados. |
BrowsableSchemas | Esta propiedad restringe los esquemas informados a un subconjunto de los esquemas disponibles. Por ejemplo, BrowsableSchemas=SchemaA, SchemaB, SchemaC. |
Tables | Esta propiedad restringe las tablas notificadas a un subconjunto de las tablas disponibles. Por ejemplo, Tablas=TablaA, TablaB, TablaC. |
Views | Restringe las vistas informadas a un subconjunto de las tablas disponibles. Por ejemplo, Vistas=VistaA, VistaB, VistaC. |
FlattenObjects | Establezca FlattenObjects en true para aplanar las propiedades de los objetos en sus propias columnas. De lo contrario, los objetos anidados en matrices se devuelven como cadenas de JSON. |
FlattenArrays | De forma predeterminada, las matrices anidadas se devuelven como cadenas. La propiedad FlattenArrays se puede usar para aplanar los elementos de matrices anidadas en columnas propias. Establezca FlattenArrays en la cantidad de elementos que desea devolver de las matrices anidadas. |
Propiedad | Descripción |
---|---|
AggregateFiles | Cuando se establece en verdadero, el proveedor agregará todos los archivos en el directorio URI en un solo resultado. Con esta opción habilitada, se expondrán los archivos agregados que se pueden usar para consultar el conjunto de datos. |
Charset | Especifica el conjunto de caracteres de sesión para codificar y decodificar datos de caracteres transferidos hacia y desde el archivo Parquet. El valor predeterminado es UTF-8. |
ClientCulture | Esta propiedad se puede utilizar para especificar el formato de datos (por ejemplo, valores de moneda) que acepta la aplicación cliente. Esta propiedad se puede usar cuando la aplicación cliente no admite la configuración cultural de la máquina. Por ejemplo, Microsoft Access requiere 'en-US'. |
Compression | Especifica qué codificación de compresión se usará al crear archivos .parquet usando Crear instrucción de tabla e Inserciones masivas. |
Culture | Esta configuración se puede usar para especificar la configuración cultural que determina cómo el proveedor interpreta ciertos tipos de datos que se pasan al proveedor. Por ejemplo, configurar Culture='de-DE' generará formatos alemanes incluso en una máquina estadounidense. |
DeleteDownloadedFiles | Cuando se establece en verdadero, el proveedor eliminará los archivos .parquet analizados descargados de las fuentes de la nube. |
DirectoryRetrievalDepth | Limite las subcarpetas escaneadas recursivamente cuando la opción Incluir subdirectorios está habilitada. |
EnableDictionary | Cuando se establece en verdadero, el proveedor habilitará la codificación del diccionario al crear archivos .parquet mediante Crear instrucción de tabla e Inserciones masivas. |
ExcludeFiles | Lista separada por comas de extensiones de archivo para excluir del conjunto de archivos modelados como tablas. |
IncludeDropboxTeamResources | Indica si desea incluir archivos y carpetas del equipo de Dropbox. |
IncludeFiles | Lista separada por comas de extensiones de archivo para incluir en el conjunto de archivos modelados como tablas. |
IncludeSubdirectories | Ya sea para leer archivos de carpetas anidadas. En el caso de una colisión de nombres, los nombres de las tablas tienen como prefijo los nombres de las carpetas separados por guiones bajos. |
InsertMode | El comportamiento cuando se usan inserciones masivas para crear archivos Parquet. |
MaxRows | Limita el número de filas devueltas cuando no se usa agregación o agrupación en la consultar. Esto ayuda a evitar problemas de rendimiento en el momento del diseño. |
MetadataDiscoveryURI | Esta propiedad, que se usa cuando se agregan varios archivos en una tabla, especifica un archivo específico para leer y determinar el esquema de la tabla agregada. |
Other | Estas propiedades ocultas se usan solo en casos de uso específicos. |
PageSize | (Opcional) Valor de tamaño de página. |
ParallelPagingSizeLimit | Límite de tamaño de archivo de Parquet (MegaBytes) para el que usar la paginación paralela. |
PathSeparator | Determina el carácter que se utilizará para reemplazar el separador de archivos. |
PseudoColumns | Esta propiedad indica si incluir o no pseudocolumnas como columnas en la tabla. |
TemporaryLocalFolder | La ruta, o URI, a la carpeta que se usa para descargar temporalmente los archivos de parquet. |
Timeout | El valor en segundos hasta que se lanza el error de tiempo de espera, cancelando la operación. |
Autenticación
Esta sección proporciona una lista completa de las propiedades de autenticación que puede configurar.
Propiedad | Descripción |
---|---|
AuthScheme | El tipo de autenticación que se utilizará al conectarse a servicios remotos. |
AccessKey | Su clave de acceso a la cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad. |
SecretKey | La clave secreta de su cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad. |
ApiKey | La clave de API utilizada para identificar al usuario en IBM Cloud. |
User | La cuenta de usuario de Parquet utilizada para la autenticación. |
Password | La contraseña utilizada para autenticar al usuario. |
SharePointEdition | La edición de SharePoint que se está utilizando. Establezca SharePointOnline o SharePointOnPremise. |
AuthScheme
El tipo de autenticación que se utilizará al conectarse a servicios remotos.
Valores Posibles
None
, Basic
, Auto
, Digest
, NTLM
, Negotiate
, OAuth
, OAuthJWT
, SFTP
, FTP
, SSLCertificate
, AwsRootKeys
, AwsIAMRoles
, AwsEC2Roles
, AwsMFA
, AwsTempCredentials
, AwsCredentialsFile
, AzureAD
, AzureServicePrincipal
, AzureMSI
, OKTA
, ADFS
, OneLogin
, PingFederate
, HMAC
Tipo de Datos
string
Valor por Defecto
"None"
Observaciones
General
Las siguientes opciones están generalmente disponibles para todas las conexiones:
- Ninguno: no utiliza autenticación.
- Básico: utiliza la autenticación básica con Usuario y contraseña.
- Automático: determina el tipo correcto de autenticación que se utilizará en función del servicio. Los archivos locales y HTTP usarán Ninguno.
HTTP
Las siguientes opciones están disponibles cuando URI se refiere a un servicio web:
- Digest: utiliza la autenticación HTTP Digest con Usuario y contraseña.
- NTLM: utiliza autenticación NTLM con Usuario y contraseña establecido en sus credenciales de Windows.
- Negociar: Negocia con el servidor para determinar un esquema de autenticación. Normalmente se usa con Kerberos, que requiere KerberosKDC, Reino de Kerberos y KerberosSPN.
- OAuth: utiliza OAuth1 u OAuth2, con el flujo específico determinado por el OAuthGrantType. Versión OAuth debe establecerse para determinar qué versión de OAuth se utiliza.
- SSL: utiliza certificados de cliente SSL para autenticarse. Requiere que URI se establezca en una URL HTTPS y que SSLClientCert y SSLClientCertType establecerse.
AWS
Las siguientes opciones también están disponibles cuando URI apunta a un servicio de Amazon:
- AwsRootKeys: configure esto para usar la clave de acceso y el secreto del usuario raíz. Útil para pruebas rápidas, pero se recomienda que los casos de uso de producción usen algo con permisos limitados.
- AwsIAMRoles: Configure para usar roles de IAM para la conexión.
- AwsEC2Roles: configure esto para usar automáticamente los roles de IAM asignados a la máquina EC2 en la que se está ejecutando Jitterbit Connector for Parquet.
- AwsMFA: configurado para usar la autenticación de múltiples factores.
- OKTA: configurado para usar una conexión de inicio de sesión único con OKTA como proveedor de identificación.
- ADFS: configure para usar una conexión de inicio de sesión único con ADFS como proveedor de identificación.
- Microsoft Entra ID: configurado para usar una conexión de inicio de sesión único con Microsoft Entra ID como proveedor de identificación.
- AwsTempCredentials: configure esto para aprovechar las credenciales de seguridad temporales junto con un token de sesión para conectarse.
- AwsCredentialsFile: configurado para usar un archivo de credenciales para la autenticación.
Azure
Las siguientes opciones también están disponibles cuando URI apunta a un servicio de Azure:
- Microsoft Entra ID: configure esto para realizar la autenticación OAuth de Azure Active Directory.
- AzureServicePrincipal: configure esto para autenticarse como una entidad de servicio de Azure.
- AzureMSI: configure esto para obtener automáticamente las credenciales de identidad de servicio administrado cuando se ejecuta en una máquina virtual de Azure.
SharePoint
Las siguientes opciones también están disponibles cuando URI apunta a un servicio SOAP de SharePoint:
- OKTA: configurado para usar una conexión de inicio de sesión único con OKTA como proveedor de identificación.
- ADFS: configure para usar una conexión de inicio de sesión único con ADFS como proveedor de identificación.
- OneLogin: configurado para usar una conexión de inicio de sesión único con OneLogin como proveedor de identificación.
- PingFederate: configurado para usar una conexión de inicio de sesión único con PingFederate como proveedor de identificación.
Almacenamiento de Objetos en la Nube de IBM
Las siguientes opciones también están disponibles cuando URI apunta a un servicio de IBM Cloud Object Storage:
- OAuth: utiliza OAuth con el flujo específico determinado por InitiateOAuth. Clave API debe configurarse para completar correctamente este flujo.
- HMAC: Utiliza AccessKey y Clave secreta para autenticarse en el servicio IBM Cloud Object Storage.
Llave de Acceso
Su clave de acceso a la cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Su clave de acceso a la cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad según el servicio que esté utilizando.
Llave Secreta
La clave secreta de su cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La clave secreta de su cuenta. Se puede acceder a este valor desde su página de credenciales de seguridad según el servicio que esté utilizando.
Clave API
La clave de API utilizada para identificar al usuario en IBM Cloud.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El acceso a los recursos en la API REST de Parquet se rige por una clave de API para recuperar el token. Se puede crear una clave de API navegando a Administrar --> Acceso (IAM) --> Usuarios y haciendo clic en 'Crear'.
Usuario
La cuenta de usuario de Parquet utilizada para la autenticación.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Junto con Contraseña, este campo se utiliza para autenticarse en el servidor de Parquet.
Contraseña
La contraseña utilizada para autenticar al usuario.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El usuario y Password
se usan juntos para autenticarse con el servidor.
Edición de SharePoint
La edición de SharePoint que se está utilizando. Establezca SharePointOnline o SharePointOnPremise.
Valores Posibles
SharePointOnline
, SharePointOnPremise
Tipo de Datos
string
Valor por Defecto
"SharePointOnline"
Observaciones
La edición de SharePoint que se está utilizando. Establezca SharePointOnline o SharePointOnPremise.
Conexión
Esta sección proporciona una lista completa de las propiedades de conexión que puede configurar.
Propiedad | Descripción |
---|---|
URI | El identificador uniforme de recursos (URI) para la ubicación de recursos de Parquet. |
DataModel | Especifica el modelo de datos que se usará al analizar documentos de Parquet y generar los metadatos de la base de datos. |
Region | La región de alojamiento para sus servicios web similares a S3. |
ProjectId | El ID del proyecto donde reside su instancia de Google Cloud Storage. |
OracleNamespace | El espacio de nombres de Oracle Cloud Object Storage que se utilizará. |
StorageBaseURL | La URL de un proveedor de servicios de almacenamiento en la nube. |
UseVirtualHosting | Si es verdadero (predeterminado), se hará referencia a los depósitos en la solicitud mediante la solicitud de estilo alojado: http://yourbucket.s3.amazonaws.com/yourobject . Si se establece en falso, el bean utilizará la solicitud de estilo de ruta: http://s3.amazonaws.com/yourbucket/yourobject . Tenga en cuenta que esta propiedad se establecerá en falso, en el caso de un servicio personalizado basado en S3 cuando se especifica CustomURL. |
URI
El identificador uniforme de recursos (URI) para la ubicación de recursos de Parquet.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Selecciona el URI
propiedad para especificar una ruta a un archivo o secuencia.
Consulte las funciones más avanzadas disponibles para analizar y fusionar varios archivos.
A continuación se muestran ejemplos de URI
formatos para las fuentes de datos disponibles:
Proveedor de servicios | Formatos URI |
---|---|
locales | Ruta de archivo único Una tabla localPath/file.parquet file://localPath/file.parquet Ruta del directorio (una tabla por archivo) rutalocal file://localPath |
HTTP o HTTPS | http://remoteStream https://remoteStream |
Amazon S3 | Ruta de archivo único Una tabla s3://remotePath/file.parquet Ruta del directorio (una tabla por archivo) s3://remotePath |
Almacenamiento de blobs de Azure | Ruta de archivo único Una tabla azureblob://mycontainer/myblob//file.parquet Ruta del directorio (una tabla por archivo) azureblob://mycontainer/myblob/ |
OneDrive | Ruta de archivo único Una tabla onedrive://remotePath/file.parquet Ruta del directorio (una tabla por archivo) onedrive://remotePath |
Google Cloud Storage | Ruta de archivo único Una tabla gs://bucket/remotePath/file.parquet Ruta del directorio (una tabla por archivo) gs://bucket/remotePath |
Google Drive | Ruta de archivo único Una tabla gdrive://remotePath/file.parquet Ruta del directorio (una tabla por archivo) gdrive://remotePath |
Box | Ruta de archivo único Una tabla box://remotePath/file.parquet Ruta del directorio (una tabla por archivo) box://remotePath |
FTP o FTPS | Ruta de archivo único Una tabla ftp://server:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) ftp://server:port/remotePath |
SFTP | Ruta de archivo único Una tabla sftp://server:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) sftp://server:port/remotePath |
Sharepoint | Ruta de archivo único Una tabla sp://https://server/remotePath/file.parquet Ruta del directorio (una tabla por archivo) sp://https://server/remotePath |
Ejemplos de Cadenas de Conexión y Consultas
A continuación se muestran ejemplos de cadenas de conexión a archivos o secuencias de Parquet.
Proveedor de servicios | Formatos URI | Ejemplo de conexión | Ejemplo de consulta (si la carpeta 1 contiene el archivo 1. Parquet o streamname1 es una transmisión de Parquet) |
---|---|---|---|
locales | Ruta de archivo único Una tabla localPath file://localPath/file.parquet Ruta del directorio (una tabla por archivo) rutalocal file://localPath | URI=C:\carpeta1/archivo.parquet | SELECCIONE * DESDE archivo1 |
HTTP o HTTPS | http://remoteStream https://remoteStream | URI=http://www.host1.com/streamname1; | SELECCIONE * DESDE la tabla transmitida |
Amazon S3 | Ruta de archivo único Una tabla s3://bucket1/folder1/file.parquet Ruta del directorio (una tabla por archivo) s3://bucket1/folder1 | URI=s3://bucket1/folder1/file.parquet; AWSAccessKey=token1; AWSSecretKey=secreto1; AWSRegión=OHIO; | SELECCIONE * DESDE archivo1 |
Almacenamiento de blobs de Azure | Ruta de archivo único Una tabla azureblob://mycontainer/myblob//file.parquet Ruta del directorio (una tabla por archivo) azureblob://mycontainer/myblob/ | URI=azureblob://mycontainer/myblob/; AzureStorageAccount=miCuenta; AzureAccessKey=miClave; URI=azureblob://mycontainer/myblob/; AzureStorageAccount=miCuenta; Iniciar OAuth=GETANDREFRESH; AuthScheme=OAuth; | SELECCIONE * DESDE archivo1 |
OneDrive | Ruta de archivo único Una tabla onedrive://remotePath/file.parquet Ruta del directorio (una tabla por archivo) onedrive://remotePath | URI=onedrive://folder1/file.parquet;InitiateOAuth=GETANDREFRESH; AuthScheme=OAuth; URI=onedrive://SharedWithMe/folder1/file.parquet;InitiateOAuth=GETANDREFRESH; AuthScheme=OAuth; | SELECCIONE * DESDE archivo1 |
Google Cloud Storage | Ruta de archivo único Una tabla gs://bucket/remotePath/file.parquet Ruta del directorio (una tabla por archivo) gs://bucket/remotePath | URI=gs://bucket/folder1/file.parquet; Iniciar OAuth=GETANDREFRESH; AuthScheme=OAuth; ProyectoId=prueba; | SELECCIONE * DESDE archivo1 |
Google Drive | Ruta de archivo único Una tabla gdrive://remotePath/file.parquet Ruta del directorio (una tabla por archivo) gdrive://remotePath | URI=gdrive://folder1/file.parquet;InitiateOAuth=GETANDREFRESH; | SELECCIONE * DESDE archivo1 |
Box | Ruta de archivo único Una tabla box://remotePath/file.parquet Ruta del directorio (una tabla por archivo) box://remotePath | URI=box://folder1/file.parquet; Iniciar OAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345; | SELECCIONE * DESDE archivo1 |
FTP o FTPS | Ruta de archivo único Una tabla ftp://server:port/remotePath/file.parquet Ruta del directorio (una tabla por archivo) ftp://server:port/remotePath | URI=ftps://localhost:990/folder1/file.parquet; Usuario=usuario1; Contraseña=contraseña1; | SELECCIONE * DESDE archivo1 |
SFTP | sftp://server:port/remotePath | URI=sftp://127.0.0.1:22/remotePath/file.parquet; Usuario=usuario1; Contraseña=contraseña1; | SELECCIONE * DESDE archivo1 |
Sharepoint | sp://https://server/remotePath | URI=sp://https://domain.sharepoint.com/Documents/file.parquet; Usuario=usuario1; Contraseña=contraseña1; | SELECCIONE * DESDE archivo1 |
Modelo de Datos
Especifica el modelo de datos que se usará al analizar documentos de Parquet y generar los metadatos de la base de datos.
Valores Posibles
None
, Document
, FlattenedDocuments
, Relational
Tipo de Datos
string
Valor por Defecto
"Document"
Observaciones
El conector divide los documentos en filas según los objetos anidados en las matrices. Seleccione un DataModel
configuración para configurar cómo el conector modela matrices de objetos anidados en tablas.
Selección de una Estrategia de Modelado de Datos
La siguiente DataModel
configuraciones disponibles.
-
Document
Devuelve una sola tabla que representa una fila para cada objeto de nivel superior. En este modelo de datos, las matrices de objetos anidados no se aplanarán y se devolverán como agregados.
-
FlattenedDocuments
Devuelve una sola tabla que representa un SQL CROSS JOIN de los documentos disponibles en el archivo.
-
Relational
Devuelve varias tablas, una para cada matriz de objetos anidados. En este modelo de datos, todos los documentos anidados (matrices de objetos) se devolverán como tablas relacionales que contienen una clave principal y una clave externa que se vincula a la tabla principal.
Ver También
- FlattenArrays y AplanarObjetos: personalice las columnas que se identificarán para cada uno de estos modelos de datos.
- Análisis de datos jerárquicos: Compare los esquemas resultantes de diferentes
DataModel
configuración, con consultas de ejemplo.
Región
La región de alojamiento para sus servicios web similares a S3.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La región de alojamiento para sus servicios web similares a S3.
Regiones de Almacenamiento de Objetos de Oracle Cloud
Valor | Región |
---|---|
Regiones comerciales en la nube | |
ap-hyderabad-1 | Sur de la India (Hyderabad) |
ap-melbourne-1 | Sureste de Australia (Melbourne) |
ap-mumbai-1 | Oeste de la India (Mumbai) |
ap-osaka-1 | Centro de Japón (Osaka) |
ap-seoul-1 | Corea del Sur Central (Seúl) |
ap-sydney-1 | Este de Australia (Sídney) |
ap-tokyo-1 | Este de Japón (Tokio) |
ca-montreal-1 | Sudeste de Canadá (Montreal) |
ca-toronto-1 | Sudeste de Canadá (Toronto) |
eu-amsterdam-1 | Noroeste de los Países Bajos (Ámsterdam) |
eu-frankfurt-1 | Alemania Central (Fráncfort) |
eu-zurich-1 | Suiza Norte (Zúrich) |
me-jeddah-1 | Arabia Saudita Oeste (Jeddah) |
sa-saopaulo-1 | Brasil Este (Sao Paulo) |
uk-london-1 | Sur del Reino Unido (Londres) |
us-ashburn-1 (predeterminado) | EE.UU. Este (Ashburn, VA) |
us-phoenix-1 | EE.UU. Oeste (Phoenix, AZ) |
Regiones altas de FedRAMP del gobierno de EE. UU. | |
us-langley-1 | Gobierno de EE. UU. Este (Ashburn, VA) |
us-luke-1 | Gobierno de EE. UU. Oeste (Phoenix, AZ) |
Regiones DISA IL5 del gobierno de EE. UU. | |
us-gov-ashburn-1 | Este del Departamento de Defensa de EE. UU. (Ashburn, VA) |
us-gov-chicago-1 | Norte del Departamento de Defensa de EE. UU. (Chicago, IL) |
us-gov-phoenix-1 | Departamento de Defensa de EE. UU. Oeste (Phoenix, AZ) |
Regiones de Wasabi
Valor | Región |
---|---|
eu-central-1 | Europa (Ámsterdam) |
us-east-1 (Predeterminado) | EE.UU. Este (Ashburn, VA) |
us-east-2 | EE.UU. Este (Manassas, VA) |
us-west-1 | EE.UU. Oeste (Hillsboro, Oregón) |
Projecto ID
El ID del proyecto donde reside su instancia de Google Cloud Storage.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El ID del proyecto donde reside su instancia de Google Cloud Storage. Puede encontrar este valor yendo a Google Cloud Console y haciendo clic en el nombre del proyecto en la pantalla superior izquierda. El ProjectId se muestra en la columna de ID del proyecto coincidente.
Espacio de Nombres de Oracle
El espacio de nombres de Oracle Cloud Object Storage que se utilizará.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El espacio de nombres de Oracle Cloud Object Storage que se utilizará. Esta configuración debe establecerse en el espacio de nombres de Oracle Cloud Object Storage asociado con la cuenta de Oracle Cloud antes de que se puedan realizar solicitudes. Consulte Comprensión de los espacios de nombres de almacenamiento de objetos de la documentación de Oracle Cloud para obtener instrucciones sobre cómo encontrar el espacio de nombres de almacenamiento de objetos de su cuenta.
URL Base de Almacenamiento
La URL de un proveedor de servicios de almacenamiento en la nube.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad de conexión se utiliza para especificar:
- La URL de un servicio S3 personalizado
- La URL necesaria para el proveedor de servicios de almacenamiento en la nube Sharepoint SOAP/REST. Si el dominio para esta opción termina en
-my
(Por ejemplo,https://bigcorp-my.sharepoint.com
) entonces es posible que deba usar elonedrive://
esquema en lugar desp://
osprest://
esquema.
UtilizarHostingVirtual
Si es verdadero (predeterminado), se hará referencia a los depósitos en la solicitud mediante la solicitud de estilo alojado: http://yourbucket.s3.amazonaws.com/yourobject
. Si se establece en falso, el bean utilizará la solicitud de estilo de ruta: http://s3.amazonaws.com/yourbucket/yourobject
. Tenga en cuenta que esta propiedad se establecerá en falso, en el caso de un servicio personalizado basado en S3 cuando se especifica CustomURL.
Tipo de Datos
bool
Valor por Defecto
true
Observaciones
Si es verdadero (predeterminado), se hará referencia a los depósitos en la solicitud mediante la solicitud de estilo alojado: http://yourbucket.s3.amazonaws.com/yourobject
. Si se establece en falso, el bean utilizará la solicitud de estilo de ruta: http://s3.amazonaws.com/yourbucket/yourobject
. Tenga en cuenta que esta propiedad se establecerá en falso, en el caso de un servicio personalizado basado en S3 cuando se especifica CustomURL.
Autenticación de AWS
Esta sección proporciona una lista completa de las propiedades de autenticación de AWS que puede configurar.
Propiedad | Descripción |
---|---|
AWSAccessKey | Su clave de acceso a la cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS. |
AWSSecretKey | La clave secreta de su cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS. |
AWSRoleARN | El nombre de recurso de Amazon del rol que se usará al autenticarse. |
AWSPrincipalARN | El ARN del proveedor de identidad SAML en su cuenta de AWS. |
AWSRegion | La región de alojamiento de sus Amazon Web Services. |
AWSSessionToken | Su token de sesión de AWS. |
MFASerialNumber | El número de serie del dispositivo MFA, si se está utilizando uno. |
MFAToken | El token temporal disponible desde su dispositivo MFA. |
Clave de Acceso de AWS
Su clave de acceso a la cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Su clave de acceso a la cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS:
- Inicie sesión en la consola de administración de AWS con las credenciales de su cuenta raíz.
- Seleccione su nombre o número de cuenta y seleccione Mis credenciales de seguridad en el menú que se muestra.
- Haga clic en Continuar con Credenciales de seguridad y expanda la sección Claves de acceso para administrar o crear claves de acceso a la cuenta raíz.
AWSSecretKey
La clave secreta de su cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La clave secreta de su cuenta de AWS. Se puede acceder a este valor desde su página de credenciales de seguridad de AWS:
- Inicie sesión en la consola de administración de AWS con las credenciales de su cuenta raíz.
- Seleccione su nombre o número de cuenta y seleccione Mis credenciales de seguridad en el menú que se muestra.
- Haga clic en Continuar con Credenciales de seguridad y expanda la sección Claves de acceso para administrar o crear claves de acceso a la cuenta raíz.
AWSRoleARN
El nombre de recurso de Amazon del rol que se usará al autenticarse.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Cuando se autentica fuera de AWS, es común usar un rol para la autenticación en lugar de las credenciales de su cuenta de AWS directa. Entrando al AWSRoleARN
hará que Jitterbit Connector for Parquet realice una autenticación basada en rol en lugar de usar AWSAccessKey y AWSSecretKey directamente. La AWSAccessKey y AWSSecretKey aún debe especificarse para realizar esta autenticación. No puede utilizar las credenciales de un usuario raíz de AWS al configurar RoleARN. La AWSAccessKey y AWSSecretKey deben ser los de un usuario de IAM.
AWSPrincipalARN
El ARN del proveedor de identidad SAML en su cuenta de AWS.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El ARN del proveedor de identidad SAML en su cuenta de AWS.
Región de AWS
La región de alojamiento de sus Amazon Web Services.
Valores Posibles
OHIO
, NORTHERNVIRGINIA
, NORTHERNCALIFORNIA
, OREGON
, CAPETOWN
, HONGKONG
, MUMBAI
, OSAKA
, SEOUL
, SINGAPORE
, SYDNEY
, TOKYO
, CENTRAL
, BEIJING
, NINGXIA
, FRANKFURT
, IRELAND
, LONDON
, MILAN
, PARIS
, STOCKHOLM
, BAHRAIN
, SAOPAULO
, GOVCLOUDEAST
, GOVCLOUDWEST
Tipo de Datos
string
Valor por Defecto
"NORTHERNVIRGINIA"
Observaciones
La región de alojamiento de sus Amazon Web Services. Los valores disponibles son OHIO, NORTHERNVIRGINIA, NORTHERNCALIFORNIA, OREGON, CAPETOWN, HONGKONG, MUMBAI, OSAKA, SEÚL, SINGAPUR, SYDNEY, TOKYO, CENTRAL, BEIJING, NINGXIA, FRANKFURT, IRLANDA, LONDRES, MILÁN, PARÍS, ESTOCOLMO, BAHREIN, SAOPAULO, GOVCLOUDEAST y GOVCLOUDWEST.
Token de Sesión de AWS
Su token de sesión de AWS.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Su token de sesión de AWS. Este valor se puede recuperar de diferentes maneras. Vea este enlace para más información.
MFASerialNumber
El número de serie del dispositivo MFA, si se está utilizando uno.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Puede encontrar el dispositivo para un usuario de IAM yendo a la Management Console de AWS y viendo las credenciales de seguridad del usuario. Para dispositivos virtuales, en realidad es un nombre de recurso de Amazon (como arn:aws:iam:123456789012:mfa/user).
Token MFA
El token temporal disponible desde su dispositivo MFA.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Si se requiere MFA, este valor se utilizará junto con el MFASerialNumber para recuperar credenciales temporales para iniciar sesión. Las credenciales temporales disponibles de AWS solo durarán hasta 1 hora de forma predeterminada (consulte TemporaryTokenDuration). Una vez que se acabe el tiempo, la conexión debe actualizarse para especificar un nuevo token MFA para que se puedan obtener nuevas credenciales. %AWSpSecurityToken; %AWSpTemporaryTokenDuration;
Autenticación de Azure
Esta sección proporciona una lista completa de las propiedades de autenticación de Azure que puede configurar.
Propiedad | Descripción |
---|---|
AzureStorageAccount | El nombre de su cuenta de almacenamiento de Azure. |
AzureAccessKey | La clave de almacenamiento asociada a su cuenta de Parquet. |
AzureSharedAccessSignature | Una firma de clave de acceso compartido que se puede utilizar para la autenticación. |
AzureTenant | El inquilino de Microsoft Online que se usa para acceder a los datos. Si no se especifica, se utilizará su tentant predeterminado. |
AzureEnvironment | El ambiente de Azure que se usará al establecer una conexión. |
AzureStorageAccount
El nombre de su cuenta de almacenamiento de Azure.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El nombre de su cuenta de almacenamiento de Azure.
AzureAccessKey
La clave de almacenamiento asociada a su cuenta de Parquet.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La clave de almacenamiento asociada a su cuenta de Parquet. Puedes recuperarlo de la siguiente manera:
- Inicie sesión en Azure Portal con las credenciales de su cuenta raíz. (https://portal.azure.com/)
- Haga clic en cuentas de almacenamiento y seleccione la cuenta de almacenamiento que desea usar.
- En configuración, haga clic en Teclas de acceso.
- El nombre y la clave de su cuenta de almacenamiento se mostrarán en esa página.
AzureSharedAccessFirma
Una firma de clave de acceso compartido que se puede utilizar para la autenticación.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Una firma de acceso compartido. Puedes crear uno siguiendo estos pasos:
- Inicie sesión en Azure Portal con las credenciales de su cuenta raíz. (https://portal.azure.com/)
- Haga clic en cuentas de almacenamiento y seleccione la cuenta de almacenamiento que desea usar.
- En configuración, haga clic en Firma de acceso compartido.
- Establezca los permisos y cuándo caducará el token
- Haga clic en Generar SAS para copiar el token.
AzureInquilino
El inquilino de Microsoft Online que se usa para acceder a los datos. Si no se especifica, se utilizará su tentant predeterminado.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El inquilino de Microsoft Online que se usa para acceder a los datos. Por ejemplo, contoso.onmicrosoft.com. Como alternativa, especifique el Id. de arrendatario. Este valor es el ID de directorio en Azure Portal > Active Directory de Azure > Propiedades.
Por lo general, no es necesario especificar el Arrendatario. Microsoft puede determinar esto automáticamente cuando se utiliza el OAuthGrantType establecido en CÓDIGO (predeterminado). Sin embargo, puede fallar en el caso de que el usuario pertenezca a varios inquilinos. Por ejemplo, si un administrador del dominio A invita a un usuario del dominio B a ser un usuario invitado. El usuario ahora pertenecerá a ambos inquilinos. Es una buena práctica especificar el Tenant, aunque en general las cosas normalmente deberían funcionar sin tener que especificarlo.
El AzureTenant
es necesario cuando se configura OAuthGrantType al CLIENTE. Cuando se usan credenciales de cliente, no hay contexto de usuario. Las credenciales se toman del contexto de la propia aplicación. Si bien Microsoft todavía permite obtener las credenciales de los clientes sin especificar qué arrendatario, tiene una probabilidad mucho menor de elegir el arrendatario específico con el que desea trabajar. Por esta razón, requerimos AzureTenant
debe indicarse explícitamente para todas las conexiones de credenciales de clientes para garantizar que obtenga las credenciales que se aplican al dominio al que desea conectarse.
AzureAmbiente
El ambiente de Azure que se usará al establecer una conexión.
Valores Posibles
GLOBAL
, CHINA
, GERMANY
, USGOVT
, USGOVTDOD
Tipo de Datos
string
Valor por Defecto
"GLOBAL"
Observaciones
En la mayoría de los casos, funcionará dejar el ambiente establecido en global. Sin embargo, si su cuenta de Azure se ha agregado a un ambiente diferente, el AzureEnvironment
se puede utilizar para especificar qué ambiente. Los valores disponibles son GLOBAL, CHINA, GERMANY, USGOVT y USGOVTDOD.
Inicio de Sesión Único
Esta sección proporciona una lista completa de las propiedades de SSO que puede configurar.
Propiedad | Descripción |
---|---|
SSOLoginURL | La URL de inicio de sesión del proveedor de identidad. |
SSOProperties | Se requieren propiedades adicionales para conectarse al proveedor de identidad en una lista separada por punto y coma. |
SSOloginURL
La URL de inicio de sesión del proveedor de identidad.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La URL de inicio de sesión del proveedor de identidad.
Propiedades de SSO
Se requieren propiedades adicionales para conectarse al proveedor de identidad en una lista separada por punto y coma.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Se requieren propiedades adicionales para conectarse al proveedor de identidad en una lista separada por punto y coma. se usa junto con SSOLOginURL.
La configuración de SSO se trata con más detalle en.
OAuth
Esta sección proporciona una lista completa de las propiedades de OAuth que puede configurar.
Propiedad | Descripción |
---|---|
InitiateOAuth | Establezca esta propiedad para iniciar el proceso para obtener o actualizar el token de acceso de OAuth cuando se conecte. |
OAuthVersion | La versión de OAuth que se está utilizando. |
OAuthClientId | El ID de cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth. |
OAuthClientSecret | El secreto del cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth. |
OAuthAccessToken | El token de acceso para conectarse mediante OAuth. |
OAuthAccessTokenSecret | El secreto del token de acceso de OAuth para conectarse mediante OAuth. |
CallbackURL | La URL de devolución de llamada de OAuth a la que volver cuando se autentica. Este valor debe coincidir con la URL de devolución de llamada que especifica en la configuración de su aplicación. |
OAuthGrantType | El tipo de concesión para el flujo de OAuth. |
OAuthPasswordGrantMode | Cómo pasar el ID de cliente y el secreto con OAuthGrantType se establece en Contraseña. |
OAuthIncludeCallbackURL | Si incluir la URL de devolución de llamada en una solicitud de token de acceso. |
OAuthAuthorizationURL | La URL de autorización para el servicio OAuth. |
OAuthAccessTokenURL | La URL desde la que recuperar el token de acceso de OAuth. |
OAuthRefreshTokenURL | La URL desde la que actualizar el token de OAuth. |
OAuthRequestTokenURL | La URL que proporciona el servicio para recuperar los tokens de solicitud. Esto es obligatorio en OAuth 1.0. |
OAuthVerifier | El código verificador devuelto desde la URL de autorización de OAuth. |
AuthToken | El token de autenticación utilizado para solicitar y obtener el token de acceso de OAuth. |
AuthKey | El secreto de autenticación utilizado para solicitar y obtener el token de acceso de OAuth. |
OAuthParams | Una lista separada por comas de otros parámetros para enviar en la solicitud del token de acceso de OAuth en el formato paramname=value. |
OAuthRefreshToken | El token de actualización de OAuth para el token de acceso de OAuth correspondiente. |
OAuthExpiresIn | La vida útil en segundos del AccessToken de OAuth. |
OAuthTokenTimestamp | La marca de tiempo de la época de Unix en milisegundos cuando se creó el token de acceso actual. |
Iniciar OAuth
Establezca esta propiedad para iniciar el proceso para obtener o actualizar el token de acceso de OAuth cuando se conecte.
Valores Posibles
OFF
, GETANDREFRESH
, REFRESH
Tipo de Datos
string
Valor por Defecto
"OFF"
Observaciones
Las siguientes opciones están disponibles:
OFF
: Indica que el flujo de OAuth será manejado en su totalidad por el usuario. Se requerirá un OAuthAccessToken para la autenticación.GETANDREFRESH
: indica que el conector manejará todo el flujo de OAuth. Si actualmente no existe ningún token, se obtendrá solicitándolo al usuario a través del navegador. Si existe un token, se actualizará cuando corresponda.REFRESH
: indica que el conector solo manejará la actualización de OAuthAccessToken. El conector nunca le pedirá al usuario que se autentique a través del navegador. El usuario debe manejar la obtención de OAuthAccessToken y OAuthRefreshToken inicialmente.
Versión OAuth
La versión de OAuth que se está utilizando.
Valores Posibles
Disabled
, 1.0
, 2.0
Tipo de Datos
string
Valor por Defecto
"Disabled"
Observaciones
La versión de OAuth que se está utilizando. Están disponibles las siguientes opciones: Deshabilitado, 1.0, 2.0
OAuthClientId
El ID de cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Como parte del registro de una aplicación OAuth, recibirá el OAuthClientId
valor, a veces también llamado clave de consumidor, y un secreto de cliente, el OAuthClientSecret.
OAuthClientSecretOAuthClientSecret
El secreto del cliente asignado cuando registra su aplicación con un servidor de autorización de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Como parte del registro de una aplicación OAuth, recibirá el OAuthClientId, también denominada clave de consumidor. También recibirá un secreto de cliente, también llamado secreto de consumidor. Establezca el secreto del cliente en OAuthClientSecret
propiedad.
Token de Acceso de OAuth
El token de acceso para conectarse mediante OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El OAuthAccessToken
la propiedad se usa para conectarse usando OAuth. El OAuthAccessToken
se recupera del servidor OAuth como parte del proceso de autenticación. Tiene un tiempo de espera dependiente del servidor y se puede reutilizar entre solicitudes.
El token de acceso se utiliza en lugar de su nombre de usuario y contraseña. El token de acceso protege sus credenciales manteniéndolas en el servidor.
OAuthAccessTokenSecret
El secreto del token de acceso de OAuth para conectarse mediante OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El OAuthAccessTokenSecret
la propiedad se usa para conectarse y autenticarse mediante OAuth. El OAuthAccessTokenSecret
se recupera del servidor OAuth como parte del proceso de autenticación. Se usa con el OAuthAccessToken y se puede utilizar para varias solicitudes hasta que se agote el tiempo de espera.
URL de Devolución de Llamada
La URL de devolución de llamada de OAuth a la que volver cuando se autentica. Este valor debe coincidir con la URL de devolución de llamada que especifica en la configuración de su aplicación.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Durante el proceso de autenticación, el servidor de autorización de OAuth redirige al usuario a esta URL. Este valor debe coincidir con la URL de devolución de llamada que especifica en la configuración de su aplicación.
OAuthGrantType
El tipo de concesión para el flujo de OAuth.
Valores Posibles
CODE
, CLIENT
, PASSWORD
Tipo de Datos
string
Valor por Defecto
"CLIENT"
Observaciones
El tipo de concesión para el flujo de OAuth. Las siguientes opciones están disponibles: CÓDIGO, CLIENTE, CONTRASEÑA
OAuthPasswordGrantMode
Cómo pasar el ID de cliente y el secreto con OAuthGrantType se establece en Contraseña.
Valores Posibles
Post
, Basic
Tipo de Datos
string
Valor por Defecto
"Post"
Observaciones
El RFC de OAuth especifica dos métodos para pasar el OAuthClientId y OAuthClientSecret al usar la contraseña OAuthGrantType. La más utilizada es pasarlos vía post data al servicio. Sin embargo, algunos servicios pueden requerir que los pase a través del encabezado Autorizar para ser utilizados en la autorización BÁSICA. Cambie esta propiedad a Básica para enviar los parámetros como parte del encabezado Autorizar en lugar de los datos de la publicación.
OAuthIncludeCallbackURL
Si incluir la URL de devolución de llamada en una solicitud de token de acceso.
Tipo de Datos
bool
Valor por Defecto
true
Observaciones
El valor predeterminado es verdadero, ya que los servicios de OAuth que cumplen con los estándares ignorarán el parámetro redirect_uri para los tipos de concesión como CLIENTE o CONTRASEÑA que no lo requieren.
Esta opción solo debe habilitarse para los servicios OAuth que informan errores cuando se incluye redirect_uri.
URL de Autorización de OAuth
La URL de autorización para el servicio OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La URL de autorización para el servicio OAuth. En esta URL, el usuario inicia sesión en el servidor y otorga permisos a la aplicación. En OAuth 1.0, si se otorgan permisos, se autoriza el token de solicitud.
URL del Token de Acceso de OAuth
La URL desde la que recuperar el token de acceso de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La URL desde la que recuperar el token de acceso de OAuth. En OAuth 1.0, el token de solicitud autorizado se intercambia por el token de acceso en esta URL.
OAuthRefreshTokenURL
La URL desde la que actualizar el token de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La URL desde la que actualizar el token de OAuth. En OAuth 2.0, esta URL es donde el token de actualización se intercambia por un nuevo token de acceso cuando caduca el antiguo token de acceso.
URL de Token de Solicitud de OAuth
La URL que proporciona el servicio para recuperar los tokens de solicitud. Esto es obligatorio en OAuth 1.0.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La URL que proporciona el servicio para recuperar los tokens de solicitud. Esto es obligatorio en OAuth 1.0. En OAuth 1.0, esta es la URL donde la aplicación solicita el token de solicitud.
OAuthVerifier
El código verificador devuelto desde la URL de autorización de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El código verificador devuelto desde la URL de autorización de OAuth. Esto se puede usar en sistemas en los que no se puede iniciar un navegador, como los sistemas sin cabeza.
Autenticación en Máquinas Sin Cabeza
Ver para obtener el OAuthVerifier
valor.
Establezca OAuthSettingsLocation junto con OAuthVerifier
. Cuando se conecta, el conector intercambia el OAuthVerifier
para los tokens de autenticación de OAuth y los guarda, encriptados, en el archivo especificado. Establecer Iniciar OAuth para GETANDREFRESH automatizar el intercambio.
Una vez que se haya generado el archivo de configuración de OAuth, puede eliminar OAuthVerifier
desde las propiedades de conexión y conéctese con OAuthSettingsLocation colocar.
Para actualizar automáticamente los valores del token de OAuth, establezca OAuthSettingsLocation y además configure InitiateOAuth refrescar.
Token de Autenticación
El token de autenticación utilizado para solicitar y obtener el token de acceso de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad solo es necesaria cuando se realiza la autenticación sin interfaz en OAuth 1.0. Se puede obtener del procedimiento almacenado GetOAuthAuthorizationUrl.
Se puede proporcionar junto con AuthKey en GetOAuthAccessToken procedimiento almacenado* para obtener el OAuthAccessToken.
Clave de Autenticación
El secreto de autenticación utilizado para solicitar y obtener el token de acceso de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad solo es necesaria cuando se realiza la autenticación sin interfaz en OAuth 1.0. Se puede obtener del procedimiento almacenado GetOAuthAuthorizationUrl.
Se puede suministrar junto con AuthToken en GetOAuthAccessToken procedimiento almacenado* para obtener el OAuthAccessToken.
OAuthParams
Una lista separada por comas de otros parámetros para enviar en la solicitud del token de acceso de OAuth en el formato paramname=value.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Una lista separada por comas de otros parámetros para enviar en la solicitud del token de acceso de OAuth en el formato paramname=value.
OAuthRefreshToken
El token de actualización de OAuth para el token de acceso de OAuth correspondiente.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El OAuthRefreshToken
la propiedad se usa para actualizar el OAuthAccessToken al usar la autenticación OAuth.
OAuthExpiresIn
La vida útil en segundos del AccessToken de OAuth.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Empareje con OAuthTokenTimestamp para determinar cuándo caducará el AccessToken.
OAuthTokenTimestamp
La marca de tiempo de la época de Unix en milisegundos cuando se creó el token de acceso actual.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Emparéjese con OAuthExpiresIn para determinar cuándo expirará AccessToken.
JWT OAuth
Esta sección proporciona una lista completa de las propiedades de JWT OAuth que puede configurar.
Propiedad | Descripción |
---|---|
OAuthJWTCert | El almacén de certificados JWT. |
OAuthJWTCertType | El tipo de almacén de claves que contiene el certificado JWT. |
OAuthJWTCertPassword | La contraseña para el certificado OAuth JWT. |
OAuthJWTCertSubject | El asunto del certificado OAuth JWT. |
OAuthJWTIssuer | El emisor del token web de Java. |
OAuthJWTSubject | El sujeto de usuario para el que la aplicación solicita acceso delegado. |
OAuthJWTCert
El almacén de certificados JWT.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El nombre del almacén de certificados para el certificado de cliente.
El OAuthJWTCertType especifica el tipo de almacén de certificados especificado por OAuthJWTCert
. Si la tienda está protegida con contraseña, especifique la contraseña en OAuthJWTCertPassword.
OAuthJWTCert
se usa junto con OAuthJWTCertSubject para especificar certificados de cliente. Si OAuthJWTCert
tiene un valor y OAuthJWTCertSubject, se inicia una búsqueda de un certificado. Consulte OAuthJWTCertSubject campo para más detalles.
Las designaciones de los almacenes de certificados dependen de la plataforma.
Las siguientes son designaciones de los almacenes de certificados de usuario y máquina más comunes en Windows:
Propiedad | Descripción |
---|---|
MY | Un almacén de certificados que contiene certificados personales con sus claves privadas asociadas. |
CA | Certificados de la autoridad certificadora. |
ROOT | Certificados raíz. |
SPC | Certificados de editor de software. |
En Java, el almacén de certificados normalmente es un archivo que contiene certificados y claves privadas opcionales.
Cuando el tipo de almacén de certificados es PFXFile, esta propiedad debe establecerse en el nombre del archivo. Cuando el tipo es PFXBlob, la propiedad debe establecerse en el contenido binario de un archivo PFX (es decir, almacén de certificados PKCS12).
OAuthJWTCertType
El tipo de almacén de claves que contiene el certificado JWT.
Valores Posibles
USER
, MACHINE
, PFXFILE
, PFXBLOB
, JKSFILE
, JKSBLOB
, PEMKEY_FILE
, PEMKEY_BLOB
, PUBLIC_KEY_FILE
, PUBLIC_KEY_BLOB
, SSHPUBLIC_KEY_FILE
, SSHPUBLIC_KEY_BLOB
, P7BFILE
, PPKFILE
, XMLFILE
, XMLBLOB
, GOOGLEJSON
, GOOGLEJSONBLOB
Tipo de Datos
string
Valor por Defecto
"USER"
Observaciones
Esta propiedad puede tomar uno de los siguientes valores:
Propiedad | Descripción |
---|---|
USER | Para Windows, esto especifica que el almacén de certificados es un almacén de certificados propiedad del usuario actual. Nota: Este tipo de tienda no está disponible en Java. |
MACHINE | Para Windows, esto especifica que el almacén de certificados es un almacén de máquinas. Nota: este tipo de tienda no está disponible en Java. |
PFXFILE | El almacén de certificados es el nombre de un archivo PFX (PKCS12) que contiene certificados. |
PFXBLOB | El almacén de certificados es una cadena (codificada en base 64) que representa un almacén de certificados en formato PFX (PKCS12). |
JKSFILE | El almacén de certificados es el nombre de un archivo de almacén de claves Java (JKS) que contiene certificados. Nota: este tipo de tienda solo está disponible en Java. |
JKSBLOB | El almacén de certificados es una cadena (codificada en base 64) que representa un almacén de certificados en formato de almacén de claves Java (JKS). Nota: este tipo de tienda solo está disponible en Java. |
PEMKEY_FILE | El almacén de certificados es el nombre de un archivo con codificación PEM que contiene una clave privada y un certificado opcional. |
PEMKEY_BLOB | El almacén de certificados es una cadena (codificada en base64) que contiene una clave privada y un certificado opcional. |
PUBLIC_KEY_FILE | El almacén de certificados es el nombre de un archivo que contiene un certificado de clave pública con codificación PEM o DER. |
PUBLIC_KEY_BLOB | El almacén de certificados es una cadena (codificada en base 64) que contiene un certificado de clave pública con codificación PEM o DER. |
SSHPUBLIC_KEY_FILE | El almacén de certificados es el nombre de un archivo que contiene una clave pública de estilo SSH. |
SSHPUBLIC_KEY_BLOB | El almacén de certificados es una cadena (codificada en base 64) que contiene una clave pública de estilo SSH. |
P7BFILE | El almacén de certificados es el nombre de un archivo PKCS7 que contiene certificados. |
PPKFILE | El almacén de certificados es el nombre de un archivo que contiene una PPK (clave privada PuTTY). |
XMLFILE | El almacén de certificados es el nombre de un archivo que contiene un certificado en formato XML. |
XMLBLOB | El almacén de certificados es una cadena que contiene un certificado en formato XML. |
GOOGLEJSON | El almacén de certificados es el nombre de un archivo JSON que contiene la información de la cuenta de servicio. Solo válido cuando se conecta a un servicio de Google. |
GOOGLEJSONBLOB | El almacén de certificados es una cadena que contiene la cuenta de servicio JSON. Solo válido cuando se conecta a un servicio de Google. |
OAuthJWTCertPassword
La contraseña para el certificado OAuth JWT.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Si el almacén de certificados es de un tipo que requiere una contraseña, esta propiedad se usa para especificar esa contraseña para abrir el almacén de certificados.
Esto no es necesario cuando se usa GOOGLEJSON OAuthJWTCertType. Las claves JSON de Google no están cifradas.
OAuthJWTCertSubject
El asunto del certificado OAuth JWT.
Tipo de Datos
string
Valor por Defecto
"\*"
Observaciones
Al cargar un certificado, el asunto se utiliza para ubicar el certificado en el almacén.
Si no se encuentra una coincidencia exacta, se busca en la tienda temas que contengan el valor de la propiedad.
Si aún no se encuentra una coincidencia, la propiedad se establece en una cadena vacía y no se selecciona ningún certificado.
El valor especial "*" selecciona el primer certificado en el almacén de certificados.
El asunto del certificado es una lista separada por comas de valores y campos de nombre distinguido. Por ejemplo, "CN=www.server.com, OU=test, C=US, E=support@jitterbit.com". Los campos comunes y sus significados se muestran a continuación.
Campo | Significado |
---|---|
CN | Nombre común. Este es comúnmente un nombre de alojar como www.server.com. |
O | Organización |
OU | Unidad organizativa |
L | localidad |
S | Estado |
C | País |
E | Dirección de Correo |
Si un valor de campo contiene una coma, debe estar entre comillas.
OAuthJWTIssuer
El emisor del token web de Java.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El emisor del token web de Java. Suele ser el ID del cliente o la dirección de Correo de la aplicación OAuth.
Esto no es necesario cuando se usa GOOGLEJSON OAuthJWTCertType. Las claves JSON de Google contienen una copia de la cuenta del emisor.
OAuthJWTAsunto
El sujeto de usuario para el que la aplicación solicita acceso delegado.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El sujeto de usuario para el que la aplicación solicita acceso delegado. Por lo general, el nombre de la cuenta de usuario o la dirección de correo.
Kerberos
Esta sección proporciona una lista completa de las propiedades de Kerberos que puede configurar.
Propiedad | Descripción |
---|---|
KerberosKDC | El servicio Kerberos Key Distribution Center (KDC) utilizado para autenticar al usuario. |
KerberosRealm | El reino de Kerberos utilizado para autenticar al usuario. |
KerberosSPN | El nombre principal de servicio (SPN) para el controlador de dominio Kerberos. |
KerberosKeytabFile | El archivo Keytab que contiene sus pares de principales de Kerberos y claves cifradas. |
KerberosServiceRealm | El dominio Kerberos del servicio. |
KerberosServiceKDC | El KDC de Kerberos del servicio. |
KerberosTicketCache | La ruta completa del archivo a un archivo de caché de credenciales de MIT Kerberos. |
KerberosKDC
El servicio Kerberos Key Distribution Center (KDC) utilizado para autenticar al usuario.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Las propiedades de Kerberos se usan cuando se usa SPNEGO o la autenticación de Windows. El conector solicitará vales de sesión y claves de sesión temporales del servicio Kerberos KDC. El servicio Kerberos KDC se coloca convencionalmente con el controlador de dominio.
Si no se especifica Kerberos KDC, el conector intentará detectar estas propiedades automáticamente desde las siguientes ubicaciones:
KRB5 Config File (krb5.ini/krb5.conf):
Si se establece la variable de ambiente KRB5_CONFIG y el archivo existe, el conector obtendrá el KDC del archivo especificado. De lo contrario, intentará leer desde la ubicación MIT predeterminada según el sistema operativo: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) o /etc/krb5.conf (Linux)Java System Properties:
Utilizando las propiedades del sistema java.security.krb5.realm y java.security.krb5.kdc.Domain Name and Host:
El conector inferirá Kerberos Realm y Kerberos KDC a partir del nombre de dominio y el alojar configurados como último recurso.
Nota: La autenticación de Windows solo es compatible con JRE 1.6 y superior.
Reino de Kerberos
El reino de Kerberos utilizado para autenticar al usuario.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Las propiedades de Kerberos se usan cuando se usa SPNEGO o la autenticación de Windows. Kerberos Realm se utiliza para autenticar al usuario con el servicio de distribución de claves Kerberos (KDC). Un administrador puede configurar Kerberos Realm para que sea cualquier cadena, pero convencionalmente se basa en el nombre de dominio.
Si no se especifica Kerberos Realm, el conector intentará detectar estas propiedades automáticamente desde las siguientes ubicaciones:
KRB5 Config File (krb5.ini/krb5.conf):
Si se establece la variable de ambiente KRB5_CONFIG y el archivo existe, el conector obtendrá el dominio predeterminado del archivo especificado. De lo contrario, intentará leer desde la ubicación MIT predeterminada según el sistema operativo: C:\ProgramData\MIT\Kerberos5\krb5.ini (Windows) o /etc/krb5.conf (Linux)Java System Properties:
Utilizando las propiedades del sistema java.security.krb5.realm y java.security.krb5.kdc.Domain Name and Host:
El conector inferirá Kerberos Realm y Kerberos KDC a partir del nombre de dominio y el alojar configurados por el usuario como último recurso. Esto podría funcionar en algunos ambientes de Windows.
Nota: La autenticación basada en Kerberos solo es compatible con JRE 1.6 y versiones posteriores.
KerberosSPN
El nombre principal de servicio (SPN) para el controlador de dominio Kerberos.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Si el SPN en el controlador de dominio Kerberos no es el mismo que la URL en la que se está autenticando, use esta propiedad para establecer el SPN.
KerberosKeytabFile
El archivo Keytab que contiene sus pares de principales de Kerberos y claves cifradas.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El archivo Keytab que contiene sus pares de principales de Kerberos y claves cifradas.
KerberosServiceRealm
El dominio Kerberos del servicio.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El KerberosServiceRealm
es la especificación del dominio Kerberos del servicio cuando se utiliza la autenticación Kerberos entre dominios.
En la mayoría de los casos, se utiliza un solo dominio y una máquina KDC para realizar la autenticación Kerberos y esta propiedad no es necesaria.
Esta propiedad está disponible para configuraciones complejas en las que se utilizan un reino y una máquina KDC diferentes para obtener un vale de autenticación (solicitud AS) y un vale de servicio (solicitud TGS).
KerberosServiceKDC
El KDC de Kerberos del servicio.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El KerberosServiceKDC
se usa para especificar el servicio Kerberos KDC cuando se usa la autenticación Kerberos entre dominios.
En la mayoría de los casos, se utiliza un solo dominio y una máquina KDC para realizar la autenticación Kerberos y esta propiedad no es necesaria.
Esta propiedad está disponible para configuraciones complejas en las que se utilizan un reino y una máquina KDC diferentes para obtener un vale de autenticación (solicitud AS) y un vale de servicio (solicitud TGS).
KerberosTicketCache
La ruta completa del archivo a un archivo de caché de credenciales de MIT Kerberos.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad se puede configurar si desea utilizar un archivo de caché de credenciales que se creó mediante el comando kinit o el administrador de tickets de MIT Kerberos.
SSL
Esta sección proporciona una lista completa de las propiedades SSL que puede configurar.
Propiedad | Descripción |
---|---|
SSLClientCert | El almacén de certificados de cliente TLS/SSL para la autenticación de cliente SSL (SSL bidireccional). |
SSLClientCertType | El tipo de almacén de claves que contiene el certificado de cliente TLS/SSL. |
SSLClientCertPassword | La contraseña para el certificado de cliente TLS/SSL. |
SSLClientCertSubject | El asunto del certificado de cliente TLS/SSL. |
SSLMode | El mecanismo de autenticación que se utilizará al conectarse al servidor FTP o FTPS. |
SSLServerCert | El certificado que se aceptará del servidor al conectarse mediante TLS/SSL. |
SSLClientCert
El almacén de certificados de cliente TLS/SSL para la autenticación de cliente SSL (SSL bidireccional).
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El nombre del almacén de certificados para el certificado de cliente.
El SSLClientCertType especifica el tipo de almacén de certificados especificado por SSLClientCert
. Si la tienda está protegida con contraseña, especifique la contraseña en SSLClientCertPassword.
SSLClientCert
se usa junto con SSLClientCertSubject para especificar certificados de cliente. Si SSLClientCert
tiene un valor y SSLClientCertSubject, se inicia una búsqueda de un certificado. Vea SSLClientCertSubject para más información.
Las designaciones de los almacenes de certificados dependen de la plataforma.
Las siguientes son designaciones de los almacenes de certificados de usuario y máquina más comunes en Windows:
Propiedad | Descripción |
---|---|
MY | Un almacén de certificados que contiene certificados personales con sus claves privadas asociadas. |
CA | Certificados de la autoridad certificadora. |
ROOT | Certificados raíz. |
SPC | Certificados de editor de software. |
En Java, el almacén de certificados normalmente es un archivo que contiene certificados y claves privadas opcionales.
Cuando el tipo de almacén de certificados es PFXFile, esta propiedad debe establecerse en el nombre del archivo. Cuando el tipo es PFXBlob, la propiedad debe establecerse en el contenido binario de un archivo PFX (por ejemplo, almacén de certificados PKCS12).
SSLClientCertType
El tipo de almacén de claves que contiene el certificado de cliente TLS/SSL.
Valores Posibles
USER
, MACHINE
, PFXFILE
, PFXBLOB
, JKSFILE
, JKSBLOB
, PEMKEY_FILE
, PEMKEY_BLOB
, PUBLIC_KEY_FILE
, PUBLIC_KEY_BLOB
, SSHPUBLIC_KEY_FILE
, SSHPUBLIC_KEY_BLOB
, P7BFILE
, PPKFILE
, XMLFILE
, XMLBLOB
Tipo de Datos
string
Valor por Defecto
"USER"
Observaciones
Esta propiedad puede tomar uno de los siguientes valores:
Propiedad | Descripción |
---|---|
USER - default | Para Windows, esto especifica que el almacén de certificados es un almacén de certificados propiedad del usuario actual. Tenga en cuenta que este tipo de tienda no está disponible en Java. |
MACHINE | Para Windows, esto especifica que el almacén de certificados es un almacén de máquinas. Tenga en cuenta que este tipo de tienda no está disponible en Java. |
PFXFILE | El almacén de certificados es el nombre de un archivo PFX (PKCS12) que contiene certificados. |
PFXBLOB | El almacén de certificados es una cadena (codificada en base 64) que representa un almacén de certificados en formato PFX (PKCS12). |
JKSFILE | El almacén de certificados es el nombre de un archivo de almacén de claves Java (JKS) que contiene certificados. Tenga en cuenta que este tipo de tienda solo está disponible en Java. |
JKSBLOB | El almacén de certificados es una cadena (codificada en base 64) que representa un almacén de certificados en formato JKS. Tenga en cuenta que este tipo de tienda solo está disponible en Java. |
PEMKEY_FILE | El almacén de certificados es el nombre de un archivo con codificación PEM que contiene una clave privada y un certificado opcional. |
PEMKEY_BLOB | El almacén de certificados es una cadena (codificada en base64) que contiene una clave privada y un certificado opcional. |
PUBLIC_KEY_FILE | El almacén de certificados es el nombre de un archivo que contiene un certificado de clave pública con codificación PEM o DER. |
PUBLIC_KEY_BLOB | El almacén de certificados es una cadena (codificada en base 64) que contiene un certificado de clave pública con codificación PEM o DER. |
SSHPUBLIC_KEY_FILE | El almacén de certificados es el nombre de un archivo que contiene una clave pública de estilo SSH. |
SSHPUBLIC_KEY_BLOB | El almacén de certificados es una cadena (codificada en base 64) que contiene una clave pública de estilo SSH. |
P7BFILE | El almacén de certificados es el nombre de un archivo PKCS7 que contiene certificados. |
PPKFILE | El almacén de certificados es el nombre de un archivo que contiene una clave privada PuTTY (PPK). |
XMLFILE | El almacén de certificados es el nombre de un archivo que contiene un certificado en formato XML. |
XMLBLOB | El almacén de certificados es una cadena que contiene un certificado en formato XML. |
SSLClientCertPassword
La contraseña para el certificado de cliente TLS/SSL.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Si el almacén de certificados es de un tipo que requiere una contraseña, esta propiedad se utiliza para especificar esa contraseña para abrir el almacén de certificados.
SSLClientCertSubject
El asunto del certificado de cliente TLS/SSL.
Tipo de Datos
string
Valor por Defecto
"\*"
Observaciones
Al cargar un certificado, el asunto se utiliza para ubicar el certificado en el almacén.
Si no se encuentra una coincidencia exacta, se busca en la tienda temas que contengan el valor de la propiedad. Si aún no se encuentra una coincidencia, la propiedad se establece en una cadena vacía y no se selecciona ningún certificado.
El valor especial "*" selecciona el primer certificado en el almacén de certificados.
El asunto del certificado es una lista separada por comas de valores y campos de nombre distinguido. Por ejemplo, "CN=www.server.com, OU=test, C=US, E=support@company.com". Los campos comunes y sus significados se muestran a continuación.
Campo | Significado |
---|---|
CN | Nombre común. Este es comúnmente un nombre de alojar como www.server.com. |
O | Organización |
OU | Unidad organizativa |
L | localidad |
S | Estado |
C | País |
E | Dirección de Correo |
Si un valor de campo contiene una coma, debe estar entre comillas.
Modo SSL
El mecanismo de autenticación que se utilizará al conectarse al servidor FTP o FTPS.
Valores Posibles
AUTOMATIC
, NONE
, IMPLICIT
, EXPLICIT
Tipo de Datos
string
Valor por Defecto
"AUTOMATIC"
Observaciones
Si SSLMode
está configurado en NINGUNO, se utiliza la autenticación de texto sin formato predeterminada para iniciar sesión en el servidor. Si SSLMode
está configurado en IMPLÍCITO, la negociación SSL comenzará inmediatamente después de que se establezca la conexión. Si SSLMode
está configurado en EXPLÍCITO, el conector primero se conectará en texto sin formato y luego iniciará explícitamente la negociación SSL a través de un comando de protocolo como STARTTLS. Si SSLMode
está configurado en AUTOMÁTICO, si el puerto remoto está configurado en el puerto de texto sin formato estándar del protocolo (cuando corresponda), el componente se comportará igual que si SSLMode
está establecido en EXPLÍCITO. En todos los demás casos, la negociación SSL será IMPLÍCITA.
- AUTOMÁTICO
- NINGUNO
- IMPLÍCITO
- EXPLÍCITO
SSLServerCert
El certificado que se aceptará del servidor al conectarse mediante TLS/SSL.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Si usa una conexión TLS/SSL, esta propiedad se puede usar para especificar el certificado TLS/SSL que se aceptará del servidor. Se rechaza cualquier otro certificado que no sea de confianza para la máquina.
Esta propiedad puede tomar las siguientes formas:
Descripción | Ejemplo |
---|---|
Un certificado PEM completo (ejemplo abreviado por brevedad) | -----BEGIN CERTIFICATE----- MIIChTCCAe4CAQAwDQYJKoZIhv......Qw== -----END CERTIFICATE----- |
Una ruta a un archivo local que contiene el certificado | C:\cert.cer |
La clave pública (ejemplo abreviado por brevedad) | -----BEGIN RSA PUBLIC KEY----- MIGfMA0GCSq......AQAB -----END RSA PUBLIC KEY----- |
La huella digital MD5 (los valores hexadecimales también pueden estar separados por espacios o dos puntos) | ecadbdda5a1529c58a1e9e09828d70e4 |
La huella digital SHA1 (los valores hexadecimales también pueden estar separados por espacios o dos puntos) | 34a929226ae0819f2ec14b4a3d904f801cbb150d |
Si no se especifica, se acepta cualquier certificado en el que confíe la máquina.
La máquina valida los certificados como confiables según el almacén de confianza del sistema. El almacén de confianza utilizado es el valor 'javax.net.ssl.trustStore' especificado para el sistema. Si no se especifica ningún valor para esta propiedad, se utiliza el almacén de confianza predeterminado de Java (por ejemplo, JAVA_HOME\lib\security\cacerts).
Use '*' para indicar que acepta todos los certificados. Tenga en cuenta que esto no se recomienda debido a problemas de seguridad.
SSH
Esta sección proporciona una lista completa de las propiedades de SSH que puede configurar.
Propiedad | Descripción |
---|---|
SSHAuthMode | El método de autenticación que se utilizará para iniciar sesión en un servidor SFTP. |
SSHClientCert | Un certificado que se utilizará para autenticar al usuario. |
SSHClientCertPassword | La contraseña del certificado SSHClientCert si lo tiene. |
SSHClientCertType | El tipo de certificado SSHClientCert. |
SSHAuthMode
El método de autenticación que se utilizará para iniciar sesión en un servidor SFTP.
Valores Posibles
None
, Password
, Public_Key
Tipo de Datos
string
Valor por Defecto
"Password"
Observaciones
- Ninguno: no se realizará ninguna autenticación. El Usuario actual se ignora y la conexión se iniciará como anónima.
- Contraseña: El conector utilizará los valores de Usuario y contraseña para autenticar al usuario.
- Public_Key: El conector utilizará los valores de Usuario y SSHClientCert para autenticar al usuario. SSHClientCert debe tener una clave privada disponible para que este método de autenticación tenga éxito.
SSHClientCert
Un certificado que se utilizará para autenticar al usuario.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Para utilizar la autenticación de clave pública, SSHClientCert
debe contener un certificado con una clave privada válida. El valor de la clave pública del certificado se envía al servidor junto con una firma generada con la clave privada. El servidor primero verificará si los valores de la clave pública coinciden con lo que conoce el usuario y luego intentará usar esos valores para verificar la firma.
El SSHClientCertType especifica el tipo de almacén de certificados especificado por SSHClientCert
. Si la tienda está protegida con contraseña, especifique la contraseña en SSHClientCertPassword.
SSHClientCert
se usa junto con SSHClientCertSubject para especificar certificados de cliente. Si SSHClientCert
tiene un valor y SSHClientCertSubject, se inicia una búsqueda de un certificado. Consulte SSHClientCertSubject campo para más detalles.
Las designaciones de los almacenes de certificados dependen de la plataforma.
Las siguientes son designaciones de los almacenes de certificados de usuario y máquina más comunes en Windows:
Propiedad | Descripción |
---|---|
MY | Un almacén de certificados que contiene certificados personales con sus claves privadas asociadas. |
CA | Certificados de la autoridad certificadora. |
ROOT | Certificados raíz. |
SPC | Certificados de editor de software. |
En Java, el almacén de certificados normalmente es un archivo que contiene certificados y claves privadas opcionales.
Cuando el tipo de almacén de certificados es PFXFile, esta propiedad debe establecerse en el nombre del archivo. Cuando el tipo es PFXBlob, la propiedad debe establecerse en el contenido binario de un archivo PFX (es decir, almacén de certificados PKCS12).
SSHClientCertPassword
La contraseña del certificado SSHClientCert si lo tiene.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad solo se usa cuando se autentica en servidores SFTP con SSHAuthMode establecido en PublicKey y SSHClientCert establecido en una clave privada.
SSHClientCertType
El tipo de certificado SSHClientCert.
Valores Posibles
USER
, MACHINE
, PFXFILE
, PFXBLOB
, JKSFILE
, JKSBLOB
, PEMKEY_FILE
, PEMKEY_BLOB
, PUBLIC_KEY_FILE
, PUBLIC_KEY_BLOB
, SSHPUBLIC_KEY_BLOB
, P7BFILE
, P7BBLOB
, SSHPUBLIC_KEY_FILE
, PPKFILE
, PPKBLOB
, XMLFILE
, XMLBLOB
Tipo de Datos
string
Valor por Defecto
"PUBLIC_KEY_FILE"
Observaciones
El tipo de SSHClientCert certificado. Esta propiedad puede tomar uno de los siguientes valores:
Propiedad | Descripción |
---|---|
USER | Para Windows, esto especifica que el almacén de certificados es un almacén de certificados propiedad del usuario actual. Nota: este tipo de tienda no está disponible en Java. |
MACHINE | Para Windows, esto especifica que el almacén de certificados es un almacén de máquinas. Nota: este tipo de tienda no está disponible en Java. |
PFXFILE | El almacén de certificados es el nombre de un archivo PFX (PKCS12) que contiene certificados. |
PFXBLOB | El almacén de certificados es una cadena (binaria o codificada en base 64) que representa un almacén de certificados en formato PFX (PKCS12). |
JKSFILE | El almacén de certificados es el nombre de un archivo Java Key Store (JKS) que contiene certificados. Nota: este tipo de tienda solo está disponible en Java. |
JKSBLOB | El almacén de certificados es una cadena (binaria o codificada en base 64) que representa un almacén de certificados en formato Java Key Store (JKS). Nota: este tipo de tienda solo está disponible en Java. |
PEMKEY_FILE | El almacén de certificados es el nombre de un archivo con codificación PEM que contiene una clave privada y un certificado opcional. |
PEMKEY_BLOB | El almacén de certificados es una cadena (binaria o codificada en base 64) que contiene una clave privada y un certificado opcional. |
PUBLIC_KEY_FILE | El almacén de certificados es el nombre de un archivo que contiene un certificado de clave pública con codificación PEM o DER. |
PUBLIC_KEY_BLOB | El almacén de certificados es una cadena (binaria o con codificación base 64) que contiene un certificado de clave pública con codificación PEM o DER. |
SSHPUBLIC_KEY_BLOB | El almacén de certificados es una cadena (binaria o codificada en base 64) que contiene una clave pública de estilo SSH. |
P7BFILE | El almacén de certificados es el nombre de un archivo PKCS7 que contiene certificados. |
P7BBLOB | El almacén de certificados es una cadena (binaria) que representa un almacén de certificados en formato PKCS7. |
SSHPUBLIC_KEY_FILE | El almacén de certificados es el nombre de un archivo que contiene una clave pública de estilo SSH. |
PPKFILE | El almacén de certificados es el nombre de un archivo que contiene una PPK (clave privada PuTTY). |
PPKBLOB | El almacén de certificados es una cadena (binaria) que contiene una PPK (clave privada PuTTY). |
XMLFILE | El almacén de certificados es el nombre de un archivo que contiene un certificado en formato XML. |
XMLBLOB | El almacén de certificados es una cadena que contiene un certificado en formato XML. |
Esquema
Esta sección proporciona una lista completa de propiedades de esquema que puede configurar.
Propiedad | Descripción |
---|---|
Location | Una ruta al directorio que contiene los archivos de esquema que definen tablas, vistas y procedimientos almacenados. |
BrowsableSchemas | Esta propiedad restringe los esquemas informados a un subconjunto de los esquemas disponibles. Por ejemplo, BrowsableSchemas=SchemaA, SchemaB, SchemaC. |
Tables | Esta propiedad restringe las tablas notificadas a un subconjunto de las tablas disponibles. Por ejemplo, Tablas=TablaA, TablaB, TablaC. |
Views | Restringe las vistas informadas a un subconjunto de las tablas disponibles. Por ejemplo, Vistas=VistaA, VistaB, VistaC. |
FlattenObjects | Establezca FlattenObjects en true para aplanar las propiedades de los objetos en sus propias columnas. De lo contrario, los objetos anidados en matrices se devuelven como cadenas de JSON. |
FlattenArrays | De forma predeterminada, las matrices anidadas se devuelven como cadenas. La propiedad FlattenArrays se puede usar para aplanar los elementos de matrices anidadas en columnas propias. Establezca FlattenArrays en la cantidad de elementos que desea devolver de las matrices anidadas. |
Ubicación
Una ruta al directorio que contiene los archivos de esquema que definen tablas, vistas y procedimientos almacenados.
Tipo de Datos
string
Valor por Defecto
"%APPDATA%\\\Parquet Data Provider\\Schema"
Observaciones
La ruta a un directorio que contiene los archivos de esquema para el conector (archivos .rsd para tablas y vistas, archivos .rsb para procedimientos almacenados). La ubicación de la carpeta puede ser una ruta relativa desde la ubicación del ejecutable. El Location
La propiedad solo es necesaria si desea personalizar las definiciones (por ejemplo, cambiar el nombre de una columna, ignorar una columna, etc.) o ampliar el modelo de datos con nuevas tablas, vistas o procedimientos almacenados.
Si no se especifica, la ubicación predeterminada es "%APPDATA%\\Parquet Data Provider\Schema" con %APPDATA%
estando configurado en el directorio de configuración del usuario:
Plataforma | %APPDATA% |
---|---|
Windows | El valor de la variable de ambiente APPDATA |
Mac | ~/Biblioteca/Soporte de aplicaciones |
Linux | ~/.config |
Esquemas Navegables
Esta propiedad restringe los esquemas informados a un subconjunto de los esquemas disponibles. Por ejemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Enumerar los esquemas de las bases de datos puede resultar costoso. Proporcionar una lista de esquemas en la cadena de conexión mejora el rendimiento.
Mesas
Esta propiedad restringe las tablas notificadas a un subconjunto de las tablas disponibles. Por ejemplo, Tablas=TablaA,TablaB,TablaC.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Listar las tablas de algunas bases de datos puede resultar costoso. Proporcionar una lista de tablas en la cadena de conexión mejora el rendimiento del conector.
Esta propiedad también se puede utilizar como una alternativa a la lista automática de vistas si ya sabe con cuáles quiere trabajar y, de lo contrario, habría demasiadas para trabajar.
Especifique las tablas que desea en una lista separada por comas. Cada tabla debe ser un identificador SQL válido con cualquier carácter especial escapado usando corchetes, comillas dobles o acentos graves. Por ejemplo, Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space`.
Tenga en cuenta que al conectarse a una fuente de datos con varios esquemas o catálogos, deberá proporcionar el nombre completo de la tabla en esta propiedad, como en el último ejemplo aquí, para evitar la ambigüedad entre las tablas que existen en varios catálogos o esquemas.
Puntos de Vista
Restringe las vistas informadas a un subconjunto de las tablas disponibles. Por ejemplo, Vistas=VistaA,VistaB,VistaC.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Listar las vistas de algunas bases de datos puede ser costoso. Proporcionar una lista de vistas en la cadena de conexión mejora el rendimiento del conector.
Esta propiedad también se puede utilizar como una alternativa a la lista automática de vistas si ya sabe con cuáles quiere trabajar y, de lo contrario, habría demasiadas para trabajar.
Especifique las vistas que desee en una lista separada por comas. Cada vista debe ser un identificador SQL válido con cualquier carácter especial escapado usando corchetes, comillas dobles o acentos graves. Por ejemplo, Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space`.
Tenga en cuenta que al conectarse a una fuente de datos con varios esquemas o catálogos, deberá proporcionar el nombre completo de la tabla en esta propiedad, como en el último ejemplo aquí, para evitar la ambigüedad entre las tablas que existen en varios catálogos o esquemas.
FlattenObjects
Establezca FlattenObjects en true para aplanar las propiedades de los objetos en sus propias columnas. De lo contrario, los objetos anidados en matrices se devuelven como cadenas de JSON.
Tipo de Datos
bool
Valor por Defecto
true
Observaciones
Colocar FlattenObjects
a verdadero para aplanar las propiedades del objeto en columnas propias. De lo contrario, los objetos anidados en matrices se devuelven como cadenas de JSON. Para generar el nombre de la columna, el conector concatena el nombre de la propiedad con el nombre del objeto con un punto.
Por ejemplo, puede aplanar los objetos anidados a continuación en el momento de la conexión:
[
{ "grade": "A", "score": 2 },
{ "grade": "A", "score": 6 },
{ "grade": "A", "score": 10 },
{ "grade": "A", "score": 9 },
{ "grade": "B", "score": 14 }
]
Cuando FlattenObjects
se establece en verdadero y FlattenArrays se establece en 1, la matriz anterior se aplana en la siguiente tabla:
Nombre de columna | Valor de columna |
---|---|
grades.0.grade | un |
grades.0.score | 2 |
FlattenArrays
De forma predeterminada, las matrices anidadas se devuelven como cadenas. La propiedad FlattenArrays se puede usar para aplanar los elementos de matrices anidadas en columnas propias. Establezca FlattenArrays en la cantidad de elementos que desea devolver de las matrices anidadas.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
De forma predeterminada, las matrices anidadas se devuelven como cadenas. El FlattenArrays
La propiedad se puede usar para aplanar los elementos de matrices anidadas en columnas propias. Esto solo se recomienda para arreglos que se espera que sean cortos.
Colocar FlattenArrays
a la cantidad de elementos que desea devolver de las matrices anidadas. Los elementos especificados se devuelven como columnas. El índice de base cero se concatena con el nombre de la columna. Se ignoran otros elementos.
Por ejemplo, puede devolver un número arbitrario de elementos de una matriz de cadenas:
["FLOW-MATIC","LISP","COBOL"]
Cuando FlattenArrays
se establece en 1, la matriz anterior se aplana en la siguiente tabla:
Nombre de columna | Valor de columna |
---|---|
languages.0 | FLOW-MATIC |
Misceláneas
Esta sección proporciona una lista completa de propiedades misceláneas que puede configurar.
Propiedad | Descripción |
---|---|
AggregateFiles | Cuando se establece en verdadero, el proveedor agregará todos los archivos en el directorio URI en un solo resultado. Con esta opción habilitada, se expondrán los archivos agregados que se pueden usar para consultar el conjunto de datos. |
Charset | Especifica el conjunto de caracteres de sesión para codificar y decodificar datos de caracteres transferidos hacia y desde el archivo Parquet. El valor predeterminado es UTF-8. |
ClientCulture | Esta propiedad se puede utilizar para especificar el formato de datos (por ejemplo, valores de moneda) que acepta la aplicación cliente. Esta propiedad se puede usar cuando la aplicación cliente no admite la configuración cultural de la máquina. Por ejemplo, Microsoft Access requiere 'en-US'. |
Compression | Especifica qué codificación de compresión se usará al crear archivos .parquet usando Crear instrucción de tabla e Inserciones masivas. |
Culture | Esta configuración se puede usar para especificar la configuración cultural que determina cómo el proveedor interpreta ciertos tipos de datos que se pasan al proveedor. Por ejemplo, configurar Culture='de-DE' generará formatos alemanes incluso en una máquina estadounidense. |
DeleteDownloadedFiles | Cuando se establece en verdadero, el proveedor eliminará los archivos .parquet analizados descargados de las fuentes de la nube. |
DirectoryRetrievalDepth | Limite las subcarpetas escaneadas recursivamente cuando la opción Incluir subdirectorios está habilitada. |
EnableDictionary | Cuando se establece en verdadero, el proveedor habilitará la codificación del diccionario al crear archivos .parquet mediante Crear instrucción de tabla e Inserciones masivas. |
ExcludeFiles | Lista separada por comas de extensiones de archivo para excluir del conjunto de archivos modelados como tablas. |
IncludeDropboxTeamResources | Indica si desea incluir archivos y carpetas del equipo de Dropbox. |
IncludeFiles | Lista separada por comas de extensiones de archivo para incluir en el conjunto de archivos modelados como tablas. |
IncludeSubdirectories | Ya sea para leer archivos de carpetas anidadas. En el caso de una colisión de nombres, los nombres de las tablas tienen como prefijo los nombres de las carpetas separados por guiones bajos. |
InsertMode | El comportamiento cuando se usan inserciones masivas para crear archivos Parquet. |
MaxRows | Limita el número de filas devueltas cuando no se usa agregación o agrupación en la consultar. Esto ayuda a evitar problemas de rendimiento en el momento del diseño. |
MetadataDiscoveryURI | Esta propiedad, que se usa cuando se agregan varios archivos en una tabla, especifica un archivo específico para leer y determinar el esquema de la tabla agregada. |
Other | Estas propiedades ocultas se usan solo en casos de uso específicos. |
PageSize | (Opcional) Valor de tamaño de página. |
ParallelPagingSizeLimit | Límite de tamaño de archivo de Parquet (MegaBytes) para el que usar la paginación paralela. |
PathSeparator | Determina el carácter que se utilizará para reemplazar el separador de archivos. |
PseudoColumns | Esta propiedad indica si incluir o no pseudocolumnas como columnas en la tabla. |
TemporaryLocalFolder | La ruta, o URI, a la carpeta que se usa para descargar temporalmente los archivos de parquet. |
Timeout | El valor en segundos hasta que se lanza el error de tiempo de espera, cancelando la operación. |
Archivos Agregados
Cuando se establece en verdadero, el proveedor agregará todos los archivos en el directorio URI en un solo resultado. Con esta opción habilitada, se expondrán los archivos agregados que se pueden usar para consultar el conjunto de datos.
Tipo de Datos
bool
Valor por Defecto
false
Observaciones
Cuando se establece en verdadero, el proveedor agregará todos los archivos en el directorio URI en un solo resultado. Con esta opción habilitada, se expondrán los archivos agregados que se pueden usar para consultar el conjunto de datos. De forma predeterminada, el primer archivo de la carpeta se usa para definir el esquema; sin embargo, MetadataDiscoveryURI se puede especificar para usar un archivo diferente en su lugar.
Juego de Caracteres
Especifica el conjunto de caracteres de sesión para codificar y decodificar datos de caracteres transferidos hacia y desde el archivo Parquet. El valor predeterminado es UTF-8.
Tipo de Datos
string
Valor por Defecto
"UTF-8"
Observaciones
Especifica el conjunto de caracteres de sesión para codificar y decodificar datos de caracteres transferidos hacia y desde el archivo Parquet. El valor predeterminado es UTF-8.
Cultura del Cliente
Esta propiedad se puede utilizar para especificar el formato de datos (por ejemplo, valores de moneda) que acepta la aplicación cliente. Esta propiedad se puede usar cuando la aplicación cliente no admite la configuración cultural de la máquina. Por ejemplo, Microsoft Access requiere 'en-US'.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta opción afecta el formato de salida del conector. Para especificar el formato que define cómo debe interpretarse la entrada, utilice la opción Cultura. De manera predeterminada, el conector usa la configuración regional actual de la máquina para interpretar la entrada y dar formato a la salida.
Compresión
Especifica qué codificación de compresión se usará al crear archivos .parquet usando Crear instrucción de tabla e Inserciones masivas.
Valores Posibles
Uncompressed
, Gzip
Tipo de Datos
string
Valor por Defecto
"Uncompressed"
Observaciones
Especifica qué codificación de compresión se usará al crear archivos .parquet usando Crear instrucción de tabla e Inserciones masivas.
Cultura
Esta configuración se puede usar para especificar la configuración cultural que determina cómo el proveedor interpreta ciertos tipos de datos que se pasan al proveedor. Por ejemplo, configurar Culture='de-DE' generará formatos alemanes incluso en una máquina estadounidense.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad afecta la entrada del conector. Para interpretar valores en un formato cultural diferente, utilice la propiedad Cultura del cliente. De manera predeterminada, el conector usa la configuración regional actual de la máquina para interpretar la entrada y dar formato a la salida.
Eliminar Archivos Descargados
Cuando se establece en verdadero, el proveedor eliminará los archivos .parquet analizados descargados de las fuentes de la nube.
Tipo de Datos
bool
Valor por Defecto
true
Observaciones
Cuando se establece en verdadero, el proveedor eliminará los archivos .parquet analizados descargados de las fuentes de la nube, almacenados en el directorio especificado a través de la propiedad de conexión 'TemporaryLocalFolder'.
Profundidad de Recuperación de Directorios
Limite las subcarpetas escaneadas recursivamente cuando la opción Incluir subdirectorios está habilitada.
Tipo de Datos
string
Valor por Defecto
"-1"
Observaciones
Cuando IncluirSubdirectorios está habilitado, DirectoryRetrievalDepth
especifica cuántas subcarpetas se escanearán recursivamente antes de detenerse. -1 especifica que se analizan todas las subcarpetas.
Habilitar Diccionario
Cuando se establece en verdadero, el proveedor habilitará la codificación del diccionario al crear archivos .parquet mediante Crear instrucción de tabla e Inserciones masivas.
Tipo de Datos
bool
Valor por Defecto
true
Observaciones
Cuando se establece en verdadero, el proveedor habilitará la codificación del diccionario al crear archivos .parquet mediante Crear instrucción de tabla e Inserciones masivas. El uso de la codificación de diccionario puede ayudar a reducir el tamaño del archivo .parquet resultante si una columna tiene valores repetidos. Las columnas con todos los valores únicos no utilizarán la codificación de diccionario incluso si esta propiedad se establece en verdadero.
Excluir Archivos
Lista separada por comas de extensiones de archivo para excluir del conjunto de archivos modelados como tablas.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Lista separada por comas de extensiones de archivo para excluir del conjunto de archivos modelados como tablas. También es posible especificar filtros de fecha y hora. Actualmente admitimos Fecha de creación y Fecha de modificación.
Ej:
ExcludeFiles="TXT,CreatedDate<='2020-11-26T07:39:34-05:00'"
ExcludeFiles="TXT,ModifiedDate<=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 50, 000)"
ExcludeFiles="ModifiedDate>=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 49, 000),ModifiedDate<=CURRENT_TIMESTAMP()"
IncluirDropboxTeamResources
Indica si desea incluir archivos y carpetas del equipo de Dropbox.
Tipo de Datos
bool
Valor por Defecto
false
Observaciones
Para acceder a las carpetas y archivos del equipo de Dropbox, establezca esta propiedad de conexión en Verdadero.
Incluir Archivos
Lista separada por comas de extensiones de archivo para incluir en el conjunto de archivos modelados como tablas.
Tipo de Datos
string
Valor por Defecto
"parquet"
Observaciones
Lista separada por comas de extensiones de archivo para incluir en el conjunto de archivos modelados como tablas. Por ejemplo, Incluir archivos=parquet,TXT. El valor predeterminado es parquet.
Se puede especificar un valor '*' para incluir todos los archivos. Se puede especificar un valor 'NOEXT' para incluir archivos sin extensión.
También es posible especificar filtros de fecha y hora. Actualmente admitimos Fecha de creación y Fecha de modificación.
Ej:
ExcludeFiles="TXT,CreatedDate<='2020-11-26T07:39:34-05:00'"
ExcludeFiles="TXT,ModifiedDate<=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 50, 000)"
ExcludeFiles="ModifiedDate>=DATETIMEFROMPARTS(2020, 11, 26, 7, 40, 49, 000),ModifiedDate<=CURRENT_TIMESTAMP()"
Incluir Subdirectorios
Ya sea para leer archivos de carpetas anidadas. En el caso de una colisión de nombres, los nombres de las tablas tienen como prefijo los nombres de las carpetas separados por guiones bajos.
Tipo de Datos
bool
Valor por Defecto
false
Observaciones
Ya sea para leer archivos de carpetas anidadas. Los nombres de las tablas tienen el prefijo de cada nombre de carpeta anidado separado por guiones bajos. Por ejemplo,
------------------------ | ------------------------------------ |
Raíz\subcarpeta1\tablaA | Raíz\subcarpeta1\subcarpeta2\tablaA |
subcarpeta1_tablaA | subcarpeta1_subcarpeta2_tablaA |
InsertMode
El comportamiento cuando se usan inserciones masivas para crear archivos Parquet.
Valores Posibles
create
, overwrite
, batch
Tipo de Datos
string
Valor por Defecto
"create"
Observaciones
- Crear: configure esto para crear un nuevo archivo de parquet usando el nombre de la tabla especificado en la Declaración de creación de tabla. Esto provocará un error si ya existe un archivo con el mismo nombre que el archivo nuevo.
- Sobrescribir: configure esto para sobrescribir cualquier archivo de parquet existente con el mismo nombre que el archivo nuevo.
- Lote: configure esto si usa Tamaño del lote > 0. Esto creará varios archivos de parquet, cada archivo con datos para un solo lote. Los nombres de archivo seguirían el patrón: '<Timestamp>_<Table Name>_<Batch ID>.parquet'.
Filas Máximas
Limita el número de filas devueltas cuando no se usa agregación o agrupación en la consultar. Esto ayuda a evitar problemas de rendimiento en el momento del diseño.
Tipo de Datos
int
Valor por Defecto
-1
Observaciones
Limita el número de filas devueltas cuando no se usa agregación o agrupación en la consultar. Esto ayuda a evitar problemas de rendimiento en el momento del diseño.
MetadataDiscoveryURI
Esta propiedad, que se usa cuando se agregan varios archivos en una tabla, especifica un archivo específico para leer y determinar el esquema de la tabla agregada.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta propiedad, que se usa cuando se agregan varios archivos en una tabla, especifica un archivo específico para leer y determinar el esquema de la tabla agregada.
Otro
Estas propiedades ocultas se usan solo en casos de uso específicos.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Las propiedades enumeradas a continuación están disponibles para casos de uso específicos. Los casos de uso y la funcionalidad normales del controlador no deberían requerir estas propiedades.
Especifique varias propiedades en una lista separada por punto y coma.
Integración y Formateo
Propiedad | Descripción |
---|---|
DefaultColumnSize | Establece la longitud predeterminada de los campos de cadena cuando la fuente de datos no proporciona la longitud de columna en los metadatos. El valor predeterminado es 2000. |
ConvertDateTimeToGMT | Determina si se convierten los valores de fecha y hora a GMT, en lugar de la hora local de la máquina. |
RecordToFile=filename | Registra la transferencia de datos del socket subyacente al archivo especificado. |
Tamaño de Página
(Opcional) Valor de tamaño de página.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
El valor de PageSize se usa para especificar el número de filas que se van a buscar a la vez.
Límite de Tamaño de Paginación Paralela
Límite de tamaño de archivo de Parquet (MegaBytes) para el que usar la paginación paralela.
Tipo de Datos
string
Valor por Defecto
"10"
Observaciones
Límite de tamaño de archivo de Parquet (MegaBytes) para el cual usar la paginación paralela. Por ejemplo, si el tamaño del archivo es inferior al límite de tamaño de página paralela, se leerán varios archivos de Parquet (hasta MaxThreads) simultáneamente.
Separador de Ruta
Determina el carácter que se utilizará para reemplazar el separador de archivos.
Tipo de Datos
string
Valor por Defecto
"\_"
Observaciones
Determina el carácter que se utilizará para reemplazar el separador de archivos. Si hay un archivo de parquet ubicado en "Test/Files/Test.parquet" y si esta propiedad se establece en "_", el nombre de la tabla para este archivo sería "Test_Files_Test.parquet".
Nota: La barra invertida (\\ no se puede usar como valor para esta propiedad.
Pseudocolumnas
Esta propiedad indica si incluir o no pseudocolumnas como columnas en la tabla.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
Esta configuración es particularmente útil en Entity Framework, que no le permite establecer un valor para una pseudocolumna a menos que sea una columna de tabla. El valor de esta configuración de conexión tiene el formato "Tabla1=Columna1, Tabla1=Columna2, Tabla2=Columna3". Puede usar el carácter "*" para incluir todas las tablas y todas las columnas; por ejemplo, "*=*".
CarpetaLocalTemporal
La ruta, o URI, a la carpeta que se usa para descargar temporalmente los archivos de parquet.
Tipo de Datos
string
Valor por Defecto
""
Observaciones
La ruta, o URI, a la carpeta que se usa para descargar temporalmente archivos de parquet desde fuentes en la nube como S3, Azure, etc. Por ejemplo: CarpetaLocalTemporal='C:/Usuario/Descargar'. Los archivos descargados se eliminan automáticamente de forma predeterminada después del análisis, este comportamiento se puede cambiar usando la propiedad de conexión 'DeleteDownloadedFiles'
Se Acabó el Tiempo
El valor en segundos hasta que se lanza el error de tiempo de espera, cancelando la operación.
Tipo de Datos
int
Valor por Defecto
60
Observaciones
Si Timeout
= 0, las operaciones no expiran. Las operaciones se ejecutan hasta que se completan correctamente o hasta que encuentran una condición de error.
Si Timeout
caduca y la operación aún no se ha completado, el conector genera una excepción.