Detalhes da Conexão de Azure Data Lake Storage

Introdução

Versão do conector

Esta documentação é baseada na versão 21.0.8257 do conector.

Começando

Suporte à versão do Azure Data Lake Storage

O conector aproveita a API Azure Data Lake Storage para habilitar o acesso bidirecional ao Azure Data Lake Storage.

Transmitindo Dados de Azure Data Lake Storage

O Conector Jitterbit para Azure Data Lake Storage foi projetado para navegar no Azure Data Lake Storage metadata apenas. Uma variedade de procedimentos armazenados* relevantes para os dados do Azure Data Lake Storage também são suportados.

Esses metadados geralmente incluem detalhes sobre objetos armazenados, como nomes de arquivos e pastas, e excluem o conteúdo real dos arquivos detectáveis.

Se o acesso aos metadados do arquivo e ao conteúdo real do arquivo for necessário, o Conector Jitterbit para Azure Data Lake Storage deverá ser usado em conjunto com o(s) driver(s) de streaming de arquivo associado(s) para os tipos de arquivo armazenados no Azure Data Lake Storage.

Os seguintes drivers de streaming de arquivo estão disponíveis:

• Avro
• CSV
• Excel
• JSON
• Parquet
• DESCANSAR
• XML

Consulte a documentação do driver de streaming de arquivo relevante para obter um guia de configuração para conectar-se a arquivos armazenados no Azure Data Lake Storage.

Estabelecendo uma Conexão

Conectando-se ao Azure DataLakeStorage Gen 1

Para se conectar a uma conta Gen 1 DataLakeStorage, você deve primeiro definir as seguintes propriedades:

• Schema: Defina para ADLSGen1.
• Account: Defina isso para o nome da conta.
• AzureTenant: Defina isso para o ID do locatário. Consulte o imóvel para mais informações sobre como adquiri-lo.
• Directory: (Opcional) Defina como o caminho que será usado para armazenar o arquivo replicado. Se não for especificado, o diretório raiz será usado.

Autenticação para Azure DataLakeStorage Gen 1

Gen 1 suporta os seguintes métodos de autenticação: Azure Active Directory OAuth (AzureAD) e Identidade de Serviço Gerenciado (AzureMSI).

Autenticando Usando o Azure AD

O Azure AD é um tipo de conexão que passa por OAuth. Defina seu AuthScheme para AzureAD e consulte Usando autenticação OAuth para obter um guia de autenticação.

Autenticação Usando a Entidade de Serviço do Azure

A Entidade de Serviço do Azure é um tipo de conexão que passa por OAuth. Defina seu AuthScheme para AzureServicePrincipal e consulte Usando a Autenticação Principal de Serviço do Azure para obter um guia de autenticação.

Autenticação Usando Autenticação MSI

Se você estiver executando o Azure Data Lake Storage em uma VM do Azure, poderá aproveitar as credenciais de identidade de serviço gerenciado (MSI) para se conectar:

• AuthScheme: Defina para AzureMSI.

As credenciais MSI serão obtidas automaticamente para autenticação.

Conectando-se ao Azure DataLakeStorage Gen 2

Para se conectar a uma conta DataLakeStorage Gen 2, você deve primeiro definir as seguintes propriedades:

• Schema: Defina para ADLSGen2.
• Account: Defina isso como o nome da conta de armazenamento.
• FileSystem: Defina como o nome do sistema de arquivos que será usado para esta conta. Por exemplo, o nome de um Azure Blob Container
• Directory: (Opcional) Defina como o caminho que será usado para armazenar o arquivo replicado. Se não for especificado, o diretório raiz será usado.

Autenticação para Azure DataLakeStorage Gen 2

A geração 2 oferece suporte aos seguintes métodos de autenticação: usando uma chave de acesso, usando uma assinatura de acesso compartilhado, Azure Active Directory OAuth (AzureAD), identidade de serviço gerenciado (AzureMSI).

Autenticação Usando uma Chave de Acesso

Para se conectar usando uma assinatura de acesso compartilhado, defina AccessKey propriedade e o AuthScheme para AccessKey.

Você pode obter uma chave de acesso para a conta de armazenamento ADLS Gen2 usando o portal do Azure:

1. Acesse sua conta de armazenamento ADLS Gen2 no portal do Azure.
2. Em Configurações, selecione Chaves de acesso.
3. Copie o valor de uma das chaves de acesso disponíveis para AccessKey propriedade de conexão.

Autenticação Usando uma Assinatura de Acesso Compartilhado (sas)

Para se conectar usando uma assinatura de acesso compartilhado, defina SharedAccessSignature propriedade para uma assinatura válida de um recurso para se conectar e o AuthScheme para SAS. O SharedAccessSignature pode ser gerado com uma ferramenta como o Azure Storage Explorer.

Autenticando Usando o Azure AD

O Azure AD é um tipo de conexão que passa por OAuth. Defina seu AuthScheme para AzureAD e consulte Usando autenticação OAuth para obter um guia de autenticação.

Autenticação Usando a Entidade de Serviço do Azure

A Entidade de Serviço do Azure é um tipo de conexão que passa por OAuth. Defina seu AuthScheme para AzureServicePrincipal e consulte Usando a Autenticação Principal de Serviço do Azure para obter um guia de autenticação.

Autenticação Usando Autenticação MSI

Se você estiver executando o Azure Data Lake Storage em uma VM do Azure, poderá aproveitar as credenciais de identidade de serviço gerenciado (MSI) para se conectar:

• AuthScheme: Defina para AzureMSI.

As credenciais MSI serão obtidas automaticamente para autenticação.

Usando Autenticação OAuth

OAuth requer que o usuário autenticado interaja com o Azure Data Lake Storage usando o navegador. O conector facilita isso de várias maneiras, conforme descrito abaixo.

Credenciais Incorporadas

Consulte Credenciais incorporadas para se conectar com as credenciais incorporadas do conector e pule a criação de um aplicativo OAuth personalizado.

Credenciais Personalizadas

Em vez de se conectar com as credenciais incorporadas do conector, você pode registrar um aplicativo com Custom Credentials para obter o OAuthClientId e OAuthClientSecret.

Quando Criar um Aplicativo OAuth Personalizado

A criação de um aplicativo OAuth personalizado é opcional, pois o conector já está registrado no Azure Data Lake Storage e você pode se conectar com suas credenciais inseridas. Talvez você queira criar um aplicativo OAuth personalizado para alterar as informações exibidas quando os usuários fazem logon no endpoint OAuth do Azure Data Lake Storage para conceder permissões ao conector.

Criando um Aplicativo OAuth Personalizado

Consulte Criando um aplicativo OAuth personalizado para um procedimento.

Credenciais Incorporadas

Autenticar Usando as Credenciais OAuth Incorporadas

Autenticação de Desktop com o Aplicativo OAuth Integrado

Você pode se conectar sem definir nenhuma propriedade de conexão para suas credenciais de usuário.

Quando você se conecta, o conector abre o endpoint OAuth em seu navegador padrão. Faça login e conceda permissões ao aplicativo. O conector então conclui o processo OAuth.

1. Extrai o token de acesso do URL de retorno de chamada e autentica as solicitações.
2. Obtém um novo token de acesso quando o antigo expira.
3. Salva valores OAuth em OAuthSettingsLocation para ser persistido nas conexões.

Credenciais Personalizadas

Existem dois tipos de autenticação de aplicativo disponíveis: usando um segredo do cliente e usando um certificado. Você pode usar qualquer um deles dependendo da autenticação de aplicativo configurada.

Autenticação de Área de Trabalho com Seu Aplicativo OAuth

Siga as etapas abaixo para autenticar com as credenciais de um aplicativo OAuth personalizado. Consulte Criando um aplicativo OAuth personalizado.

Obtenha um Token de Acesso OAuth

Você está pronto para se conectar após definir um dos grupos de propriedades de conexão abaixo, dependendo do tipo de autenticação.

1. Authenticating using a Client Secret
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthClientSecret: Defina isso como o segredo do cliente nas configurações do aplicativo.
   • CallbackURL: Defina isso para o URL de redirecionamento nas configurações do aplicativo.
   • AuthScheme: Defina isso como "AzureAD" nas configurações do aplicativo.
   • InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar a repetição da troca OAuth e definir manualmente o OAuthAccessToken..
2. Authenticating using a Certificate
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
   • OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.
   • CallbackURL: Defina isso para o URL de redirecionamento nas configurações do aplicativo.
   • AuthScheme: Defina isso como "AzureAD" nas configurações do aplicativo.
   • InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar a repetição da troca OAuth e definir manualmente o OAuthAccessToken..

Quando você conecta, o conector abre o endpoint OAuth em seu navegador padrão. Faça login e conceda permissões ao aplicativo. O conector então conclui o processo OAuth:

1. Extrai o token de acesso da URL de retorno de chamada e autentica as solicitações.
2. Obtém um novo token de acesso quando o antigo expira.
3. Salva valores OAuth em OAuthSettingsLocation para ser persistido nas conexões.

Máquinas Sem Cabeça

Usando OAuth em uma Máquina Sem Cabeça

Para criar fontes de dados Azure Data Lake Storage em servidores sem periféricos ou outras máquinas nas quais o conector não pode abrir um navegador, você precisa autenticar de outra máquina. A autenticação é um processo de duas etapas.

1. Ao invés de instalar o conector em outra máquina, você pode seguir os passos abaixo para obter o OAuthVerifier valor. Ou você pode instalar o conector em outra máquina e transferir os valores de autenticação OAuth, depois de autenticar por meio do fluxo normal baseado em navegador.
2. Em seguida, você pode configurar o conector para atualizar automaticamente o token de acesso da máquina sem periféricos.

Você pode seguir o fluxo de autenticação OAuth headless usando as credenciais OAuth incorporadas do conector ou usando as credenciais OAuth para seu aplicativo OAuth personalizado.

Usando as Credenciais para um Aplicativo OAuth Personalizado

Crie um aplicativo OAuth personalizado

Consulte Criando um aplicativo OAuth personalizado para um procedimento. Você pode seguir os procedimentos abaixo para autenticar e conectar-se aos dados.

Obtenha um código verificador

Na máquina sem periféricos, defina um dos seguintes grupos de propriedades, dependendo do tipo de autenticação:

1. Authenticating using a Client Secret
   • InitiateOAuth: Defina como DESLIGADO.
   • OAuthClientId: Defina isso como o ID do aplicativo nas configurações do aplicativo.
   • OAuthClientSecret: Defina isso como o Segredo do aplicativo nas configurações do aplicativo.
2. Authenticating using a Certificate
   • InitiateOAuth: Defina como DESLIGADO.
   • OAuthClientId: Defina isso como o ID do aplicativo nas configurações do aplicativo.
   • OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
   • OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.

Você pode seguir as etapas abaixo para autenticar em outra máquina e obter o OAuthVerifier propriedade de conexão.

1. Chame o GetOAuthAuthorizationURL procedimento armazenado* com o parâmetro de entrada CallbackURL definido para o URI de redirecionamento exato que você especificou nas configurações do aplicativo.
2. Abra o URL retornado em um navegador. Faça login e conceda permissões ao conector. Você será redirecionado para a URL de retorno de chamada. A página da Web indicará que o site não pôde ser acessado.
3. Inspecione o URL da página deste site e encontre o code valor. Ele estará presente na URL no formato code=XXXXXX (terminado com &, que denota o próximo parâmetro da URL) O valor após o "code=" é o código do verificador.
4. Salve o valor do código do verificador. Você definirá isso no OAuthVerifier propriedade de conexão.

Na máquina sem periféricos, defina um dos seguintes grupos de propriedades de conexão dependendo do tipo de autenticação para obter os valores de autenticação OAuth:

• OAuthClientId: Defina isso como a chave do consumidor nas configurações do aplicativo.
• OAuthClientSecret: Defina isso como o segredo do consumidor nas configurações do aplicativo.
• OAuthVerifier: Defina isso para o código do verificador.
• OAuthSettingsLocation: Defina para manter os valores de autenticação OAuth criptografados no arquivo especificado.
• InitiateOAuth: Configure para ATUALIZAR.

Conecte-se aos dados

Depois que o arquivo de configurações OAuth for gerado, defina as seguintes propriedades para se conectar aos dados:

• OAuthSettingsLocation: Defina isso para o arquivo que contém os valores de autenticação OAuth criptografados. Certifique-se de que este arquivo forneça permissões de leitura e gravação ao provedor para ativar a atualização automática do token de acesso.
• InitiateOAuth: Configure para ATUALIZAR.

Configurações de transferência OAuth

Siga as etapas abaixo para instalar o conector em outra máquina, autenticar e depois transferir os valores OAuth resultantes.

Em uma segunda máquina, instale o conector e conecte-se a um dos seguintes grupos de propriedades, dependendo do tipo de autenticação:

1. Authenticating using a Client Secret
   • OAuthSettingsLocation: Defina isso como um arquivo de texto gravável.
   • InitiateOAuth: Defina como GETANDREFRESH.
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthClientSecret: Defina isso como o segredo do cliente nas configurações do aplicativo.
   • CallbackURL: Defina isso para o URL de retorno de chamada nas configurações do aplicativo.
2. Authenticating using a Certificate
   • OAuthSettingsLocation: Defina isso como um arquivo de texto gravável.
   • InitiateOAuth: Defina como GETANDREFRESH.
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
   • OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.
   • CallbackURL: Defina isso para o URL de retorno de chamada nas configurações do aplicativo.

Teste a conexão para autenticar. Os valores de autenticação resultantes são gravados, criptografados, no caminho especificado por OAuthSettingsLocation. Depois de testar a conexão com sucesso, copie o arquivo de configurações OAuth para sua máquina sem periféricos. Na máquina sem periféricos, defina as seguintes propriedades de conexão para se conectar aos dados:

• InitiateOAuth: Configure para ATUALIZAR.
• OAuthSettingsLocation: Defina isso como o caminho para o arquivo de configurações OAuth. Certifique-se de que este arquivo forneça permissões de leitura e gravação ao conector para habilitar a atualização automática do token de acesso.

Criando um Aplicativo OAuth Personalizado

Quando Criar um Aplicativo OAuth Personalizado

A criação de um aplicativo OAuth personalizado é opcional, pois o conector já está registrado no Azure Data Lake Storage e você pode se conectar com suas credenciais inseridas.

Talvez você queira criar um aplicativo OAuth personalizado para alterar as informações exibidas quando os usuários fazem logon no endpoint OAuth do Azure Data Lake Storage para conceder permissões ao conector.

Siga as etapas abaixo para criar um aplicativo OAuth personalizado e obter as propriedades de conexão em um fluxo de autenticação OAuth específico.

Etapas para Criar um Aplicativo OAuth Personalizado

Siga as etapas abaixo para obter os valores OAuth para seu aplicativo, o OAuthClientId e OAuthClientSecret.

1. Faça login em https://portal.azure.com.
2. No painel de navegação à esquerda, selecione Azure Active Directory, em seguida, Registros de aplicativos e clique no botão Novo registro.
3. Insira um nome de aplicativo e defina o botão de opção para a configuração de locatário desejada. Ao criar um aplicativo OAuth personalizado no Azure Active Directory, você pode definir se o aplicativo é único ou multilocatário. Se você selecionar a opção padrão "Somente contas neste diretório organizacional", precisará definir o AzureTenant propriedade de conexão para a ID do locatário do Azure AD ao estabelecer uma conexão com o conector Jitterbit para Azure Data Lake Storage. Caso contrário, a tentativa de autenticação falhará com um erro. Se seu aplicativo for apenas para uso privado, "Somente contas neste diretório da organização" deve ser suficiente. Caso contrário, se você quiser distribuir seu aplicativo, escolha uma das opções multilocatário.
4. Em seguida, defina o URL de redirecionamento para algo como http://localhost:33333, o padrão do conector. Ou defina uma porta diferente de sua escolha e defina CallbackURL para o URL de resposta exato que você definiu.
5. Defina o tipo de autenticação do aplicativo na seção Certificados e segredos. Existem dois tipos de autenticação disponíveis: usando um segredo do cliente e usando um certificado. O método de autenticação recomendado é por meio de um certificado, mas você também pode criar um segredo de aplicativo.
   • Option 1 - Upload a certificate: Na seção Certificados e Segredos, selecione Carregar certificado e selecione o certificado para carregar de sua máquina local.
   • Option 2 - Create a new application secret: Na seção Certificates & Secrets, selecione New Client Secret para o aplicativo e selecione sua duração. Depois de salvar o segredo do cliente, o valor da chave é exibido. Copie este valor, pois ele é exibido apenas uma vez e é usado como OAuthClientSecret.
6. Selecione Permissões de API e clique em Adicionar. Se você planeja que seu aplicativo se conecte sem um contexto de usuário, selecione as Permissões do aplicativo (OAuthGrantType = CLIENTE). Caso contrário, ao selecionar permissões, use as permissões delegadas.
7. Selecione ' Windows Azure Service Management API' junto com ' Azure Data Lake' e adicione o Have full access to the Azure Data Lake service permissão.
8. Salve suas alterações.
9. Se você optou por usar permissões que exigem consentimento do administrador (como as Permissões do aplicativo), você pode concedê-las do locatário atual na página Permissões da API. Caso contrário, siga as etapas em Consentimento do administrador.

Consentimento do Administrador

O consentimento do administrador refere-se a quando o administrador de um locatário do Azure Active Directory concede permissões a um aplicativo que exige que um administrador consinta com o caso de uso. O aplicativo inserido no Conector Jitterbit para Azure Data Lake Storage não contém permissões que exijam o consentimento do administrador. Portanto, essas informações se aplicam apenas a aplicativos personalizados.

Permissões de Consentimento do Administrador

Ao criar um novo aplicativo OAuth no Portal do Azure, você deve especificar quais permissões o aplicativo exigirá. Algumas permissões podem ser marcadas informando "Consentimento do administrador necessário". Por exemplo, todas as permissões de grupos exigem consentimento do administrador. Se seu aplicativo exigir consentimento do administrador, há algumas maneiras de fazer isso.

A maneira mais fácil de conceder consentimento de administrador é apenas fazer com que um administrador faça logon em portal.azure.com e navegue até o aplicativo que você criou em Registros de aplicativos. Em Permissões da API, haverá um botão para Conceder consentimento. Você pode consentir aqui para que seu aplicativo tenha permissões no locatário sob o qual foi criado.

Se sua organização tiver vários locatários ou o aplicativo precisar receber permissões para outros locatários fora de sua organização, o GetAdminConsentURL pode ser usado para gerar o URL de autorização do administrador. Ao contrário do GetOAuthAuthorizationURL, não haverá informações importantes retornadas desse endpoint. Se conceder acesso, ele simplesmente retornará um booleano indicando que as permissões foram concedidas.

Depois que um administrador concede o consentimento, a autenticação pode ser realizada normalmente.

Credenciais do Cliente

As credenciais do cliente referem-se a um fluxo no OAuth em que não ocorre nenhuma autenticação direta do usuário. Em vez disso, as credenciais são criadas apenas para o próprio aplicativo. Todas as tarefas executadas pelo aplicativo são realizadas sem um contexto de usuário padrão. Isso torna o fluxo de autenticação um pouco diferente do padrão.

Fluxo OAuth do Cliente

Todas as permissões relacionadas ao fluxo oauth do cliente exigem o consentimento do administrador. Isso significa que o aplicativo inserido com o Conector Jitterbit para Azure Data Lake Storage não pode ser usado no fluxo oauth do cliente. Você deve criar seu próprio aplicativo OAuth para usar as credenciais do cliente. Consulte Criando um aplicativo OAuth personalizado para mais detalhes.

Em seu registro de aplicativo em portal.azure.com, navegue até API Permissions e selecione as permissões do Microsoft Graph. Existem dois conjuntos distintos de permissões - Permissões delegadas e de aplicativos. As permissões usadas durante a autenticação da credencial do cliente estão em Permissões do aplicativo. Selecione as permissões aplicáveis necessárias para sua integração.

Você está pronto para se conectar após definir um dos grupos de propriedades de conexão abaixo, dependendo do tipo de autenticação.

1. Authenticating using a Client Secret
   • InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar a repetição da troca OAuth e definir manualmente o OAuthAccessToken.
   • AzureTenant: Defina isso para o inquilino ao qual você deseja se conectar.
   • OAuthGrantType: Defina como CLIENTE.
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthClientSecret: Defina isso como o segredo do cliente nas configurações do aplicativo.
2. Authenticating using a Certificate
   • InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar a repetição da troca OAuth e definir manualmente o OAuthAccessToken.
   • AzureTenant: Defina isso para o inquilino ao qual você deseja se conectar.
   • OAuthGrantType: Defina como CLIENTE.
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
   • OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.

A autenticação com as credenciais do cliente ocorrerá automaticamente como qualquer outra conexão, exceto que não haverá nenhuma janela aberta solicitando ao usuário. Como não há contexto do usuário, não há necessidade de um pop-up do navegador. As conexões ocorrerão e serão tratadas internamente.

Usando a Autenticação Principal de Serviço do Azure

A autenticação como Entidade de Serviço do Azure é tratada por meio do fluxo de Credenciais do Cliente OAuth e não envolve autenticação direta do usuário. Em vez disso, as credenciais são criadas apenas para o próprio aplicativo. Todas as tarefas executadas pelo aplicativo são feitas sem um contexto de usuário padrão, mas com base nas funções atribuídas. O acesso do aplicativo aos recursos é controlado por meio das permissões das funções atribuídas.

Credenciais Personalizadas

Você precisará registrar um aplicativo OAuth para obter os valores da propriedade OAuth antes da conexão com a fonte de dados Azure Data Lake Storage. Você pode verificar as Credenciais personalizadas guia sobre como definir as propriedades OAuth.

Criando um Aplicativo OAuth Personalizado

Consulte Criando um aplicativo OAuth personalizado para um procedimento.

Criando um Aplicativo OAuth Personalizado

A criação de um aplicativo OAuth personalizado e uma entidade de serviço que pode acessar os recursos necessários é necessária ao autenticar usando uma entidade de serviço do Azure.

Siga as etapas abaixo para criar um aplicativo OAuth personalizado e obter as propriedades de conexão para a autenticação da Entidade de Serviço do Azure.

Etapas para Criar um Aplicativo OAuth Personalizado

Siga as etapas abaixo para obter os valores OAuth para seu aplicativo.

1. Faça login em <https://portal.azure.com>.
2. No painel de navegação à esquerda, selecione Azure Active Directory, em seguida, Registros de aplicativos e clique no botão Novo registro.
3. Insira um nome de aplicativo e defina o botão de opção para "Qualquer diretório do Azure AD - multilocatário". Em seguida, defina o URL de redirecionamento para algo como http://localhost:33333, o padrão do conector.
4. Copie o valor do ID do aplicativo (cliente) exibido na seção Visão geral após criar o aplicativo, pois esse valor é usado como OAuthClientId
5. Defina o tipo de autenticação do aplicativo na seção Certificados e segredos. Existem dois tipos de autenticação disponíveis: usando um segredo do cliente e usando um certificado. O método de autenticação recomendado é por meio de um certificado, mas você também pode criar um segredo de aplicativo.
   • Option 1 - Upload a certificate: Na seção Certificados e Segredos, selecione Carregar certificado e selecione o certificado para carregar de sua máquina local.
   • Option 2 - Create a new application secret: Na seção Certificates & Secrets, selecione New Client Secret para o aplicativo e selecione sua duração. Depois de salvar o segredo do cliente, o valor da chave é exibido. Copie este valor, pois ele é exibido apenas uma vez e é usado como OAuthClientSecret.
6. Na aba Autenticação, certifique-se de marcar a opção: Tokens de acesso (usados para fluxos implícitos).
7. Abra a página Assinaturas pesquisando e selecionando o serviço Assinaturas na barra de pesquisa.
8. Selecione a assinatura específica à qual atribuir o aplicativo, abra a seção Controle de acesso (IAM) e clique no botão Adicionar atribuição de papel.
9. Defina a papel a ser atribuída ao aplicativo OAuth criado. Selecione a papel Proprietário para o ADLSGen1 Schema e a papel Contribuidor de Dados do Storage Blob para o ADLSGen2 Schema. Como alternativa, você também pode conceder direitos de acesso atribuindo ACLs (listas de controle de acesso) à sua entidade de serviço.

Credenciais Personalizadas

Siga as etapas abaixo para autenticar com as credenciais de um aplicativo OAuth personalizado. Consulte Criando um aplicativo OAuth personalizado.

Autenticação com Seu Aplicativo OAuth

Existem dois tipos de autenticação de aplicativo disponíveis: usando um segredo do cliente e usando um certificado. Você pode usar qualquer um deles dependendo da autenticação de aplicativo configurada.

Obtenha um Token de Acesso OAuth

Você está pronto para se conectar após definir um dos grupos de propriedades de conexão abaixo, dependendo do tipo de autenticação.

1. Authenticating using a Client Secret
   • AuthScheme: Defina isso como "AzureServicePrincipal" nas configurações do aplicativo.
   • InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar repetir a troca de OAuth e configurar manualmente o OAuthAccessToken.
   • AzureTenant: Defina isso para o inquilino ao qual você deseja se conectar.
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthClientSecret: Defina isso como o segredo do cliente nas configurações do aplicativo.
2. Authenticating using a Certificate
   • AuthScheme: Defina isso como "AzureServicePrincipal" nas configurações do aplicativo.
   • InitiateOAuth: Defina como GETANDREFRESH. Você pode usar InitiateOAuth para evitar repetir a troca de OAuth e configurar manualmente o OAuthAccessToken.
   • AzureTenant: Defina isso para o inquilino ao qual você deseja se conectar.
   • OAuthClientId: Defina isso como o ID do cliente nas configurações do aplicativo.
   • OAuthJWTCert: Defina isso para o armazenamento de certificados JWT.
   • OAuthJWTCertType: Defina isso para o tipo de armazenamento de certificado especificado por OAuthJWTCert.

Acesso a Dados de Ajuste Fino

Acesso a Dados de Ajuste Fino

Você pode usar as seguintes propriedades para obter mais controle sobre os dados retornados do Azure Data Lake Storage:

• DirectoryRetrievalDepth: Para o ADLSGen1 esquema. Especifica quantas subpastas serão verificadas recursivamente antes de parar.
• IncludeSubDirectories: Para o ADLSGen2 esquema. Se o conector deve listar os caminhos dos subdiretórios na exibição Recursos.

Anotações Importantes

Procedimentos Armazenados

• Os recursos de procedimentos armazenados descritos nesta documentação não são suportados no momento.
• Como os procedimentos armazenados não são suportados atualmente, qualquer recurso dependente de procedimentos armazenados também não é suportado atualmente.

Arquivos de Configuração e Seus Caminhos

• Todas as referências para adicionar arquivos de configuração e seus caminhos referem-se a arquivos e locais no Harmony Agente onde o conector está instalado. Esses caminhos devem ser ajustados conforme apropriado, dependendo do agente e do sistema operacional. Se vários agentes forem usados em um grupo de agentes, arquivos idênticos serão necessários em cada agente.

Características Avançadas

Esta seção detalha uma seleção de recursos avançados do conector Azure Data Lake Storage.

Visualizações definidas pelo usuário

O conector permite definir tabelas virtuais, denominadas visões definidas pelo usuário, cujo conteúdo é decidido por uma consultar pré-configurada. Essas exibições são úteis quando você não pode controlar diretamente as consultas enviadas aos drivers. Consulte Visualizações definidas pelo usuário para obter uma visão geral da criação e configuração de exibições personalizadas.

Configuração SSL

Use Configuração SSL para ajustar como o conector lida com as negociações de certificado TLS/SSL. Você pode escolher entre vários formatos de certificado; Veja o SSLServerCert propriedade em "Opções de cadeia de conexão" para obter mais informações.

Procurador

Para configurar o conector usando configurações de proxy do Agente Privado, selecione os Use Proxy Settings caixa de seleção na tela de configuração da conexão.

Visualizações Definidas pelo Usuário

O Conector Jitterbit para Azure Data Lake Storage permite definir uma tabela virtual cujo conteúdo é decidido por uma consultar pré-configurada. Elas são chamadas de Visualizações Definidas pelo Usuário, que são úteis em situações onde você não pode controlar diretamente a consultar que está sendo emitida para o driver, por exemplo, ao usar o driver do Jitterbit. As Visualizações Definidas pelo Usuário podem ser usadas para definir predicados que são sempre aplicados. Se você especificar predicados adicionais na consultar para a visualização, eles serão combinados com a consultar já definida como parte da visualização.

Há duas maneiras de criar exibições definidas pelo usuário:

• Crie um arquivo de configuração em formato JSON definindo as visualizações desejadas.
• declarações DDL.

Definindo Visualizações Usando um Arquivo de Configuração

As visualizações definidas pelo usuário são definidas em um arquivo de configuração formatado em JSON chamado UserDefinedViews.json. O conector detecta automaticamente as visualizações especificadas neste arquivo.

Você também pode ter várias definições de exibição e controlá-las usando o UserDefinedViews propriedade de conexão. Quando você usa essa propriedade, apenas as exibições especificadas são vistas pelo conector.

Este arquivo de configuração de exibição definida pelo usuário é formatado da seguinte forma:

• Cada elemento raiz define o nome de uma exibição.
• Cada elemento raiz contém um elemento filho, chamado query, que contém a consultar SQL personalizada para a exibição.

Por exemplo:

{
    "MyView": {
        "query": "SELECT * FROM Resources WHERE MyColumn = 'value'"
    },
    "MyView2": {
        "query": "SELECT * FROM MyTable WHERE Id IN (1,2,3)"
    }
}

Use o UserDefinedViews propriedade de conexão para especificar a localização do seu arquivo de configuração JSON. Por exemplo:

"UserDefinedViews", "C:\Users\yourusername\Desktop\tmp\UserDefinedViews.json"

Esquema para Exibições Definidas pelo Usuário

As visualizações definidas pelo usuário são expostas no UserViews esquema por padrão. Isso é feito para evitar que o nome da exibição entre em conflito com uma entidade real no modelo de dados. Você pode alterar o nome do esquema usado para UserViews definindo o UserViewsSchemaName propriedade.

Trabalhando com Exibições Definidas pelo Usuário

Por exemplo, uma instrução SQL com uma Visualização Definida pelo Usuário chamada UserViews.RCustomers lista apenas clientes em Raleigh:

SELECT * FROM Customers WHERE City = 'Raleigh';

Exemplo de consultar ao driver:

SELECT * FROM UserViews.RCustomers WHERE Status = 'Active';

Resultando na consultar efetiva à fonte:

SELECT * FROM Customers WHERE City = 'Raleigh' AND Status = 'Active';

Esse é um exemplo muito simples de uma consultar a uma exibição definida pelo usuário que é efetivamente uma combinação da consultar de exibição e da definição de exibição. É possível compor essas consultas em padrões muito mais complexos. Todas as operações SQL são permitidas em ambas as consultas e são combinadas quando apropriado.

Configuração SSL

Personalizando a Configuração SSL

Por padrão, o conector tenta negociar SSL/TLS verificando o certificado do servidor em relação ao armazenamento de certificados confiáveis do sistema.

Para especificar outro certificado, consulte o SSLServerCert propriedade para os formatos disponíveis para fazê-lo.

Modelo de Dados

Visão geral

Esta seção mostra os objetos de API disponíveis e fornece mais informações sobre como executar SQL para APIs de Azure Data Lake Storage.

Características principais

• O conector modela entidades do Azure Data Lake Storage como documentos, pastas e grupos como exibições relacionais, permitindo que você escreva SQL para consultar dados do Azure Data Lake Storage.
• Procedimentos armazenados* permitem que você execute operações no Azure Data Lake Storage.
• A conectividade ao vivo com esses objetos significa que quaisquer alterações em sua conta do Azure Data Lake Storage são refletidas imediatamente ao usar o conector.

Visualizações

Visualizações descreve as exibições disponíveis. As exibições são definidas estaticamente para modelar Recursos e Permissões.

Procedimentos armazenados

NOTE: Procedimentos armazenados não são suportados atualmente. Veja a nota para detalhes.

Procedimentos armazenados são interfaces semelhantes a funções para Azure Data Lake Storage. Procedimentos armazenados* permitem que você execute operações no Azure Data Lake Storage, incluindo download de documentos e movimentação de envelopes.

Processamento de consulta colaborativa

O conector descarrega o máximo possível do processamento da instrução SELECT para o Azure Data Lake Storage e, em seguida, processa o restante da consultar na memória. Limitações e requisitos da API "também estão documentados nesta seção.

Ver SupportEnhancedSQL para obter mais informações sobre como o conector contorna as limitações da API com processamento na memória do lado do cliente.

Modelo de Dados ADLSGen1

Visão Geral

Esta seção mostra os objetos de API disponíveis e fornece mais informações sobre como executar SQL para APIs de Azure Data Lake Storage.

Características Principais

• O conector modela entidades do Azure Data Lake Storage como documentos, pastas e grupos como exibições relacionais, permitindo que você escreva SQL para consultar dados do Azure Data Lake Storage.
• Procedimentos armazenados* permitem que você execute operações no Azure Data Lake Storage.
• A conectividade ao vivo com esses objetos significa que quaisquer alterações em sua conta do Azure Data Lake Storage são refletidas imediatamente ao usar o conector.

Visualizações

Visualizações descreve as exibições disponíveis. As exibições são definidas estaticamente para modelar Recursos e Permissões.

Procedimentos Armazenados

NOTE: Procedimentos armazenados não são suportados atualmente. Veja a nota para detalhes.

Procedimentos armazenados são interfaces semelhantes a funções para Azure Data Lake Storage. Procedimentos armazenados* permitem que você execute operações no Azure Data Lake Storage, incluindo download de documentos e movimentação de envelopes.

Processamento de Consultas Colaborativas

O conector descarrega o máximo possível do processamento da instrução SELECT para o Azure Data Lake Storage e, em seguida, processa o restante da consultar na memória. Limitações e requisitos da API "também estão documentados nesta seção.

Ver SupportEnhancedSQL para obter mais informações sobre como o conector contorna as limitações da API com processamento na memória do lado do cliente.

Visualizações

As exibições são compostas por colunas e pseudocolunas. As exibições são semelhantes às tabelas na forma como os dados são representados; no entanto, as exibições não oferecem suporte a atualizações. Entidades que são representadas como exibições são normalmente entidades somente leitura. Frequentemente, um procedimento armazenado* está disponível para atualizar os dados se tal funcionalidade for aplicável à fonte de dados.

As consultas podem ser executadas em uma exibição como se fosse uma tabela normal, e os dados retornados são semelhantes nesse aspecto. Para saber mais sobre tabelas e procedimentos armazenados, navegue até as entradas correspondentes neste documento de ajuda.

Conector Jitterbit para Exibições de Azure Data Lake Storage

Permissões

Lista as permissões dos arquivos/arquivo especificado no caminho.

Informações Específicas da Tabela

Selecione

Isso retornará uma lista de permissões de todos os arquivos e diretórios em seu sistema. Todos os filtros são executados no lado do cliente dentro do conector.

Colunas

Recursos

Lista o conteúdo do caminho fornecido.

Informações Específicas da Tabela

Selecione

Isso retornará uma lista de todos os arquivos e diretórios em seu sistema. Por padrão, todas as subpastas são verificadas recursivamente para listar seus filhos. Você pode configurar a profundidade das subpastas que deseja que sejam verificadas recursivamente com a propriedade DirectoryRetrievalDepth. Todos os filtros são executados no lado do cliente dentro do conector.

Colunas

Procedimentos Armazenados

Procedimentos armazenados* estão disponíveis para complementar os dados disponíveis no Modelo de Dados. Pode ser necessário atualizar os dados disponíveis em uma exibição usando um procedimento armazenado* porque os dados não fornecem atualizações bidirecionais diretas, semelhantes a tabelas. Nessas situações, a recuperação dos dados é feita usando a visualização ou tabela apropriada, enquanto a atualização é feita chamando um procedimento armazenado. Procedimentos armazenados* pega uma lista de parâmetros e retorna um conjunto de dados que contém a coleção de tuplas que constituem a resposta.

Conector Jitterbit para Procedimentos Armazenados do Azure Data Lake Storage

Anexar ao Arquivo

Criar e gravar em um arquivo.

Entrada

Colunas do Conjunto de Resultados

Concat

Concatenar um grupo de arquivos para outro arquivo.

Entrada

Colunas do Conjunto de Resultados

ExcluirArquivo

Excluir um arquivo ou um diretório.

Entrada

Colunas do Conjunto de Resultados

⇬ Fazer Download do Arquivo

Abra e leia um arquivo.

Entrada

Colunas do Conjunto de Resultados

GetAdminConsentURL

Obtém a URL de consentimento do administrador que deve ser aberta separadamente por um administrador de um determinado domínio para conceder acesso ao seu aplicativo. Necessário apenas ao usar credenciais OAuth personalizadas.

Entrada

Colunas do Conjunto de Resultados

GetContentSummary

Obtenha o resumo do conteúdo de um arquivo/pasta.

Entrada

Colunas do Conjunto de Resultados

GetOAuthAccessToken

Obtém um token de autenticação do Azure DataLakeStorage.

Entrada

Colunas do Conjunto de Resultados

GetOAuthAuthorizationURL

Obtém uma URL de autorização da fonte de dados. A URL de autorização pode ser usada para gerar um verificador necessário para obter o token OAuth.

Entrada

Colunas do Conjunto de Resultados

ListaStatus

Lista o conteúdo do caminho fornecido.

Entrada

Colunas do Conjunto de Resultados

MakeDirectory

Crie um diretório no caminho especificado.

Entrada

Colunas do Conjunto de Resultados

RefreshOAuthAccessToken

Atualiza o token de acesso OAuth usado para autenticação.

Entrada

Colunas do Conjunto de Resultados

Renomear Arquivo

Renomeie um arquivo ou um diretório.

Entrada

Colunas do Conjunto de Resultados

SetOwner

Defina o proprietário e o grupo de um caminho.

Entrada

Colunas do Conjunto de Resultados

Definir Permissão

Defina a permissão de um caminho.

Entrada

Colunas do Conjunto de Resultados

Subir Arquivo

Criar e gravar em um arquivo.

Entrada

Colunas do Conjunto de Resultados

Modelo de Dados ADLSGen2

Visão Geral

Esta seção mostra os objetos de API disponíveis e fornece mais informações sobre como executar SQL para APIs de Azure Data Lake Storage.

Características Principais

• O conector modela entidades do Azure Data Lake Storage como documentos, pastas e grupos como exibições relacionais, permitindo que você escreva SQL para consultar dados do Azure Data Lake Storage.
• Procedimentos armazenados* permitem que você execute operações no Azure Data Lake Storage.
• A conectividade ao vivo com esses objetos significa que quaisquer alterações em sua conta do Azure Data Lake Storage são refletidas imediatamente ao usar o conector.

Visualizações

Visualizações descreve as exibições disponíveis. As exibições são definidas estaticamente para modelar recursos.

Procedimentos Armazenados

NOTE: Procedimentos armazenados não são suportados atualmente. Veja a nota para detalhes.

Procedimentos armazenados são interfaces semelhantes a funções para Azure Data Lake Storage. Procedimentos armazenados* permitem que você execute operações no Azure Data Lake Storage, incluindo download de documentos e movimentação de envelopes.

Processamento de Consultas Colaborativas

O conector descarrega o máximo possível do processamento da instrução SELECT para o Azure Data Lake Storage e, em seguida, processa o restante da consultar na memória. Limitações e requisitos da API "também estão documentados nesta seção.

Ver SupportEnhancedSQL para obter mais informações sobre como o conector contorna as limitações da API com processamento na memória do lado do cliente.

Visualizações

As exibições são compostas por colunas e pseudocolunas. As exibições são semelhantes às tabelas na forma como os dados são representados; no entanto, as exibições não oferecem suporte a atualizações. Entidades que são representadas como exibições são normalmente entidades somente leitura. Frequentemente, um procedimento armazenado* está disponível para atualizar os dados se tal funcionalidade for aplicável à fonte de dados.

As consultas podem ser executadas em uma exibição como se fosse uma tabela normal, e os dados retornados são semelhantes nesse aspecto. Para saber mais sobre tabelas e procedimentos armazenados, navegue até as entradas correspondentes neste documento de ajuda.

Conector Jitterbit para Exibições de Azure Data Lake Storage

Recursos

Lista o conteúdo do caminho fornecido.

Informações Específicas da Tabela

Selecione

Isso retornará uma lista de todos os arquivos e diretórios em seu sistema. Por padrão, todos os arquivos e pastas do primeiro nível serão recuperados. Você pode configurar o conector para ler todos os arquivos e pastas recursivamente definindo a propriedade IncludeSubDirectories como true. Todos os filtros são executados no lado do cliente dentro do conector.

Uma consultar simples como SELECT \* FROM Resources terá resultados diferentes com diferentes combinações de propriedades de conexão IncludeSubDirectories e Directory.

• Se IncludeSubDirectories=true e Directory não estiver definido, a tabela retornará todos os arquivos e pastas com suas subpastas em todo o armazenamento.
• Se IncludeSubDirectories=true e Directory=path a tabela retornará todos os arquivos e pastas com suas subpastas no caminho especificado em Directory.
• Se IncludeSubDirectories=false e Directory não estiver definido, a tabela retornará todos os arquivos e pastas da pasta raiz.
• Se IncludeSubDirectories=false e Directory=path a tabela retornará todos os arquivos e pastas da pasta especificada em path.

Alternativamente, você pode especificar o Directory coluna na condição da cláusula WHERE para listar os arquivos em um diretório específico.

Por exemplo, a consultar abaixo listará os arquivos localizados no primeiro nível do diretório 'SecondLevelDir1'.

SELECT * FROM Resources WHERE Directory='FirstLevelDir/SecondLevelDir1'

Você também pode usar o operador IN para listar os arquivos localizados nos primeiros níveis de vários diretórios especificados.

SELECT * FROM Resources WHERE Directory IN ('FirstLevelDir', 'FirstLevelDir/SecondLevelDir1', 'FirstLevelDir/SecondLevelDir2')

Observação: O conector usará a API de Azure Data Lake Storage para processar as condições da cláusula WHERE criadas com a coluna Diretório a seguir e o operador '='. O restante do filtro é executado no lado do cliente dentro do conector.

Colunas

Pseudo-colunas

Os campos de pseudocoluna são usados na cláusula WHERE das instruções SELECT e oferecem um controle mais granular sobre as tuplas que são retornadas da fonte de dados.

Procedimentos Armazenados

Procedimentos armazenados* estão disponíveis para complementar os dados disponíveis no Modelo de Dados. Pode ser necessário atualizar os dados disponíveis em uma exibição usando um procedimento armazenado* porque os dados não fornecem atualizações bidirecionais diretas, semelhantes a tabelas. Nessas situações, a recuperação dos dados é feita usando a visualização ou tabela apropriada, enquanto a atualização é feita chamando um procedimento armazenado. Procedimentos armazenados* pega uma lista de parâmetros e retorna um conjunto de dados que contém a coleção de tuplas que constituem a resposta.

Conector Jitterbit para Procedimentos Armazenados do Azure Data Lake Storage

CopiarArquivo

Copie um arquivo de uma origem para um destino.

Para copiar o arquivo chamado Guidelines.txt que está localizado na raiz do container para a pasta Sales com o novo nome Guidelines renomeado.txt use o procedimento armazenado* assim:

EXEC CopyFile SourcePath=[Guidelines.txt], DestinationPath=[Sales/Guidelines renamed.txt]

Entrada

Colunas do Conjunto de Resultados

CriarArquivo

Crie um arquivo. O caminho é necessário para uma operação bem-sucedida.

Entrada

Colunas do Conjunto de Resultados

Criar Pasta

Crie uma pasta. O caminho é necessário para uma operação bem-sucedida.

Entrada

Colunas do Conjunto de Resultados

DeleteObject

Exclua um arquivo ou uma pasta. O caminho é necessário para uma operação bem-sucedida.

• Recursive=false é o comportamento padrão e geralmente é usado apenas para arquivos.

      EXEC DeleteObject Path=[directory1/file1.txt]
  

• Recursive=true é usado quando você deseja excluir uma pasta junto com seu conteúdo.

      EXEC DeleteObject Path=[directory1], Recursive=true
  

• DeleteType=[FILES] é usado quando você deseja excluir apenas os arquivos dentro de uma pasta. As subpastas não serão excluídas. Nesse caso, use Recursive=false (é o comportamento padrão).

      EXEC DeleteObject Path=[directory1], DeleteType=[FILES]
  

• Se você usar DeleteType=[FILES] e Recursive=true:

      EXEC DeleteObject Path=[directory1], DeleteType=[FILES], Recursive=true
  

  então teria o mesmo efeito que:

      EXEC DeleteObject Path=[directory1], Recursive=true
  

  Também é mais lento, por isso não é recomendado.

Entrada

Colunas do Conjunto de Resultados

⇬ Fazer Download do Arquivo

Baixe um arquivo. Path e DownloadPath são necessários para uma operação bem-sucedida.

Entrada

Colunas do Conjunto de Resultados

GetOAuthAccessToken

Obtém o token de acesso OAuth do SharePoint.

Entrada

Colunas do Conjunto de Resultados

GetOAuthAuthorizationURL

Obtém a URL de autorização do SharePoint. Acesse a URL retornada na saída em um navegador da Web. Isso solicita o token de acesso que pode ser usado como parte da cadeia de conexão para o SharePoint.

Entrada

Colunas do Conjunto de Resultados

RefreshOAuthAccessToken

Atualiza o token de acesso OAuth usado para autenticação com o SharePoint.

Entrada

Colunas do Conjunto de Resultados

Renomear Objeto

Renomeie um arquivo ou um diretório. Path e RenameTo são necessários para uma operação bem-sucedida.

Entrada

Colunas do Conjunto de Resultados

Subir Arquivo

Enviar um arquivo. Path e FilePath são necessários para uma operação bem-sucedida.

Caso você queira fazer upload de um único arquivo, especifique um arquivo de origem e destino como valores de parâmetro. Por exemplo:

EXEC UploadFile Path='destination/path/name.txt', FilePath='source/path/name.txt'

Caso você queira carregar vários arquivos, especifique uma pasta de origem e destino para carregar todos os arquivos dentro dessa pasta. Use o MaxThreads propriedade para controlar quantos arquivos serão carregados por vez em paralelo. Por exemplo:

EXEC UploadFile Path='destination/path', FilePath='source/path'

Aumente o Timeout valor se você estiver carregando arquivos grandes.

Entrada

Colunas do Conjunto de Resultados

Tabelas do Sistema

Você pode consultar as tabelas do sistema descritas nesta seção para acessar informações de esquema, informações sobre a funcionalidade da fonte de dados e estatísticas de operação em lote.

Tabelas de Esquema

As tabelas a seguir retornam metadados de banco de dados para Azure Data Lake Storage:

• sys_catalogs: Lista os bancos de dados disponíveis.
• sys_schemas: Lista os esquemas disponíveis.
• sys_tables: Lista as tabelas e exibições disponíveis.
• sys_tablecolumns: Descreve as colunas das tabelas e exibições disponíveis.
• sys_procedures: Descreve os procedimentos armazenados disponíveis.
• sys_procedureparameters: Descreve procedimento armazenado* parâmetros.
• sys_keycolumns: Descreve as chaves primárias e estrangeiras.
• sys_indexes: Descreve os índices disponíveis.

Tabelas de Fonte de Dados

As tabelas a seguir retornam informações sobre como se conectar e consultar a fonte de dados:

• sys_connection_props: Retorna informações sobre as propriedades de conexão disponíveis.
• sys_sqlinfo: Descreve as consultas SELECT que o conector pode descarregar para a fonte de dados.

Consultar Tabelas de Informações

A tabela a seguir retorna estatísticas de consultar para consultas de modificação de dados:

• sys_identity: Retorna informações sobre operações em lote ou atualizações únicas.

Sys_catalogs

Lista os bancos de dados disponíveis.

A consultar a seguir recupera todos os bancos de dados determinados pela string de conexão:

SELECT * FROM sys_catalogs

Colunas

Sys_schemas

Lista os esquemas disponíveis.

A consultar a seguir recupera todos os esquemas disponíveis:

SELECT * FROM sys_schemas

Colunas

Sys_tables

Lista as tabelas disponíveis.

A consultar a seguir recupera as tabelas e exibições disponíveis:

SELECT * FROM sys_tables

Colunas

Sys_tablecolumns

Descreve as colunas das tabelas e exibições disponíveis.

A consultar a seguir retorna as colunas e os tipos de dados da tabela Resources:

SELECT ColumnName, DataTypeName FROM sys_tablecolumns WHERE TableName='Resources' 

Colunas

Sys_procedures

Lista os procedimentos armazenados disponíveis.

A consultar a seguir recupera os procedimentos armazenados disponíveis:

SELECT * FROM sys_procedures

Colunas

Sys_procedureparameters

Descreve procedimento armazenado* parâmetros.

A consultar a seguir retorna informações sobre todos os parâmetros de entrada para o procedimento armazenado DownloadFile:

SELECT * FROM sys_procedureparameters WHERE ProcedureName='DownloadFile' AND Direction=1 OR Direction=2

Colunas

Sys_keycolumns

Descreve as chaves primárias e estrangeiras. A consultar a seguir recupera a chave primária da tabela Resources:

SELECT * FROM sys_keycolumns WHERE IsKey='True' AND TableName='Resources'

Colunas

Sys_foreignkeys

Descreve as chaves estrangeiras. A consultar a seguir recupera todas as chaves estrangeiras que se referem a outras tabelas:

SELECT * FROM sys_foreignkeys WHERE ForeignKeyType = 'FOREIGNKEY_TYPE_IMPORT'

Colunas

Sys_indexes

Descreve os índices disponíveis. Ao filtrar por índices, você pode escrever consultas mais seletivas com tempos de resposta de consultar mais rápidos.

A consultar a seguir recupera todos os índices que não são chaves primárias:

SELECT * FROM sys_indexes WHERE IsPrimary='false'

Colunas

Sys_connection_props

Retorna informações sobre as propriedades de conexão disponíveis e as definidas na string de conexão.

Ao consultar esta tabela, a string de conexão de configuração deve ser usada:

jdbc:cdata:adls:config:

Esta string de conexão permite que você consultar esta tabela sem uma conexão válida.

A consultar a seguir recupera todas as propriedades de conexão que foram definidas na string de conexão ou definidas por meio de um valor padrão:

SELECT * FROM sys_connection_props WHERE Value <> ''

Colunas

Sys_sqlinfo

Descreve o processamento da consultar SELECT que o conector pode transferir para a fonte de dados.

Processamento de Consultas Colaborativas

Ao trabalhar com fontes de dados que não suportam SQL-92, você pode consultar a exibição sys_sqlinfo para determinar os recursos de consultar das APIs subjacentes, expressas na sintaxe SQL. O conector transfere o máximo possível do processamento da instrução SELECT para o servidor e, em seguida, processa o restante da consultar na memória.

Descobrindo os Recursos SELECT da Fonte de Dados

Abaixo está um exemplo de conjunto de dados de recursos SQL. O conjunto de resultados a seguir indica a funcionalidade SELECT que o conector pode descarregar para a fonte de dados ou processar o lado do cliente. Sua fonte de dados pode suportar sintaxe SQL adicional. Alguns aspectos da funcionalidade SELECT são retornados em uma lista separada por vírgulas, se suportados; caso contrário, a coluna contém NO.

A consultar a seguir recupera os operadores que podem ser usados na cláusula WHERE:

SELECT * FROM sys_sqlinfo WHERE Name='SUPPORTED_OPERATORS'

Observe que tabelas individuais podem ter diferentes limitações ou requisitos na cláusula WHERE; consulte o Modelo de Dados para obter mais informações.

Colunas

Sys_identity

Retorna informações sobre tentativas de modificação.

A consultar a seguir recupera os IDs das linhas modificadas em uma operação em lote:

SELECT * FROM sys_identity

Colunas

Propriedades de Configurações Avançadas

As propriedades de configurações avançadas são as várias opções que podem ser usadas para estabelecer uma conexão. Esta seção fornece uma lista completa das opções que você pode configurar. Clique nos links para mais detalhes.

Autenticação

Conexão

Autenticação do Azure

OAuth

SSL

Esquema

Diversos

Autenticação

Esta seção fornece uma lista completa de propriedades de autenticação que você pode configurar.

AuthScheme

O tipo de autenticação a ser usado ao se conectar ao Azure Data Lake Storage.

Valores Possíveis

Auto, AzureAD, AzureServicePrincipal, AzureMSI, AccessKey, SAS

Tipo de Dados

string

Valor Padrão

"Auto"

Observações

• Auto: permite que o Conector Jitterbit para Azure Data Lake Storage determine o que fazer com base em outras propriedades de conexão.
• Microsoft Entra ID: defina isso para executar a autenticação OAuth do Azure Active Directory.
• AzureServicePrincipal: defina isso para autenticar como uma Entidade de Serviço do Azure.
• AzureMSI: defina isso para obter automaticamente credenciais de Identidade de Serviço Gerenciado ao executar em uma VM do Azure.
• AccessKey: Defina isso para autenticar as chamadas para a API definindo a AccessKey à sua chave de acesso. Isso é aplicável apenas para ADLSGen2 Esquema.
• SAS: Defina isso para autenticar as chamadas para a API definindo o SharedAccessSignature à sua Assinatura de Acesso Compartilhado (SAS). Isso é aplicável apenas para ADLSGen2 Esquema.

Esquema

Esquema para usar ADLSGen1,ADLSGen2.

Valores Possíveis

ADLSGen1, ADLSGen2

Tipo de Dados

string

Valor Padrão

"ADLSGen2"

Observações

ADLSGen1 consome a API Azure Data Lake Storage Gen1 que faz uso das especificações da API REST WebHDFS. ADLSGen2 consome uma versão mais recente da API, ou seja, Data Lake Storage Gen2.

Conta

Esta propriedade especifica o nome da conta de armazenamento do Azure Data Lake.

Tipo de Dados

string

Valor Padrão

""

Observações

Esta propriedade especifica o nome da conta de armazenamento do Azure Data Lake.

Chave de Acesso

Sua chave de acesso da conta de armazenamento do Azure DataLakeStorage Gen 2.

Tipo de Dados

string

Valor Padrão

""

Observações

Sua chave de acesso da conta de armazenamento do Azure DataLakeStorage Gen 2. Use isso apenas para autenticação Gen 2. Você pode recuperá-lo da seguinte maneira:

1. Entre no portal azure com as credenciais de sua conta root. ( https://portal.azure.com/ )
2. Clique em contas de armazenamento e selecione a conta de armazenamento que deseja usar.
3. Em configurações, clique em Chaves de acesso.
4. O nome e a chave da sua conta de armazenamento serão exibidos nessa página.

Sistema de Arquivo

Esta propriedade especifica o nome do FileSystem que será usado em uma conta de armazenamento Gen 2. Por exemplo, o nome do seu contêiner Azure Blob.

Tipo de Dados

string

Valor Padrão

""

Observações

Esta propriedade especifica o nome do FileSystem que será usado em uma conta de armazenamento Gen 2. Por exemplo, o nome do seu contêiner Azure Blob.

SharedAccessAssinatura

Uma assinatura de chave de acesso compartilhado que pode ser usada para autenticação.

Tipo de Dados

string

Valor Padrão

""

Observações

Uma assinatura de acesso compartilhado. Pode ser usado em vez de uma AccessKey para acessar recursos.

Conexão

Esta seção fornece uma lista completa de propriedades de conexão que você pode configurar.

Diretório

Esta propriedade especifica o caminho raiz do Azure Data Lake Storage para listar arquivos e pastas.

Tipo de Dados

string

Valor Padrão

""

Observações

Esta propriedade especifica o caminho raiz do Azure Data Lake Storage para listar arquivos e pastas.

DirectoryRetrievalDepth

Limite as subpastas verificadas recursivamente no Esquema ADLSGen1.

Tipo de Dados

int

Valor Padrão

-1

Observações

DirectoryRetrievalDepth especifica quantas subpastas serão verificadas recursivamente antes de parar. -1 especifica que todas as subpastas são verificadas. 0 especificou que apenas a pasta atual será verificada quanto a itens.

Incluir Subdiretórios

Escolha se os caminhos dos subdiretórios devem ser listados na exibição Recursos no Esquema ADLSGen2.

Tipo de Dados

bool

Valor Padrão

false

Observações

Escolha se os caminhos dos subdiretórios devem ser listados na exibição Recursos no Esquema ADLSGen2.

Autenticação do Azure

Esta seção fornece uma lista completa das propriedades de autenticação do Azure que você pode configurar.

AzureTenant

O locatário do Microsoft Online sendo usado para acessar dados. Se não for especificado, seu tentante padrão será usado.

Tipo de Dados

string

Valor Padrão

""

Observações

O locatário do Microsoft Online sendo usado para acessar dados. Por exemplo, contoso.onmicrosoft.com. Como alternativa, especifique a ID do locatário. Esse valor é a ID do diretório no Portal do Azure > Azure Active Directory > Propriedades.

Normalmente, não é necessário especificar o inquilino. Isso pode ser determinado automaticamente pela Microsoft ao usar o OAuthGrantType definido como CODE (padrão). No entanto, pode falhar caso o usuário pertença a vários locatários. Por exemplo, se um administrador do domínio A convidar um usuário do domínio B para ser um usuário convidado. O usuário agora pertencerá a ambos os locatários. É uma boa prática especificar o inquilino, embora em geral as coisas funcionem normalmente sem precisar especificá-lo.

O AzureTenant é necessário ao definir OAuthGrantType ao CLIENTE. Ao usar credenciais de cliente, não há contexto de usuário. As credenciais são obtidas do contexto do próprio aplicativo. Embora a Microsoft ainda permita que as credenciais do cliente sejam obtidas sem especificar qual locatário, ela tem uma probabilidade muito menor de escolher o locatário específico com o qual deseja trabalhar. Por este motivo, exigimos AzureTenant a ser declarado explicitamente para todas as conexões de credenciais do cliente para garantir que você obtenha credenciais aplicáveis ao domínio ao qual pretende se conectar.

Ambiente Azure

O ambiente do Azure a ser usado ao estabelecer uma conexão com o Azure Data Lake Storage Gen1.

Valores Possíveis

GLOBAL, CHINA, GERMANY, USGOVT

Tipo de Dados

string

Valor Padrão

"GLOBAL"

Observações

Na maioria dos casos, deixar o ambiente definido como global funcionará. No entanto, se sua conta do Azure tiver sido adicionada a um ambiente diferente, o AzureEnvironment pode ser usado para especificar qual ambiente.

OAuth

Esta seção fornece uma lista completa de propriedades OAuth que você pode configurar.

InitiateOAuth

Configure esta propriedade para iniciar o processo para obter ou atualizar o token de acesso OAuth ao se conectar.

Valores Possíveis

OFF, GETANDREFRESH, REFRESH

Tipo de Dados

string

Valor Padrão

"OFF"

Observações

As seguintes opções estão disponíveis:

1. OFF: Indica que o fluxo OAuth será tratado inteiramente pelo usuário. Um OAuthAccessToken será necessário para autenticação.
2. GETANDREFRESH: Indica que todo o fluxo OAuth será tratado pelo conector. Se nenhum token existir atualmente, ele será obtido solicitando ao usuário por meio do navegador. Se existir um token, ele será atualizado quando aplicável.
3. REFRESH: Indica que o conector tratará apenas da atualização do OAuthAccessToken. O usuário nunca será solicitado pelo conector a autenticar por meio do navegador. O usuário deve manipular a obtenção do OAuthAccessToken e OAuthRefreshToken inicialmente.

OAuthClientId

O ID do cliente atribuído quando você registra seu aplicativo com um servidor de autorização OAuth.

Tipo de Dados

string

Valor Padrão

""

Observações

Como parte do registro de um aplicativo OAuth, você receberá o OAuthClientId valor, às vezes também chamado de chave do consumidor e segredo do cliente, o OAuthClientSecret.

OAuthClientSecret

O segredo do cliente atribuído quando você registra seu aplicativo com um servidor de autorização OAuth.

Tipo de Dados

string

Valor Padrão

""

Observações

Como parte do registro de um aplicativo OAuth, você receberá o OAuthClientId, também chamada de chave do consumidor. Você também receberá um segredo do cliente, também chamado de segredo do consumidor. Defina o segredo do cliente no OAuthClientSecret propriedade.

OAuthAccessToken

O token de acesso para conexão usando OAuth.

Tipo de Dados

string

Valor Padrão

""

Observações

O OAuthAccessToken propriedade é usada para conectar usando OAuth. O OAuthAccessToken é recuperado do servidor OAuth como parte do processo de autenticação. Ele tem um tempo limite dependente do servidor e pode ser reutilizado entre as solicitações.

O token de acesso é usado no lugar do seu nome de usuário e senha. O token de acesso protege suas credenciais, mantendo-as no servidor.

URL de Retorno

O URL de retorno de chamada OAuth ao qual retornar durante a autenticação. Esse valor deve corresponder ao URL de retorno especificado nas configurações do aplicativo.

Tipo de Dados

string

Valor Padrão

""

Observações

Durante o processo de autenticação, o servidor de autorização OAuth redireciona o usuário para esta URL. Esse valor deve corresponder ao URL de retorno especificado nas configurações do aplicativo.

OAuthGrantType

O tipo de concessão para o fluxo OAuth.

Valores Possíveis

CLIENT, CODE

Tipo de Dados

string

Valor Padrão

"CLIENT"

Observações

O tipo de concessão para o fluxo OAuth. As seguintes opções estão disponíveis: CLIENTE, CÓDIGO

OAuthVerifier

O código do verificador retornado da URL de autorização OAuth.

Tipo de Dados

string

Valor Padrão

""

Observações

O código do verificador retornado da URL de autorização OAuth. Isso pode ser usado em sistemas em que um navegador não pode ser iniciado, como sistemas headless.

Autenticação em Máquinas Sem Cabeça

Consulte para obter o OAuthVerifier valor.

Defina OAuthSettingsLocation juntamente com OAuthVerifier. Quando você conecta, o conector troca o OAuthVerifier para os tokens de autenticação OAuth e os salva, criptografados, no arquivo especificado. Definir InitiateOAuth para GETANDREFRESH automatizar a troca.

Depois que o arquivo de configurações OAuth for gerado, você poderá remover OAuthVerifier nas propriedades de conexão e conecte-se com OAuthSettingsLocation definir.

Para atualizar automaticamente os valores do token OAuth, defina OAuthSettingsLocation e adicionalmente defina InitiateOAuth para ATUALIZAR.

OAuthRefreshToken

O token de atualização OAuth para o token de acesso OAuth correspondente.

Tipo de Dados

string

Valor Padrão

""

Observações

O OAuthRefreshToken a propriedade é usada para atualizar o OAuthAccessToken ao usar a autenticação OAuth.

OAuthExpiresIn

O tempo de vida em segundos do OAuth AccessToken.

Tipo de Dados

string

Valor Padrão

""

Observações

Emparelhe com OAuthTokenTimestamp para determinar quando o AccessToken expirará.

OAuthTokenTimestamp

O registro de data e hora da época do Unix em milissegundos quando o token de acesso atual foi criado.

Tipo de Dados

string

Valor Padrão

""

Observações

Emparelhe com OAuthExpiresIn para determinar quando o AccessToken expirará.

SSL

Esta seção fornece uma lista completa de propriedades SSL que você pode configurar.

SSLServerCert

O certificado a ser aceito do servidor ao conectar usando TLS/SSL.

Tipo de Dados

string

Valor Padrão

""

Observações

Se estiver usando uma conexão TLS/SSL, esta propriedade pode ser usada para especificar o certificado TLS/SSL a ser aceito do servidor. Qualquer outro certificado que não seja confiável para a máquina é rejeitado.

Esta propriedade pode assumir as seguintes formas:

Se não for especificado, qualquer certificado confiável pela máquina será aceito.

Os certificados são validados como confiáveis pela máquina com base no armazenamento confiável do sistema. O armazenamento confiável usado é o valor 'javax.net.ssl.trustStore' especificado para o sistema. Se nenhum valor for especificado para esta propriedade, o armazenamento confiável padrão do Java será usado (por exemplo, JAVA_HOME\lib\security\cacerts).

Use '*' para indicar a aceitação de todos os certificados. Observe que isso não é recomendado devido a questões de segurança.

Esquema

Esta seção fornece uma lista completa de propriedades de esquema que você pode configurar.

Localização

Um caminho para o diretório que contém os arquivos de esquema que definem tabelas, exibições e procedimentos armazenados.

Tipo de Dados

string

Valor Padrão

"%APPDATA%\\\ADLS Data Provider\\Schema"

Observações

O caminho para um diretório que contém os arquivos de esquema para o conector (arquivos .rsd para tabelas e exibições, arquivos .rsb para procedimentos armazenados). A localização da pasta pode ser um caminho relativo a partir da localização do executável. O Location a propriedade só é necessária se você quiser personalizar definições (por exemplo, alterar um nome de coluna, ignorar uma coluna e assim por diante) ou estender o modelo de dados com novas tabelas, exibições ou procedimentos armazenados.

Observação: Como esse conector dá suporte a vários esquemas, a estrutura dos arquivos de esquema personalizados do Azure Data Lake Storage é a seguinte:

• Cada esquema recebe uma pasta correspondente a esse nome de esquema.
• Essas pastas de esquema estão contidas em uma pasta pai.
• O parent folder deve ser definido como Location, não a pasta de um esquema individual.

Se não for especificado, o local padrão é "%APPDATA%\\ADLS Data Provider\Schema" com %APPDATA% sendo definido para o diretório de configuração do usuário:

Esquemas Navegáveis

Essa propriedade restringe os esquemas relatados a um subconjunto dos esquemas disponíveis. Por exemplo, BrowsableSchemas=SchemaA,SchemaB,SchemaC.

Tipo de Dados

string

Valor Padrão

""

Observações

Listar os esquemas de bancos de dados pode ser caro. Fornecer uma lista de esquemas na string de conexão melhora o desempenho.

Tabelas

Esta propriedade restringe as tabelas reportadas a um subconjunto das tabelas disponíveis. Por exemplo, Tabelas=TabelaA,TabelaB,TabelaC.

Tipo de Dados

string

Valor Padrão

""

Observações

Listar as tabelas de alguns bancos de dados pode ser caro. Fornecer uma lista de tabelas na string de conexão melhora o desempenho do conector.

Essa propriedade também pode ser usada como uma alternativa para listar automaticamente as exibições se você já souber com quais deseja trabalhar e, caso contrário, haveria muitos para trabalhar.

Especifique as tabelas que deseja em uma lista separada por vírgulas. Cada tabela deve ser um identificador SQL válido com quaisquer caracteres especiais escapados usando colchetes, aspas duplas ou acentos graves. Por exemplo, Tables=TableA,[TableB/WithSlash],WithCatalog.WithSchema.`TableC With Space`.

Observe que, ao conectar-se a uma fonte de dados com vários esquemas ou catálogos, você precisará fornecer o nome totalmente qualificado da tabela nesta propriedade, como no último exemplo aqui, para evitar ambigüidade entre tabelas que existem em vários catálogos ou esquemas.

Visualizações

Restringe as exibições relatadas a um subconjunto das tabelas disponíveis. Por exemplo, Views=ViewA,ViewB,ViewC.

Tipo de Dados

string

Valor Padrão

""

Observações

Listar as exibições de alguns bancos de dados pode ser caro. Fornecer uma lista de exibições na string de conexão melhora o desempenho do conector.

Essa propriedade também pode ser usada como uma alternativa para listar automaticamente as exibições se você já souber com quais deseja trabalhar e, caso contrário, haveria muitas para trabalhar.

Especifique as exibições desejadas em uma lista separada por vírgulas. Cada exibição deve ser um identificador SQL válido com quaisquer caracteres especiais escapados usando colchetes, aspas duplas ou acentos graves. Por exemplo, Views=ViewA,[ViewB/WithSlash],WithCatalog.WithSchema.`ViewC With Space`.

Observe que, ao conectar-se a uma fonte de dados com vários esquemas ou catálogos, você precisará fornecer o nome totalmente qualificado da tabela nesta propriedade, como no último exemplo aqui, para evitar ambigüidade entre tabelas que existem em vários catálogos ou esquemas.

Diversos

Esta seção fornece uma lista completa de diversas propriedades que você pode configurar.

Tamanho do Pedaço

O tamanho dos blocos (em MB) a serem usados ao fazer upload de arquivos grandes.

Tipo de Dados

int

Valor Padrão

64

Observações

O tamanho dos blocos (em MB) a serem usados ao fazer upload de arquivos grandes.

MaxRows

Limita o número de linhas retornadas quando nenhuma agregação ou agrupamento é usado na consultar. Isso ajuda a evitar problemas de desempenho em tempo de design.

Tipo de Dados

int

Valor Padrão

-1

Observações

Limita o número de linhas retornadas quando nenhuma agregação ou agrupamento é usado na consultar. Isso ajuda a evitar problemas de desempenho em tempo de design.

MaxThreads

Especifica o número de solicitações simultâneas.

Tipo de Dados

string

Valor Padrão

"5"

Observações

Essa propriedade permite emitir várias solicitações simultaneamente, melhorando o desempenho.

Outro

Essas propriedades ocultas são usadas apenas em casos de uso específicos.

Tipo de Dados

string

Valor Padrão

""

Observações

As propriedades listadas abaixo estão disponíveis para casos de uso específicos. Os casos de uso e a funcionalidade normais do driver não devem exigir essas propriedades.

Especifique várias propriedades em uma lista separada por ponto e vírgula.

Integração e Formatação

Pseudocolunas

Esta propriedade indica se deve ou não incluir pseudocolunas como colunas na tabela.

Tipo de Dados

string

Valor Padrão

""

Observações

Essa configuração é particularmente útil no Entity Framework, que não permite definir um valor para uma pseudocoluna, a menos que seja uma coluna de tabela. O valor dessa configuração de conexão está no formato "Table1=Column1, Table1=Column2, Table2=Column3". Você pode usar o caractere "*" para incluir todas as tabelas e todas as colunas; por exemplo, "*=*".

Tempo Esgotado

O valor em segundos até que o erro de timeout seja lançado, cancelando a operação.

Tipo de Dados

int

Valor Padrão

60

Observações

Se Timeout = 0, as operações não expiram. As operações são executadas até serem concluídas com êxito ou até encontrarem uma condição de erro.

Se Timeout expira e a operação ainda não está concluída, o conector lança uma exceção.