Ir para o conteúdo

Atividade de Inserção no Snowflake

Introdução

Uma atividade de Inserção no Snowflake, utilizando sua conexão com o Snowflake, insere dados de tabela (seja como um arquivo CSV ou diretamente mapeados para colunas de uma tabela) no Snowflake e é destinada a ser usada como um destino para consumir dados em uma operação.

Criar uma atividade de Inserção no Snowflake

Uma instância de uma atividade de Inserção no Snowflake é criada a partir de uma conexão com o Snowflake usando seu tipo de atividade Inserção.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a tela de design ou copie o tipo de atividade e cole-o na tela de design. Para detalhes, veja Criar uma instância de atividade ou ferramenta em Reutilização de componentes.

Uma atividade de Inserção no Snowflake existente pode ser editada a partir destes locais:

Configurar uma atividade de Inserção no Snowflake

Siga estas etapas para configurar uma atividade de Inserção no Snowflake:

Passo 1: Insira um nome e selecione um objeto

Neste passo, forneça um nome para a atividade e selecione uma tabela ou visualização (veja a Visão Geral das Visualizações da Snowflake). Cada elemento da interface do usuário deste passo é descrito abaixo.

Configuração da atividade de inserção do Snowflake, passo 1

  • Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade de Inserção do Snowflake e não deve conter barras normais / ou dois pontos :.

  • Selecionar um Objeto: Esta seção exibe os objetos disponíveis no endpoint do Snowflake. Ao reabrir uma configuração de atividade existente, apenas o objeto selecionado é exibido em vez de recarregar toda a lista de objetos.

    • Objeto Snowflake Selecionado: Após um objeto ser selecionado, ele é listado aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de objetos. A pesquisa não diferencia maiúsculas de minúsculas. Se os objetos já estiverem exibidos na tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar objetos do endpoint ao pesquisar, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar objetos do endpoint do Snowflake. Isso pode ser útil se objetos foram adicionados ao Snowflake. Esta ação atualiza todos os metadados usados para construir a tabela de objetos exibida na configuração.

    • Selecionando um Objeto: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar um objeto. Apenas um objeto pode ser selecionado. As informações disponíveis para cada objeto são obtidas do endpoint do Snowflake:

      • Nome: O nome de um objeto, seja uma tabela ou uma visualização.

      • Tipo: O tipo do objeto, seja uma tabela ou uma visualização.

    Dica

    Se a tabela não for preenchida com objetos disponíveis, a conexão com o Snowflake pode não ter sido bem-sucedida. Certifique-se de que você está conectado reabrindo a conexão e testando novamente as credenciais.

  • Salvar e Sair: Se habilitado, clique para salvar a configuração para esta etapa e fechar a configuração da atividade.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Etapa 2: Selecionar uma abordagem

Diferentes abordagens são suportadas para inserir dados no Snowflake. Escolha entre Inserção SQL ou Arquivo de Estágio. Ao usar a abordagem Arquivo de Estágio, você seleciona entre os tipos de arquivo de estágio Amazon S3 ou Interno.

Abordagem de Inserção SQL

Para esta abordagem, as colunas da tabela serão exibidas na etapa do esquema de dados que se segue, permitindo que sejam mapeadas em uma transformação.

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de inserção SQL

  • Abordagem: Use o menu suspenso para selecionar Inserção SQL.

  • Voltar: Clique para retornar à etapa anterior e armazenar temporariamente a configuração.

  • Próximo: Clique para continuar para a próxima etapa e armazenar temporariamente a configuração. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Abordagem do Arquivo de Estágio do Amazon S3

Essa abordagem permite que um arquivo CSV seja inserido no Snowflake usando uma fonte do Amazon S3. O arquivo é preparado e, em seguida, copiado para a tabela seguindo as especificações do esquema de dados da solicitação.

Para informações sobre como fazer solicitações ao Amazon S3, veja Fazendo Solicitações na documentação do Amazon S3.

Configuração da atividade de inserção do Snowflake etapa 2 abordagem do arquivo de estágio do Amazon S3

  • Abordagem: Use o menu suspenso para selecionar Arquivo de Estágio.

  • Tipo de Estágio: Escolha Amazon S3 para recuperar dados do armazenamento do Amazon S3.

  • Tipo de Autenticação: Escolha entre usar Credenciais ou Integração de Armazenamento. Credenciais requerem o ID da chave de acesso do Amazon S3 e a chave de acesso secreta. Integração de Armazenamento requer apenas o nome da integração de armazenamento. Esses tipos de autenticação são abordados abaixo.

Autenticação por Credenciais

O tipo de autenticação Credenciais requer o ID da chave de acesso do Amazon S3 e a chave de acesso secreta (para informações sobre como fazer solicitações ao Amazon S3, veja Fazendo Solicitações na documentação do Amazon S3).

Configuração da atividade de inserção do Snowflake etapa 2 abordagem do arquivo de estágio do Amazon S3 credenciais

  • Tipo de Autenticação: Escolha Credenciais.

  • ID da Chave de Acesso: Insira o ID da chave de acesso do Amazon S3.

  • Chave de Acesso Secreta: Insira a chave de acesso secreta do Amazon S3.

Autenticação por Integração de Armazenamento

O tipo de autenticação Storage Integration requer a criação de uma integração de armazenamento Snowflake. Para informações sobre como criar uma integração de armazenamento Snowflake, consulte Create Storage Integration na documentação do Snowflake.

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de arquivo de estágio Amazon S3 integração de armazenamento

  • Tipo de Autenticação: Escolha Storage Integration.

  • Nome da Integração de Armazenamento: Insira o nome da integração de armazenamento Snowflake.

Opções adicionais

Para autenticação tanto por Credenciais quanto por Storage Integration, existem estas opções adicionais:

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de arquivo de estágio Amazon S3 opções adicionais

  • Nome do Bucket: Insira um nome de bucket válido para um bucket existente no servidor Amazon S3. Isso é ignorado se bucketName for fornecido no esquema de dados InsertAmazonS3Request.

  • Caminho do Arquivo: Insira o caminho do arquivo.

  • Em Caso de Erro: Escolha uma das opções do dropdown Em Caso de Erro; opções adicionais aparecerão conforme apropriado:

    • Abort_Statement: Aborta o processamento se algum erro for encontrado.

    • Continue: Continua carregando o arquivo mesmo se erros forem encontrados.

    • Skip_File: Ignora o arquivo se algum erro for encontrado no arquivo.

    • Skip_File_\<num>: Ignora o arquivo quando o número de erros no arquivo é igual ou superior ao número especificado em Número do Arquivo a Ser Ignorado.

    • Skip_File_\<num>%: Ignora o arquivo quando a porcentagem de erros no arquivo excede a porcentagem especificada em Porcentagem do Número do Arquivo a Ser Ignorado.

  • Erro na Divergência de Contagem de Colunas: Se selecionado, relata um erro no nó de erro do esquema de resposta se as contagens de colunas de origem e destino não coincidirem. Se você não selecionar esta opção, a operação não falha e os dados fornecidos são inseridos.

  • Voltar: Clique para retornar ao passo anterior e armazenar temporariamente a configuração.

  • Próximo: Clique para continuar para o próximo passo e armazenar temporariamente a configuração. A configuração não será salva até que você clique no botão Concluído no último passo.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer passo. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Abordagem de Arquivo de Estágio Interno

Essa abordagem permite que um arquivo CSV seja inserido no Snowflake. O arquivo será armazenado em estágio e, em seguida, copiado para a tabela seguindo as especificações do esquema de dados da solicitação.

Configuração da atividade de inserção do Snowflake passo 2 abordagem de arquivo de estágio interno

  • Abordagem: Use o menu suspenso para selecionar Arquivo de Estágio.

  • Tipo de Estágio: Escolha Interno para recuperar os dados de uma fonte interna.

  • Em Caso de Erro: Escolha uma das opções do menu suspenso Em Caso de Erro; opções adicionais aparecerão conforme apropriado:

    • Abortar_Declaração: Interrompe o processamento se algum erro for encontrado.

    • Continuar: Continua carregando o arquivo mesmo se erros forem encontrados.

    • Pular_Arquivo: Pula o arquivo se algum erro for encontrado no arquivo.

    • Pular_Arquivo_\<num>: Pula o arquivo quando o número de erros no arquivo é igual ou superior ao número especificado em Número do Arquivo a Pular.

    • Pular_Arquivo_\<num>%: Pula o arquivo quando a porcentagem de erros no arquivo excede a porcentagem especificada em Porcentagem do Número do Arquivo a Pular.

  • Erro na Incompatibilidade de Contagem de Colunas: Se selecionado, relata um erro no nó de erro do esquema de resposta se as contagens de colunas de origem e destino não coincidirem. Se você não selecionar esta opção, a operação não falha e os dados fornecidos são inseridos.

  • Voltar: Clique para retornar ao passo anterior e armazenar temporariamente a configuração.

  • Próximo: Clique para continuar para o próximo passo e armazenar temporariamente a configuração. A configuração não será salva até que você clique no botão Concluído no último passo.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer passo. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Abordagem do Arquivo de Estágio do Google Cloud Storage

Essa abordagem permite que um arquivo CSV seja inserido no Google Cloud Storage. O arquivo será preparado e, em seguida, copiado para a tabela seguindo as especificações do esquema de dados da solicitação.

Configuração da atividade de inserção do Snowflake passo 2 abordagem do arquivo de estágio do Google Cloud Storage

  • Abordagem: Use o menu suspenso para selecionar Arquivo de Estágio.

  • Tipo de Estágio: Escolha Google Cloud Storage para recuperar os dados de uma fonte interna.

  • Nome da Integração de Armazenamento: Insira o nome da integração de armazenamento do Snowflake.

  • Nome do Bucket: Insira um nome de bucket válido para um bucket existente no Google Cloud Storage. Isso é ignorado se bucketName for fornecido no esquema de dados InsertGoogleCloudRequest.

  • Caminho do Arquivo: Insira o caminho do arquivo.

  • Em Caso de Erro: Escolha uma das opções a partir do menu suspenso Em Caso de Erro; opções adicionais aparecerão conforme apropriado:

    • Abort_Statement: Aborta o processamento se algum erro for encontrado.

    • Continuar: Continua carregando o arquivo mesmo se erros forem encontrados.

    • Pular_Arquivo: Pula o arquivo se algum erro for encontrado no arquivo.

    • Pular_Arquivo_\<num>: Pula o arquivo quando o número de erros no arquivo é igual ou superior ao número especificado em Número do Arquivo a Pular.

    • Pular_Arquivo_\<num>%: Pula o arquivo quando a porcentagem de erros no arquivo excede a porcentagem especificada em Porcentagem do Número do Arquivo a Pular.

  • Erro na Incompatibilidade de Contagem de Colunas: Se selecionado, relata um erro no nó de erro do esquema de resposta se as contagens de colunas de origem e destino não corresponderem. Se você não selecionar esta opção, a operação não falha e os dados fornecidos são inseridos.

  • Voltar: Clique para retornar à etapa anterior e armazenar temporariamente a configuração.

  • Próximo: Clique para continuar para a próxima etapa e armazenar temporariamente a configuração. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Abordagem de Arquivo de Estágio do Microsoft Azure

Esta abordagem permite que um arquivo CSV seja inserido no Snowflake usando uma fonte do Microsoft Azure. O arquivo é colocado em estágio e, em seguida, copiado para a tabela seguindo as especificações do esquema de dados da solicitação.

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de arquivo de estágio do Microsoft Azure

  • Abordagem: Use o menu suspenso para selecionar Arquivo de Estágio.

  • Tipo de Estágio: Escolha Microsoft Azure para recuperar dados de contêineres de armazenamento do Microsoft Azure.

  • Tipo de Autenticação: Escolha entre usar Credenciais ou Integração de Armazenamento. Credenciais requer um token de assinatura de acesso compartilhado (SAS) do Microsoft Azure e um nome de conta de armazenamento. Integração de Armazenamento requer apenas um nome de integração de armazenamento. Esses tipos de autenticação são abordados abaixo.

Autenticação por Credenciais

O tipo de autenticação Credenciais requer um token SAS do Microsoft Azure e um nome de conta de armazenamento.

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de arquivo de estágio do Microsoft Azure credenciais

  • Tipo de Autenticação: Escolha Credenciais.

  • Token SAS do Azure: Insira o token SAS do Microsoft Azure. Para informações sobre como criar tokens SAS para contêineres de armazenamento no Microsoft Azure, consulte Criar tokens SAS para seus contêineres de armazenamento na documentação do Microsoft Azure.

  • Nome da Conta de Armazenamento: Insira o nome da conta de armazenamento do Microsoft Azure.

Autenticação de Integração de Armazenamento

O tipo de autenticação Integração de Armazenamento requer a criação de uma integração de armazenamento Snowflake. Para informações sobre como criar uma integração de armazenamento Snowflake, consulte Criar Integração de Armazenamento na documentação do Snowflake.

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de arquivo de estágio do Microsoft Azure integração de armazenamento

  • Tipo de Autenticação: Escolha Integração de Armazenamento.

  • Nome da Integração de Armazenamento: Insira o nome da integração de armazenamento Snowflake.

Opções Adicionais

Para autenticação Credenciais e Integração de Armazenamento, existem estas opções adicionais:

Configuração da atividade de inserção do Snowflake etapa 2 abordagem de arquivo de estágio do Microsoft Azure opções adicionais

Para informações sobre CSE de armazenamento no Microsoft Azure, consulte Criptografia do lado do cliente para blobs na documentação do Microsoft Azure.

  • Nome do Contêiner: Insira um nome de bucket válido para um contêiner de armazenamento existente no Microsoft Azure. Isso é ignorado se containerName for fornecido no esquema de dados InsertMicrosoftAzureCloudRequest.

  • Caminho do Arquivo: Insira o caminho do arquivo.

  • Em Caso de Erro: Escolha uma das opções no dropdown Em Caso de Erro; opções adicionais aparecerão conforme apropriado:

    • Abort_Statement: Interrompe o processamento se algum erro for encontrado.

    • Continue: Continua carregando o arquivo mesmo se erros forem encontrados.

    • Skip_File: Ignora o arquivo se algum erro for encontrado no arquivo.

    • Skip_File_\<num>: Ignora o arquivo quando o número de erros no arquivo é igual ou superior ao número especificado em Número do Arquivo a Ser Ignorado.

    • Skip_File_\<num>%: Ignora o arquivo quando a porcentagem de erros no arquivo excede a porcentagem especificada em Porcentagem do Número do Arquivo a Ser Ignorado.

  • Erro na Divergência de Contagem de Colunas: Se selecionado, relata um erro no nó de erro do esquema de resposta se as contagens de colunas de origem e destino não coincidirem. Se você não selecionar esta opção, a operação não falha e os dados fornecidos são inseridos.

  • Voltar: Clique para retornar à etapa anterior e armazenar temporariamente a configuração.

  • Próximo: Clique para continuar para a próxima etapa e armazenar temporariamente a configuração. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede que você confirme que deseja descartar as alterações.

Etapa 3: Revisar os esquemas de dados

Os esquemas de solicitação e resposta gerados a partir do endpoint são exibidos. Os esquemas exibidos dependem da Abordagem especificada na etapa anterior.

Estas subseções descrevem as estruturas de solicitação e resposta para cada combinação de abordagem e tipo de estágio:

Estas ações estão disponíveis com cada abordagem:

  • Esquemas de Dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

    Nota

    Os dados fornecidos em uma transformação têm precedência sobre a configuração da atividade.

    Dica

    Quando um caractere de aspas simples (') está presente em um payload de solicitação, um erro de sintaxe é retornado em tempo de execução. Você pode habilitar a configuração Escapar caracteres especiais na conexão para permitir que a atividade escape automaticamente os caracteres de aspas simples (') em tempo de execução.

    O conector Snowflake utiliza a versão 3.19.0 do Driver JDBC do Snowflake e os comandos SQL do Snowflake. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.

  • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para regenerar esquemas do endpoint do Snowflake. Esta ação também regenera um esquema em outros locais do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Abordagem SQL Insert

Se a abordagem for SQL Insert, as colunas da tabela serão exibidas, permitindo que sejam mapeadas em uma transformação.

Configuração da atividade de inserção do Snowflake etapa 3 abordagem SQL insert

  • Solicitação

    Campo/Nó do Esquema de Solicitação Notas
    table Nó mostrando o nome da tabela.
    column_A Nome da primeira coluna da tabela.
    column_B Nome da segunda coluna da tabela.
    . . . Colunas subsequentes da tabela.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    status Flag booleano indicando se a inserção do registro foi bem-sucedida.
    errorMessage Mensagem de erro descritiva se houver falha durante a inserção.
    recordsInserted Número de registros inseridos se a inserção for bem-sucedida.

Abordagem de Arquivo de Estágio do Amazon S3

Se a abordagem for Amazon S3 Stage File, as especificações para o estágio e inserção de um arquivo CSV serão exibidas no esquema de dados para que possam ser mapeadas em uma transformação. O padrão utilizado é para corresponder a apenas um arquivo. Se o padrão corresponder a mais de um arquivo, a atividade apresentará um erro com uma mensagem descritiva.

Configuração da atividade de inserção do Snowflake etapa 3 abordagem de arquivo de estágio do Amazon S3

  • Requisição

    Campo/Nó do Esquema da Requisição Notas
    accessKey ID da Chave de Acesso do Amazon S3.
    secretAccessKey Chave de Acesso Secreta do Amazon S3.
    storageintegrationName Nome da integração de armazenamento do Snowflake a ser usada para autenticação da integração de armazenamento do Snowflake.
    bucketName Nome válido do bucket para um bucket existente no servidor Amazon S3.
    filePath Localização do arquivo de estágio no bucket do Amazon S3.
    pattern Padrão de expressão regular usado para encontrar o arquivo no estágio; se compression for GZIP, [.]gz é anexado ao padrão.
    onError Opção Em Caso de Erro selecionada.
    encryption Nó representando a criptografia.
    encryptionType Tipo de criptografia do Amazon S3 (ou criptografia do lado do servidor ou criptografia do lado do cliente).
    masterKey Chave Mestra do Amazon S3.
    kmsKeyId ID mestre do Amazon Key Management Service.
    fileFormat Nó representando o formato do arquivo.
    nullIf Uma string a ser convertida em SQL NULL; por padrão, é uma string vazia. Veja a opção NULL_IF da documentação do Snowflake COPY INTO <location>.
    enclosingChar Caractere usado para delimitar campos de dados; veja a opção FIELD_OPTIONALLY_ENCLOSED_BY da documentação do Snowflake COPY INTO <location>.

    Nota

    O enclosingChar pode ser um caractere de aspas simples ' ou um caractere de aspas duplas ". Para usar o caractere de aspas simples, utilize a representação octal ' ou a representação hexadecimal 0x27, ou use uma dupla aspa simples de escape ''. Quando um campo contém esse caractere, escape-o usando o mesmo caractere.
    compression O algoritmo de compressão usado para os arquivos de dados. GZIP ou NONE são suportados. Veja a opção Compressão da documentação do Snowflake COPY INTO <location>.
    skipHeader Número de linhas no início do arquivo de origem a serem ignoradas.
    errorOnColumnCountMismatch Flag booleano para relatar um erro se as contagens de esquema de resposta de origem e destino não corresponderem.
    fieldDelimiter O caractere delimitador usado para separar campos de dados; veja a opção FIELD_DELIMITER da documentação do Snowflake COPY INTO <table>.
    recordDelimiter O caractere delimitador usado para separar grupos de campos; veja a opção RECORD_DELIMITER da documentação do Snowflake COPY INTO <table>.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    status Status retornado.
    file Nome do arquivo CSV em estágio processado ao inserir dados na tabela Snowflake.
    rows_parsed Número de linhas analisadas do arquivo CSV.
    rows_loaded Número de linhas carregadas do arquivo CSV na tabela Snowflake sem erro.
    error Nó representando as mensagens de erro.
    error_limit Número de erros que fazem o arquivo ser ignorado conforme definido em Skip_File_\<num>.
    errors_seen Contagem de erros vistos.
    first_error O primeiro erro no arquivo de origem.
    first_error_line O número da primeira linha do primeiro erro.
    first_error_character O primeiro caractere do primeiro erro.
    first_error_column_name O nome da coluna da localização do primeiro erro.

Abordagem de Arquivo de Estágio do Google Cloud Storage

Se a abordagem for Arquivo de Estágio do Google Cloud Storage, as especificações para estagiar e inserir um arquivo CSV serão mostradas no esquema de dados para que possam ser mapeadas em uma transformação. O padrão utilizado é para corresponder a apenas um arquivo. Se o padrão corresponder a mais de um arquivo, a atividade apresentará um erro com uma mensagem descritiva.

Configuração da atividade de inserção do Snowflake etapa 3 abordagem de arquivo do Google Cloud Storage

  • Requisição

    Campo/Nó do Esquema da Requisição Notas
    storageintegrationName Nome da integração de armazenamento do Snowflake a ser usada para autenticação da integração de armazenamento do Snowflake.
    bucketName Nome válido do bucket para um bucket existente no Google Cloud Storage.
    filePath Localização do arquivo de estágio no bucket do Google Cloud Storage.
    pattern Padrão de expressão regular usado para encontrar o arquivo no estágio; se compressData for verdadeiro, [.]gz é anexado ao padrão.
    onError Opção Em Erro selecionada.
    fileFormat Nó representando o formato do arquivo.
    nullIf Uma string a ser convertida em SQL NULL; por padrão, é uma string vazia. Veja a opção NULL_IF da documentação do Snowflake COPY INTO <location>.
    enclosingChar Caractere usado para delimitar campos de dados; veja a opção FIELD_OPTIONALLY_ENCLOSED_BY da documentação do Snowflake COPY INTO <location>.

    Nota

    O enclosingChar pode ser um caractere de aspas simples ' ou um caractere de aspas duplas ". Para usar o caractere de aspas simples, utilize as representações octais ' ou hexadecimais 0x27, ou use uma dupla aspa simples de escape ''. Quando um campo contém esse caractere, escape-o usando o mesmo caractere.
    compression O algoritmo de compressão usado para os arquivos de dados. GZIP ou NONE são suportados. Veja a opção Compressão da documentação do Snowflake COPY INTO <location>.
    skipHeader Número de linhas no início do arquivo de origem a serem ignoradas.
    errorOnColumnCountMismatch Flag booleano para relatar um erro se as contagens do esquema de resposta de origem e destino não corresponderem.
    fieldDelimiter O caractere delimitador usado para separar campos de dados; veja a opção FIELD_DELIMITER da documentação do Snowflake COPY INTO <table>.
    recordDelimiter O caractere delimitador usado para separar grupos de campos; veja a opção RECORD_DELIMITER da documentação do Snowflake COPY INTO <table>.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    status Status retornado.
    file Nome do arquivo CSV em estágio processado ao inserir dados na tabela Snowflake.
    rows_parsed Número de linhas analisadas do arquivo CSV.
    rows_loaded Número de linhas carregadas do arquivo CSV na tabela Snowflake sem erro.
    error Nó representando as mensagens de erro.
    error_limit Número de erros que fazem o arquivo ser ignorado conforme definido em Skip_File_\<num>.
    errors_seen Contagem de erros vistos.
    first_error O primeiro erro no arquivo de origem.
    first_error_line O número da primeira linha do primeiro erro.
    first_error_character O primeiro caractere do primeiro erro.
    first_error_column_name O nome da coluna da localização do primeiro erro.

Abordagem de Arquivo de Estágio Interno

Se a abordagem for Arquivo de Estágio Interno, as especificações para o estágio e inserção de um arquivo CSV serão mostradas no esquema de dados para que possam ser mapeadas em uma transformação. O padrão utilizado é para corresponder a apenas um arquivo. Se o padrão corresponder a mais de um arquivo, a atividade apresentará um erro com uma mensagem descritiva.

Configuração da atividade de inserção do Snowflake etapa 3 abordagem de arquivo interno

  • Solicitação

    Campo/Nó do Esquema da Solicitação Notas
    stageName Estágio interno do Snowflake, nome da tabela ou caminho.
    destinationPrefix Caminho ou prefixo sob o qual os dados serão carregados no estágio do Snowflake.
    fileContent Conteúdo do arquivo de dados, em formato CSV, que deve ser preparado para upload na tabela do Snowflake.
    destinationFileName Nome do arquivo de destino a ser utilizado no estágio do Snowflake.
    compressData Flag booleano que indica se os dados devem ser comprimidos antes de serem carregados no estágio interno do Snowflake.
    pattern Padrão de expressão regular usado para encontrar o arquivo no estágio; se compressData for verdadeiro, [.]gz é anexado ao padrão.
    onError Opção Em Caso de Erro selecionada.
    fileFormat Nó que representa o formato do arquivo.
    nullIf Uma string a ser convertida em SQL NULL; por padrão, é uma string vazia. Veja a opção NULL_IF da documentação do Snowflake COPY INTO <location>.
    enclosingChar Caractere usado para delimitar campos de dados; veja a opção FIELD_OPTIONALLY_ENCLOSED_BY da documentação do Snowflake COPY INTO <location>.

    Nota

    O enclosingChar pode ser um caractere de aspas simples ' ou um caractere de aspas duplas ". Para usar o caractere de aspas simples, utilize as representações octais ' ou hexadecimais 0x27, ou use uma dupla aspa simples de escape ''. Quando um campo contém esse caractere, escape-o usando o mesmo caractere.
    errorOnColumnCountMismatch Flag booleano para relatar um erro se as contagens do esquema de resposta de origem e destino não coincidirem.
    fieldDelimiter O caractere delimitador usado para separar campos de dados; veja a opção FIELD_DELIMITER da documentação do Snowflake COPY INTO <table>.
    recordDelimiter O caractere delimitador usado para separar grupos de campos; veja a opção RECORD_DELIMITER da documentação do Snowflake COPY INTO <table>.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    file Nome do arquivo CSV em estágio processado ao inserir dados na tabela Snowflake.
    status Status retornado.
    rowsParsed Número de linhas analisadas do arquivo CSV.
    rowsLoaded Número de linhas carregadas do arquivo CSV na tabela Snowflake sem erro.
    error Nó representando as mensagens de erro.
    error A mensagem de erro.
    code O código de erro retornado.
    sqlState O código de erro numérico do estado SQL retornado da chamada ao banco de dados.
    file Nó representando as mensagens de erro.
    columnName Nome e ordem da coluna que continha o erro.
    rowNumber O número da linha no arquivo de origem onde o erro foi encontrado.
    rowStartLine O número da primeira linha da linha onde o erro foi encontrado.

Abordagem de Arquivo de Estágio do Microsoft Azure

Se a abordagem for Arquivo de Estágio do Microsoft Azure, as especificações para o estágio e inserção de um arquivo CSV serão mostradas no esquema de dados para que possam ser mapeadas em uma transformação. O padrão utilizado é para corresponder a apenas um arquivo. Se o padrão corresponder a mais de um arquivo, a atividade apresentará um erro com uma mensagem descritiva.

Configuração da atividade de inserção do Snowflake etapa 3 abordagem de arquivo do Microsoft Azure

  • Requisição

    Campo/Nó do Esquema de Requisição Notas
    azureSasToken Token de Assinatura de Acesso Compartilhado (SAS) do Microsoft Azure.
    azureStorageAccountName Nome da Conta de Armazenamento do Microsoft Azure.
    azureStorageintegrationName Nome da integração de armazenamento do Snowflake a ser usada para autenticação da integração de armazenamento do Snowflake.
    containerName Nome de contêiner válido para um contêiner de armazenamento existente no Microsoft Azure.
    filePath Localização do arquivo de estágio no contêiner de armazenamento do Microsoft Azure.
    pattern Padrão de expressão regular usado para encontrar o arquivo no estágio; se compression for GZIP, [.]gz é anexado ao padrão.
    onError Opção Em Caso de Erro selecionada.
    encryption Nó representando a criptografia.
    encryptionType Tipo de criptografia do Microsoft Azure (apenas criptografia do lado do cliente).
    azureMasterKey Chave Mestra do Microsoft Azure.
    fileFormat Nó representando o formato do arquivo.
    nullIf Uma string a ser convertida em SQL NULL; por padrão, é uma string vazia. Veja a opção NULL_IF da documentação do Snowflake COPY INTO <location>.
    enclosingChar Caractere usado para delimitar campos de dados; veja a opção FIELD_OPTIONALLY_ENCLOSED_BY da documentação do Snowflake COPY INTO <location>.

    Nota

    O enclosingChar pode ser um caractere de aspas simples ' ou um caractere de aspas duplas ". Para usar o caractere de aspas simples, utilize as representações octais ' ou hexadecimais 0x27, ou use uma sequência de escape de aspas simples duplas ''. Quando um campo contém esse caractere, escape-o usando o mesmo caractere.
    compression O algoritmo de compressão usado para os arquivos de dados. GZIP ou NONE são suportados. Veja a opção Compressão da documentação do Snowflake COPY INTO <location>.
    skipHeader Número de linhas no início do arquivo de origem a serem ignoradas.
    errorOnColumnCountMismatch Flag booleano para relatar um erro se as contagens de esquema de resposta de origem e destino não corresponderem.
    fieldDelimiter O caractere delimitador usado para separar campos de dados; veja a opção FIELD_DELIMITER da documentação do Snowflake COPY INTO <table>.
    recordDelimiter O caractere delimitador usado para separar grupos de campos; veja a opção RECORD_DELIMITER da documentação do Snowflake COPY INTO <table>.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    status Status retornado.
    file Nome do arquivo CSV em estágio processado ao inserir dados na tabela Snowflake.
    rows_parsed Número de linhas analisadas do arquivo CSV.
    rows_loaded Número de linhas carregadas do arquivo CSV na tabela Snowflake sem erro.
    error Nó representando as mensagens de erro.
    error_limit Número de erros que fazem o arquivo ser ignorado conforme definido em Skip_File_\<num>.
    errors_seen Contagem de erros vistos.
    first_error O primeiro erro no arquivo de origem.
    first_error_line O número da primeira linha do primeiro erro.
    first_error_character O primeiro caractere do primeiro erro.
    first_error_column_name O nome da coluna da localização do primeiro erro.

Próximos passos

Após configurar uma atividade de Inserir no Snowflake, complete a configuração da operação adicionando e configurando outras atividades ou ferramentas como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estão no mesmo ou em diferentes fluxos de trabalho.

As ações de menu para uma atividade estão acessíveis a partir do painel do projeto e da tela de design. Para detalhes, veja o menu de ações da atividade em Noções básicas sobre conectores.

As atividades Insert do Snowflake podem ser usadas como um destino com esses padrões de operação:

Para usar a atividade com funções de script, escreva os dados em um local temporário e, em seguida, use esse local temporário na função de script.

Quando estiver pronto, implante e execute a operação e valide o comportamento verificando os logs da operação.