Ir para o conteúdo

Atividade de Merge do Snowflake

Introdução

Uma atividade de Merge do Snowflake, utilizando sua conexão com o Snowflake, insere ou atualiza um arquivo CSV de dados de tabela no Snowflake e é destinada a ser usada como um alvo para consumir dados em uma operação. A atividade de Merge do Snowflake não suporta a exclusão de um registro existente.

Nota

A atividade de Merge do Snowflake é semelhante a uma atividade de upsert, como usada em outros conectores.

Criar uma atividade de Merge do Snowflake

Uma instância de uma atividade de Merge do Snowflake é criada a partir de uma conexão com o Snowflake usando seu tipo de atividade Merge.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a tela de design ou copie o tipo de atividade e cole-o na tela de design. Para detalhes, veja Criar uma instância de atividade ou ferramenta em Reutilização de componentes.

Uma atividade de Merge do Snowflake existente pode ser editada a partir destes locais:

Configurar uma atividade de Merge do Snowflake

Siga estas etapas para configurar uma atividade de Merge do Snowflake:

Passo 1: Insira um nome e selecione uma tabela

Neste passo, forneça um nome para a atividade e selecione uma tabela. Cada elemento da interface do usuário deste passo é descrito abaixo.

Configuração da atividade de mesclagem do Snowflake passo 1

  • Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade de Mesclagem do Snowflake e não deve conter barras / ou dois pontos :.

  • Selecionar uma Tabela: Esta seção exibe as tabelas disponíveis no endpoint do Snowflake. Ao reabrir uma configuração de atividade existente, apenas a tabela selecionada é exibida em vez de recarregar toda a lista de tabelas.

    • Tabela Selecionada: Após uma tabela ser selecionada, ela é listada aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de tabelas. A pesquisa não diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas dentro da tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar tabelas do endpoint ao pesquisar, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar tabelas do endpoint do Snowflake. Isso pode ser útil se tabelas foram adicionadas ao Snowflake. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibida na configuração.

    • Selecionando uma Tabela: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar uma tabela. Apenas uma tabela pode ser selecionada. As informações disponíveis para cada tabela são obtidas do endpoint do Snowflake:

      • Nome: O nome de uma tabela.

      • Tipo: O tipo, que é uma tabela.

    Dica

    Se a tabela não for preenchida com tabelas disponíveis, a conexão com o Snowflake pode não ter sido bem-sucedida. Certifique-se de que você está conectado reabrindo a conexão e retestando as credenciais.

  • Salvar e Sair: Se habilitado, clique para salvar a configuração para esta etapa e fechar a configuração da atividade.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Etapa 2: Selecionar chaves de mesclagem

Nesta etapa, especifique as colunas a serem usadas como chaves de mesclagem. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Configuração da atividade de mesclagem do Snowflake, etapa 2

  • Chaves de Mesclagem: Selecione as colunas a serem usadas como chaves de atualização para a mesclagem.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Etapa 3: Selecionar uma abordagem

Abordagens diferentes são suportadas para mesclar dados no Snowflake. Escolha entre Mapeamento Direto ou Arquivo de Estágio. Ao usar a abordagem Arquivo de Estágio, você seleciona as opções Usar Estágio Existente ou Usar Estágio Temporário.

Abordagem de Mapeamento Direto

Configuração da atividade de mesclagem do Snowflake, etapa 3 abordagem de mapeamento direto

  • Abordagem: Use o menu suspenso para selecionar Mapeamento Direto.

  • Nome Temporário da Etapa: Insira um nome a ser usado para uma etapa temporária no Snowflake.

  • Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Abordagem de Arquivo de Etapa (Usar Etapa Existente)

Configuração da atividade de mesclagem do Snowflake etapa 3 abordagem de arquivo de etapa existente

  • Abordagem: Use o menu suspenso para selecionar Arquivo de Etapa.

  • Tipo de Etapa: Use o menu suspenso para selecionar Usar Etapa Existente.

  • Selecionar uma Etapa: Esta seção exibe as etapas disponíveis no endpoint do Snowflake. Ao reabrir uma configuração de atividade existente, apenas a etapa selecionada é exibida em vez de recarregar toda a lista de etapas.

    • Etapa Selecionada: Após uma etapa ser selecionada, ela é listada aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de etapas. A pesquisa não diferencia maiúsculas de minúsculas. Se tabelas já estiverem exibidas na tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar tabelas do endpoint ao pesquisar, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar tabelas do endpoint do Snowflake. Isso pode ser útil se você adicionou recentemente tabelas ao Snowflake. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibida na configuração.

    • Selecionando uma Etapa: Dentro da tabela, clique em qualquer lugar de uma linha para selecionar uma etapa. Apenas uma etapa pode ser selecionada. As informações disponíveis para cada etapa são obtidas do endpoint do Snowflake:

      • Nome: O nome do estágio do Snowflake.

      • Tipo: O tipo de estágio do Snowflake. Para informações sobre as diferenças entre estágios internos e externos, consulte a documentação do Snowflake sobre criação de estágios.

    Dica

    Se a tabela não for preenchida com os estágios disponíveis, a conexão com o Snowflake pode não ter sido bem-sucedida. Certifique-se de que está conectado reabrindo a conexão e testando novamente as credenciais.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Abordagem de Arquivo de Estágio (Usar Estágio Temporário)

Configuração da atividade de mesclagem do Snowflake etapa 3 abordagem de arquivo de estágio temporário

  • Abordagem: Use o menu suspenso para selecionar Arquivo de Estágio.

  • Tipo de Estágio: Use o menu suspenso para selecionar Usar Estágio Temporário.

  • Nome do Estágio Temporário: Insira um nome a ser usado para um estágio temporário no Snowflake.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Etapa 4: Revisar os esquemas de dados

Os esquemas de solicitação e resposta gerados a partir do endpoint são exibidos. Os esquemas exibidos dependem da Abordagem especificada na etapa anterior.

Estas subseções descrevem as estruturas de solicitação e resposta para cada abordagem:

Essas ações estão disponíveis em cada abordagem:

  • Esquemas de Dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

    Nota

    Os dados fornecidos em uma transformação têm precedência sobre a configuração da atividade.

    O conector Snowflake utiliza a versão 3.19.0 do Driver JDBC do Snowflake e os comandos SQL do Snowflake. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.

  • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para regenerar esquemas a partir do endpoint. Esta ação também regenera o esquema em outros locais ao longo do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Abordagem de Mapeamento Direto

Configuração da atividade Snowflake Merge etapa 4 abordagem de mapeamento direto

Estes são os campos do esquema visíveis na captura de tela de exemplo acima:

  • Solicitação

    Campo/Nó do Esquema de Solicitação Notas
    updateRequest Nó da solicitação de mesclagem.
    table Nó mostrando o nome da tabela NAME.
    item Nó do item.
    column_A Valor para o primeiro nome da coluna, COLOR.
    column_B Valor para o segundo nome da coluna, FLOWER.
    . . . Valores para as colunas da tabela subsequentes.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    mergeResponse Nó da resposta de mesclagem.
    noOfRowsUpdated Contagem das linhas atualizadas.
    noOfRowsInserted Contagem das linhas inseridas.
    errors Nó dos erros.
    item Nó dos itens de erro.
    errorMessage Mensagem de erro para o item de erro.

Abordagem de Arquivo de Estágio

Configuração da atividade de mesclagem do Snowflake passo 4 abordagem de arquivo de estágio

Estes são os campos do esquema visíveis na captura de tela do exemplo acima:

  • Solicitação

    Campo/Nó do Esquema de Solicitação Notas
    mergeRequest Nó da solicitação de mesclagem.
    stageName Caminho ou prefixo sob o qual os dados serão carregados no estágio do Snowflake.
    fileContent Conteúdo do arquivo de dados, em formato CSV, que deve ser preparado para atualização na tabela do Snowflake.
    destPrefix Prefixo do arquivo de destino a ser usado no estágio do Snowflake.
    destFileName Nome do arquivo de destino a ser usado no estágio do Snowflake.

    Importante

    Se Usar Estágio Existente estiver selecionado e o Tipo do estágio selecionado for externo, stageName e fileContent são excluídos do esquema de solicitação.

Para informações sobre as diferenças entre estágios internos e externos, consulte a documentação do Snowflake sobre criação de estágios.

  • Resposta

    Campo/Nó do Esquema de Resposta Notas
    mergeResponse Nó da resposta de mesclagem.
    noOfRowsUpdated Contagem das linhas atualizadas.
    noOfRowsInserted Contagem das linhas inseridas.
    errors Nó dos erros.
    item Nó dos itens de erro.
    errorMessage Mensagem de erro para o item de erro.

Próximos passos

Após configurar uma atividade de Mesclagem do Snowflake, complete a configuração da operação adicionando e configurando outras atividades ou ferramentas como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estão no mesmo ou em diferentes fluxos de trabalho.

As ações do menu para uma atividade estão acessíveis a partir do painel do projeto e da tela de design. Para detalhes, consulte o menu de ações da atividade em Conceitos básicos do conector.

As atividades de Mesclagem do Snowflake podem ser usadas como um alvo com esses padrões de operação:

Para usar a atividade com funções de script, escreva os dados em um local temporário e, em seguida, use esse local temporário na função de script.

Quando estiver pronto, implante e execute a operação e valide o comportamento verificando os logs da operação.