Atividade de Mesclagem de Snowflake

Introdução

Uma atividade Snowflake Merge, usando sua conexão Snowflake, insere ou atualiza um arquivo CSV de dados de tabela no Snowflake e destina-se a ser usado como um destino para consumir dados em uma operação. A atividade Snowflake Merge não oferece suporte à exclusão de um registro existente.

Crie uma Atividade de Mesclagem de Snowflake

Uma instância de uma atividade Snowflake Merge é criada a partir de uma conexão Snowflake usando seu tipo de atividade Merge.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a quadro de design ou copie o tipo de atividade e cole-o na quadro de design. Para obter detalhes, consulte Criando uma instância de atividade em Reutilização de componentes.

Uma atividade existente do Snowflake Merge pode ser editada nestes locais:

• A quadro de design (consulte Menu Ações do componente em Quadro de Design).
• A aba Componentes do painel do projeto (consulte Menu Ações do componente em Guia Componentes do painel do projeto).

Configurar uma Atividade de Mesclagem do Snowflake

Siga estas etapas para configurar uma atividade Snowflake Merge:

• Etapa 1: Insira um nome e selecione uma tabela
  Forneça um nome para a atividade e selecione uma tabela.

• Etapa 2: Selecione Mesclar Chaves
  Especifique as colunas a serem usadas para chaves de mesclagem.

• Etapa 3: Selecione uma abordagem
  Diferentes abordagens são suportadas para mesclar dados no Snowflake. Escolha entre Mapeamento Direto ou Arquivo de Estágio. Ao usar a abordagem Arquivo de teste, você pode selecionar as opções Usar estágio existente ou Usar estágio temporário.

• Etapa 4: Revise os esquemas de dados
  Os esquemas de solicitação e resposta gerados no endpoint são exibidos. Os esquemas exibidos dependem da Abordagem especificada na etapa anterior.

Etapa 1: Insira um Nome e Selecione uma Tabela

Nesta etapa, forneça um nome para a atividade e selecione uma tabela. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade Snowflake Merge e não deve conter barras / ou dois pontos :.

• Selecione uma tabela: Esta seção exibe tabelas disponíveis no endpoint Snowflake. Ao reabrir uma configuração de atividade existente, apenas a tabela selecionada é exibida em vez de recarregar toda a lista de tabelas.

  • Tabela Selecionada: Depois que uma tabela é selecionada, ela é listada aqui.

  • Pesquisa: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de tabelas. A busca não diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar tabelas do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Refresh para recarregar tabelas do endpoint Snowflake. Isso pode ser útil se tabelas tiverem sido adicionadas ao Snowflake. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibida na configuração.

  • Selecionando uma tabela: Dentro da tabela, clique em qualquer lugar de uma linha para selecionar uma tabela. Apenas uma tabela pode ser selecionada. As informações disponíveis para cada tabela são obtidas no endpoint Snowflake:

    • Nome: O nome de uma tabela.

    • Tipo: O tipo, que é uma tabela.

  Dica

  Se a tabela não for preenchida com tabelas disponíveis, a conexão Snowflake pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

• Salvar e Sair: Se ativado, clique para salvar a configuração desta etapa e feche a configuração da atividade.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e prosseguir para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 2: Selecione Mesclar Chaves

Nesta etapa, especifique as colunas a serem usadas para chaves de mesclagem. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Chaves de mesclagem: Selecione as colunas a serem usadas como chaves de atualização para a mesclagem.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e prosseguir para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer as alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 3: Selecione uma Abordagem

Diferentes abordagens são suportadas para mesclar dados no Snowflake. Escolha entre Mapeamento Direto ou Arquivo de Estágio. Ao usar a abordagem Arquivo de teste, você seleciona as opções Usar estágio existente ou Usar estágio temporário.

• Abordagem de mapeamento direto
• Abordagem de arquivo de estágio (usar estágio existente)
• Abordagem de arquivo de estágio (usar estágio temporário)

Abordagem de Mapeamento Direto

• Abordagem: Use o menu suspenso para selecionar Mapeamento Direto.

• Nome do estágio temporário: Insira um nome a ser usado para um estágio temporário no Snowflake.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e prosseguir para a próxima etapa. O a configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Abordagem de Arquivo de Estágio (usar Estágio Existente)

• Abordagem: Use o menu suspenso para selecionar Arquivo de teste.

• Tipo de estágio: Use o menu suspenso para selecionar Usar estágio existente.

• Selecione um estágio: Esta seção exibe os estágios disponíveis no endpoint Snowflake. Ao reabrir um existente configuração da atividade, apenas o estágio selecionado é exibido em vez de recarregar toda a lista de estágios.

  • Etapa Selecionada: Depois que uma fase é selecionada, ela é listada aqui.

  • Pesquisa: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de etapas. A pesquisa não é diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar tabelas do endpoint durante a pesquisa, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregar tabelas do endpoint Snowflake. Isso pode ser útil se você adicionou recentemente tabelas para Snowflake. Esta ação atualiza todos os metadados usados para construir o tabela de tabelas exibidas na configuração.

  • Selecionando um estágio: Na tabela, clique em qualquer lugar da linha para selecionar um estágio. Apenas uma etapa pode ser selecionado. As informações disponíveis para cada estágio são obtidas no endpoint Snowflake:

    • Nome: O nome artístico de Snowflake.

    • Tipo: O tipo de estágio de Snowflake. Para obter informações sobre as diferenças entre estágios internos e externos, consulte a documentação do Snowflake sobre criação de estágios.

  Dica

  Se a tabela não for preenchida com estágios disponíveis, a conexão Snowflake pode não ter sucesso. Certifique-se de estar conectado reabrindo a conexão e testando novamente as credenciais.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e prosseguir para a próxima etapa. O a configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Abordagem de Arquivo de Teste (usar Estágio Temporário)

• Abordagem: Use o menu suspenso para selecionar Arquivo de teste.

• Tipo de estágio: Use o menu suspenso para selecionar Usar estágio temporário.

• Nome do estágio temporário: Insira um nome a ser usado para um estágio temporário no Snowflake.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. O a configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 4: Revise os Esquemas de Dados

Os esquemas de solicitação e resposta gerados a partir do endpoint são exibidos. Os esquemas exibidos dependem da Abordagem especificada na etapa anterior.

Estas subseções descrevem as estruturas de solicitação e resposta para cada abordagem:

• Abordagem de mapeamento direto
• Abordagem de arquivo de estágio

Estas ações estão disponíveis com cada abordagem:

• Esquemas de dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

  Nota

  Os dados fornecidos em uma transformação têm precedência sobre a configuração da atividade.

  O conector Snowflake usa o Driver JDBC Snowflake e os comandos SQL do Snowflake. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.

• Atualizar: Clique no ícone de atualização ou a palavra Atualizar para regenerar esquemas do endpoint. Esta ação também regenera o esquema em outros locais em todo o o projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Abordagem de Mapeamento Direto

Estes são os campos do esquema visíveis na captura de tela do exemplo acima:

• Solicitar

  Campo/nó do esquema de solicitação	Notas
  updateRequest	Nó da solicitação de mesclagem.
  table	Nó mostrando o nome da tabela NAME.
  item	Nó do item.
  column_A	Valor para o nome da primeira coluna, COLOR.
  column_B	Valor para o nome da segunda coluna, FLOWER.
  . . .	Valores para colunas seguintes da tabela.

• Resposta

  Campo/nó do esquema de resposta	Notas
  mergeResponse	Nó da resposta de mesclagem.
  noOfRowsUpdated	Contagem de linhas atualizadas.
  noOfRowsInserted	Contagem das linhas inseridas.
  errors	Nó dos erros.
  item	Nó dos itens de erro.
  errorMessage	Mensagem de erro para o item de erro.

Abordagem de Arquivo de Estágio

Estes são os campos do esquema visíveis na captura de tela do exemplo acima:

• Solicitar

  Campo/nó do esquema de solicitação	Notas
  mergeRequest	Nó da solicitação de mesclagem.
  stageName	Caminho ou prefixo sob o qual os dados serão carregados no estágio Snowflake.
  fileContent	Conteúdo do arquivo de dados, em formato CSV, que será preparado para atualização na tabela Snowflake.
  destPrefix	Prefixo do arquivo de destino a ser usado no estágio Snowflake.
  destFileName	Nome do arquivo de destino a ser usado no estágio Snowflake.

  Importante

  Se Use Existing Stage estiver selecionado e o Type do estágio selecionado for externo, stageName e fileContent são excluídos do esquema de solicitação.

  Para obter informações sobre as diferenças entre estágios internos e externos, consulte a documentação do Snowflake sobre criação de estágios.

• Resposta

  Campo/nó do esquema de resposta	Notas
  mergeResponse	Nó da resposta de mesclagem.
  noOfRowsUpdated	Contagem de linhas atualizadas.
  noOfRowsInserted	Contagem das linhas inseridas.
  errors	Nó dos erros.
  item	Nó dos itens de erro.
  errorMessage	Mensagem de erro para o item de erro.

Próximos Passos

Depois de configurar uma atividade Snowflake Merge, conclua a configuração da operação adicionando e configurando outras atividades, transformações ou scripts como etapas de operação. Você também pode definir as configurações de operação, que incluem a capacidade de encadear operações que estejam no mesmo fluxo de trabalho ou em workflows diferentes.

As ações de menu de uma atividade podem ser acessadas no painel do projeto e na quadro de design. Para obter detalhes, consulte Menu Ações da atividade em Noções básicas do conector.

As atividades Snowflake Merge podem ser usadas como destino com estes padrões de operação:

• Padrão de transformação
• Padrão de duas transformações (como o primeiro ou segundo alvo)

Para usar a atividade com funções de script, grave os dados em um local temporário e use esse local temporário na função de script.

Quando estiver pronto, implantar e execute a operação e validar o comportamento verificando os logs de operação.