Ir para o conteúdo

Atividade de Consulta do Google BigQuery

Introdução

Uma atividade de Consulta do Google BigQuery, utilizando sua conexão do Google BigQuery, consulta uma tabela em um conjunto de dados no Google BigQuery e é destinada a ser usada como uma fonte em uma operação.

Criar uma atividade de Consulta do Google BigQuery

Uma instância de uma atividade de Consulta do Google BigQuery é criada a partir de uma conexão do Google BigQuery usando seu tipo de atividade Consulta.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a tela de design ou copie o tipo de atividade e cole-o na tela de design. Para detalhes, veja Criar uma instância de atividade ou ferramenta em Reutilização de componentes.

Uma atividade de Consulta do Google BigQuery existente pode ser editada a partir destes locais:

Configurar uma atividade de Consulta do Google BigQuery

Siga estas etapas para configurar uma atividade de Consulta do Google BigQuery:

Passo 1: Insira um nome e selecione o conjunto de dados

Neste passo, forneça um nome para a atividade e selecione o conjunto de dados. Cada elemento da interface do usuário deste passo é descrito abaixo.

Configuração da atividade de consulta do Google BigQuery passo 1

  • Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade de Consulta do Google BigQuery e não deve conter barras / ou dois pontos :.

  • Selecionar o Conjunto de Dados: Esta seção exibe os conjuntos de dados disponíveis no endpoint do Google BigQuery.

    • Conjunto de Dados Selecionado: Após um conjunto de dados ser selecionado, ele é listado aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de conjuntos de dados. A pesquisa não diferencia maiúsculas de minúsculas. Se os conjuntos de dados já estiverem exibidos na tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar conjuntos de dados do endpoint ao pesquisar, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar conjuntos de dados do endpoint do Google BigQuery. Isso pode ser útil se conjuntos de dados foram adicionados ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de conjuntos de dados exibida na configuração.

    • Selecionando um Conjunto de Dados: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar um conjunto de dados. Apenas um conjunto de dados pode ser selecionado. As informações disponíveis para cada conjunto de dados são obtidas do endpoint do Google BigQuery:

      • Nome: O nome do conjunto de dados.

      • Descrição: A descrição do conjunto de dados.

    Dica

    Se a tabela não for preenchida com conjuntos de dados disponíveis, a conexão do Google BigQuery pode não ter sido bem-sucedida. Certifique-se de que você está conectado reabrindo a conexão e retestando as credenciais.

  • Salvar e Sair: Se habilitado, clique para salvar a configuração deste passo e fechar a configuração da atividade.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede que você confirme que deseja descartar as alterações.

Etapa 2: Selecione a tabela

Nesta etapa, selecione a tabela. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Configuração da atividade de consulta do Google BigQuery, etapa 2

  • Selecionar a Tabela: Esta seção exibe as tabelas disponíveis no endpoint do Google BigQuery.

    • Conjunto de Dados Selecionado: O conjunto de dados selecionado na etapa anterior é listado aqui.

    • Tabela Selecionada: Após uma tabela ser selecionada, ela é listada aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de tabelas. A pesquisa não diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas na tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar tabelas do endpoint ao pesquisar, insira critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar tabelas do endpoint do Google BigQuery. Isso pode ser útil se tabelas foram adicionadas ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibidas na configuração.

    • Selecionando uma Tabela: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar uma tabela. Apenas uma tabela pode ser selecionada. As informações disponíveis para cada tabela são obtidas do endpoint do Google BigQuery:

      • Nome: O nome da tabela.

      • Descrição: A descrição da tabela.

    Dica

    Se a tabela não for preenchida com tabelas disponíveis, a conexão do Google BigQuery pode não ter sido bem-sucedida. Certifique-se de que você está conectado reabrindo a conexão e testando novamente as credenciais.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 3: Construa sua consulta

Nesta etapa, construa uma declaração de consulta definindo condições para os campos do objeto e aplicando paginação, seja através do construtor de consultas ou inserindo manualmente uma declaração de consulta. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Nota

Você pode ignorar o construtor de consultas e inserir uma declaração de consulta no campo String da consulta.

Configuração da atividade de consulta do Google BigQuery etapa 3

Dica

Campos com um ícone de variável suportam o uso de variáveis globais, variáveis de projeto e variáveis Jitterbit. Comece digitando um colchete aberto [ no campo ou clicando no ícone de variável para exibir uma lista das variáveis existentes para escolher.

  • Campos a recuperar: Use esta seção para construir uma consulta selecionando campos a recuperar.

    • Pesquisar: Digite qualquer parte de um nome de campo na caixa de pesquisa para filtrar a lista de campos para o objeto selecionado. A pesquisa não diferencia maiúsculas de minúsculas. Os resultados listados são filtrados em tempo real a cada tecla pressionada.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar os campos do objeto a partir do endpoint do Google BigQuery.

    • Selecionar Todos: Ao usar a caixa de pesquisa para filtrar, você pode usar esta caixa de seleção para selecionar todos os campos visíveis de uma vez.

  • Selecionar campos: Selecione as caixas de seleção dos campos que deseja incluir na consulta para que sejam adicionados automaticamente à declaração da consulta na String da consulta. Você também pode Selecionar Todos os campos de uma vez usando a caixa de seleção.

  • Paginação: Para adicionar uma cláusula de paginação (um limite no número de registros com um deslocamento de registro opcional), você pode usar o dropdown para definir o limite de paginação e o campo para inserir um deslocamento. Se um deslocamento não for especificado, o padrão é 0. Uma única cláusula de paginação é suportada. Se a cláusula de paginação não for incluída, todos os registros são retornados.

    • Aplicar: Clique para construir automaticamente a cláusula com base nas seleções do dropdown e no valor inserido. A cláusula de paginação construída automaticamente aparece na caixa de texto da String da consulta.

    • Remover: Clique para remover uma cláusula de paginação que foi aplicada.

  • Condições: Para adicionar cláusulas condicionais, use os campos abaixo como entrada para ajudar a construir as cláusulas, que então aparecem na caixa de texto da String da consulta.

    • Campo: Use o dropdown para selecionar um campo do objeto selecionado.

    • Operador: Use o dropdown para selecionar um operador que seja apropriado para o tipo de dado do campo:

      Operador Rótulo Descrição
      = Igual
      != Diferente
      IN (valor1, valor2) Em Na lista de valores.
      IS NULL É Nulo Não tem valor.
      IS NOT NULL Não é Nulo Tem um valor.
      LIKE 'string' Como Como string.
      LIKE 'string%' Começa com Começa com string.
      LIKE '%string' Termina com Termina com string.
      LIKE '%string%' Contém Contém string.
      < Menor que
      <= Menor ou igual
      > Maior que
      >= Maior ou igual

    • Valor: Insira o valor desejado a ser utilizado com as seleções do dropdown.

    • Adicionar: Clique para construir automaticamente a cláusula com base nas seleções do dropdown e no valor inserido. A cláusula condicional é adicionada à caixa de texto String de consulta.

    • Remover Tudo: Clique para remover todas as cláusulas condicionais inseridas.

  • String de consulta: À medida que você seleciona campos, especifica condições e define paginação, a declaração de consulta nesta caixa de texto é preenchida automaticamente com os campos selecionados, condições e limites de paginação. Este campo é editável, o que significa que você pode inserir manualmente uma declaração de consulta ou editar a declaração preenchida automaticamente.

    Nota

    Os valores de quaisquer variáveis globais usadas na String de consulta não são preenchidos ao usar o botão Testar Consulta, mesmo que um valor padrão seja especificado. Os valores das variáveis globais serão obtidos em tempo de execução quando a consulta for executada. Para testar a consulta com um valor de variável padrão, use uma variável de projeto em vez disso.

  • Testar Consulta: Clique para validar a consulta. Se a consulta for válida, um máximo de 50 registros recuperados da consulta é exibido em uma tabela. Se a consulta não for válida, mensagens de erro relevantes são exibidas. Se você editar a String de consulta manualmente, a consulta deve ser válida e validada através deste botão para habilitar o botão Próximo.

    Nota

    Durante a execução da operação, o limite de 50 registros não é aplicado, a menos que seja especificado no campo Paginação (descrito anteriormente).

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede que você confirme que deseja descartar as alterações.

Etapa 4: Revisar os esquemas de dados

Qualquer esquema de solicitação ou resposta é exibido. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Configuração da atividade de consulta do Google BigQuery etapa 4

  • Esquemas de Dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

    O conector do Google BigQuery utiliza a versão 25.4.0 do Google SDK. Consulte a documentação do SDK para obter informações sobre os nós e campos do esquema.

    A atividade Consulta utiliza JSON em seu esquema de resposta.

  • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para regenerar esquemas do endpoint do Google BigQuery. Esta ação também regenera um esquema em outros locais ao longo do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

  • Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

  • Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para confirmar que você deseja descartar as alterações.

Próximas etapas

Após configurar uma atividade de Consulta do Google BigQuery, complete a configuração da operação adicionando e configurando outras atividades ou ferramentas como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estão no mesmo ou em diferentes fluxos de trabalho.

As ações do menu para uma atividade estão acessíveis a partir do painel do projeto e da tela de design. Para detalhes, consulte o menu de ações da atividade em Conceitos básicos do conector.

As atividades de Consulta do Google BigQuery podem ser usadas como uma fonte com esses padrões de operação:

Para usar a atividade com funções de script, escreva os dados em um local temporário e, em seguida, use esse local temporário na função de script.

Quando estiver pronto, implante e execute a operação e valide o comportamento verificando os logs da operação.