Atividade de consulta do Google BigQuery¶

Introdução¶

Uma atividade de Consulta do Google BigQuery, usando sua conexão do Google BigQuery, consulta uma tabela em um conjunto de dados no Google BigQuery e deve ser usado como fonte em uma operação.

Criar uma atividade de consulta do Google BigQuery¶

Uma instância de uma atividade Consulta do Google BigQuery é criada a partir de uma conexão do Google BigQuery usando seu tipo de atividade Consulta.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a quadro de design ou copie o tipo de atividade e cole-o na quadro de design. Para obter detalhes, consulte Criar uma instância de atividade em Reutilização de componentes.

Uma atividade existente do Google BigQuery Consulta pode ser editada nestes locais:

• A quadro de design (veja menu de ações do componente em Tela de design).
• A aba Componentes do painel do projeto (consulte menu de ações do componente na aba Componentes do painel Projeto).

Configurar uma atividade de consulta do Google BigQuery¶

Siga estas etapas para configurar uma atividade Consulta do Google BigQuery:

• Etapa 1: Insira um nome e selecione o conjunto de dados
  Forneça um nome para a atividade e selecione o conjunto de dados.

• Etapa 2: Selecione a tabela
  Selecione a tabela.

• Etapa 3: Crie sua consultar
  Defina condições em uma consultar usando os campos de objeto e aplique paginação a uma consultar.

• Etapa 4: Revise os esquemas de dados
  Quaisquer esquemas de solicitação ou resposta são exibidos.

Etapa 1: insira um nome e selecione o conjunto de dados¶

Nesta etapa, forneça um nome para a atividade e selecione o conjunto de dados. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade do Google BigQuery Query e não deve conter barras / ou dois pontos :.

• Selecione o conjunto de dados: Esta seção exibe os conjuntos de dados disponíveis no endpoint do Google BigQuery.

  • Conjunto de dados selecionado: Depois que um conjunto de dados é selecionado, ele é listado aqui.

  • Pesquisar: Insira qualquer valor de coluna na caixa de pesquisa para filtrar a lista de conjuntos de dados. A pesquisa não diferencia maiúsculas de minúsculas. Se os conjuntos de dados já estiverem exibidos na tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar conjuntos de dados do endpoint ao pesquisar, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Refresh para recarregar conjuntos de dados do endpoint do Google BigQuery. Isso pode ser útil se conjuntos de dados tiverem sido adicionados ao Google BigQuery. Esta ação atualiza todos os metadados usados para criar a tabela de conjuntos de dados exibida na configuração.

  • Selecionando um conjunto de dados: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar um conjunto de dados. Apenas um conjunto de dados pode ser selecionado. As informações disponíveis para cada conjunto de dados são obtidas do endpoint do Google BigQuery:

    • Nome: O nome do conjunto de dados.

    • Descrição: A descrição do conjunto de dados.

  Dica

  Se a tabela não for preenchida com conjuntos de dados disponíveis, a conexão do Google BigQuery pode não ser bem-sucedido. Certifique-se de que você esteja conectado reabrindo a conexão e testando novamente as credenciais.

• Salvar e sair: Se habilitado, clique para salvar a configuração para esta etapa e fechar a configuração da atividade.

• Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 2: Selecione a tabela¶

Nesta etapa, selecione a tabela. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Selecione a tabela: Esta seção exibe as tabelas disponíveis no endpoint do Google BigQuery.

  • Conjunto de dados selecionado: O conjunto de dados selecionado na etapa anterior é listado aqui.

  • Tabela selecionada: Depois que uma tabela é selecionada, ela é listada aqui.

  • Pesquisar: Insira qualquer valor de coluna na caixa de pesquisa para filtrar a lista de tabelas. A pesquisa não diferencia maiúsculas de minúsculas. Se as tabelas já estiverem exibidas dentro da tabela, os resultados da tabela serão filtrados em tempo real a cada pressionamento de tecla. Para recarregar tabelas do endpoint ao pesquisar, insira os critérios de pesquisa e atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualização ou a palavra Refresh para recarregar tabelas do endpoint do Google BigQuery. Isso pode ser útil se tabelas foram adicionadas ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de tabelas exibida na configuração.

  • Selecionando uma tabela: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar uma tabela. Apenas uma tabela pode ser selecionada. As informações disponíveis para cada tabela são obtidas do endpoint do Google BigQuery:

    • Nome: O nome da tabela.

    • Descrição: A descrição da tabela.

  Dica

  Se a tabela não for preenchida com tabelas disponíveis, a conexão do Google BigQuery pode não ser bem-sucedido. Certifique-se de que você esteja conectado reabrindo a conexão e testando novamente as credenciais.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração desta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem solicita que você confirme que deseja descartar as alterações.

Etapa 3: crie sua consultar¶

Nesta etapa, crie uma instrução de consultar definindo condições para campos de objeto e aplicando paginação por meio do construtor de consultar ou inserindo manualmente uma instrução de consultar. Cada elemento da interface do usuário desta etapa é descrito abaixo.

• Pesquisar: Insira qualquer parte do nome de um campo na caixa de pesquisa para filtrar a lista de campos para o objeto selecionado. A pesquisa não diferencia maiúsculas de minúsculas. Os resultados listados são filtrados em tempo real a cada pressionamento de tecla.

• Atualizar: Clique no ícone de atualização ou a palavra Atualizar para recarregar campos do objeto do endpoint do Google BigQuery.

• Selecionar tudo: Ao usar a caixa de pesquisa para filtrar, você pode usar esta caixa de seleção para selecionar todos os campos visíveis de uma só vez.

• Selecionar campos: Selecione as caixas de seleção dos campos que você deseja incluir na consultar para que eles sejam adicionados automaticamente à declaração de consultar na Query string. Você também pode Selecionar todos os campos de uma vez usando a caixa de seleção.

• Paginação: Para adicionar uma cláusula de paginação (um limite no número de registros com um deslocamento de registro opcional), você pode usar o menu suspenso para definir o limite de paginação e o campo para inserir um deslocamento. Se um deslocamento não for especificado, o padrão será 0. Uma única cláusula de paginação é suportada. Se a cláusula de paginação não for incluída, todos os registros serão retornados.

  • Aplicar: Clique para construir automaticamente a cláusula com base nas seleções suspensas e no valor inserido. A cláusula de paginação construída automaticamente aparece na caixa de texto Query string.

  • Remover: Clique para remover uma cláusula de paginação que foi aplicada.

• Condições: Para adicionar cláusulas condicionais, use os campos abaixo como entrada para ajudar a construir as cláusulas, que então aparecem na caixa de texto Sequência de caracteres de consulta.

  • Campo: Use o menu suspenso para selecionar um campo do objeto selecionado.

  • Operador: Use o menu suspenso para selecionar um operador apropriado para o tipo de dados do campo:

    Operador	Rótulo	Descrição
    =	É igual a
    !=	Não é igual a
    IN (valor1, valor2)	In	Na lista de valores.
    É NULO	É nulo	Não tem valor.
    NÃO É NULO	Não é nulo	Tem um valor.
    LIKE 'string'	Curtir	Curtir string.
    LIKE 'string%'	Começa com	Começa com string.
    LIKE '%string'	Termina com	Termina com string.
    LIKE '%string%'	Contém	Contém string.
    <	Menos que
    <=	Menor ou igual
    >	Maior que
    >=	Maior ou igual

  • Valor: Insira o valor desejado para usar com as seleções suspensas.

  • Adicionar: Clique para construir automaticamente a cláusula com base nas seleções suspensas e no valor inserido. A cláusula condicional é adicionada à caixa de texto Query string.

  • Remover tudo: Clique para remover todas as cláusulas condicionais inseridas.

• Query string: Conforme você seleciona campos, especifica condições e define a paginação, a declaração de consultar nesta caixa de texto é preenchida automaticamente com os campos, condições e limites de paginação selecionados. Este campo é editável, o que significa que você pode inserir manualmente uma declaração de consultar ou editar a declaração preenchida automaticamente.

  Nota

  Os valores de quaisquer variáveis globais usados na Query string não são preenchidos ao usar o botão Test Query, mesmo se um valor padrão for especificado. Os valores de variáveis globais serão obtidos no tempo de execução quando a consultar for executada. Para testar a consultar com um valor de variável padrão, use uma variável de projeto em vez de.

• Test Query: Clique para validar a consultar. Se a consultar for válida, um máximo de 50 registros recuperados da consultar serão exibidos em uma tabela. Se a consultar não for válida, mensagens de erro relevantes serão exibidas. Se você editar a Query string manualmente, a consultar deverá ser válida e validada por meio deste botão para habilitar o botão Next.

  Nota

  Durante o tempo de execução da operação, o limite de 50 registros não é aplicado, a menos que seja especificado no campo Paginação (descrito anteriormente).

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Etapa 4: Revise os esquemas de dados¶

Quaisquer esquemas de solicitação ou resposta são exibidos. Cada elemento de interface de usuário desta etapa é descrito abaixo.

• Esquemas de dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

  O conector do Google BigQuery usa o Google SDK versão 25.4.0. Consulte a documentação do SDK para obter informações sobre os nós e campos do esquema.

  A atividade Query usa JSON em seu esquema de resposta.

• Atualizar: Clique no ícone de atualização ou a palavra Refresh para regenerar esquemas do endpoint do Google BigQuery. Esta ação também regenera um esquema em outros locais ao longo do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

• Voltar: Clique para armazenar temporariamente a configuração desta etapa e retornar à etapa anterior.

• Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

• Descartar alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em nenhuma etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Próximos passos¶

Após configurar uma atividade Query do Google BigQuery, conclua a configuração da operação adicionando e configurando outras atividades, transformações ou scripts como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estejam no mesmo fluxo de trabalho ou em workflows diferentes.

As ações de menu para uma atividade são acessíveis a partir do painel do projeto e da quadro de design. Para obter detalhes, consulte menu de ações de atividade em Noções básicas do conector.

As atividades de Consulta do Google BigQuery podem ser usadas como uma fonte com esses padrões de operação:

• Padrão de Transformação
• Padrão de arquivo de dois alvos (apenas como primeira fonte)
• Padrão de arquivo HTTP de dois alvos (apenas como primeira fonte)
• Padrão de duas transformações (apenas como primeira fonte)

Para usar a atividade com funções de script, grave os dados em um local temporário e use esse local temporário na função de script.

Quando estiver pronto, implantar e executar a operação e validar o comportamento verificando os logs de operação.