Ir para o conteúdo

Atividade Criar Estrutura do Google BigQuery

Introdução

Uma atividade Criar Estrutura do Google BigQuery, utilizando sua conexão do Google BigQuery, cria conjuntos de dados ou tabelas no Google BigQuery e é destinada a ser usada como um destino para consumir dados em uma operação.

Cotas e limites

O Google BigQuery impõe cotas e limites, que restringem a taxa e o volume de estruturas sendo criadas. Quando esses limites são alcançados, a operação pode ser concluída com um Success status da operação mesmo que todas as estruturas solicitadas não sejam criadas. Verifique os logs da operação para quaisquer erros de limite de taxa retornados pelo SDK do Google BigQuery. Para mais informações, consulte a documentação do Google.

Criar uma atividade Criar Estrutura do Google BigQuery

Uma instância de uma atividade Criar Estrutura do Google BigQuery é criada a partir de uma conexão do Google BigQuery usando seu tipo de atividade Criar Estrutura.

Para criar uma instância de uma atividade, arraste o tipo de atividade para a tela de design ou copie o tipo de atividade e cole-o na tela de design. Para detalhes, consulte Criar uma instância de atividade ou ferramenta em Reutilização de componentes.

Uma atividade existente Criar Estrutura do Google BigQuery pode ser editada a partir destes locais:

Configurar uma atividade de Criar Estrutura do Google BigQuery

Siga estas etapas para configurar uma atividade de Criar Estrutura do Google BigQuery:

Etapa 1: Insira um nome e selecione o objeto

Nesta etapa, forneça um nome para a atividade e selecione o objeto. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Configuração da atividade Criar Estrutura do Google BigQuery - etapa 1

  • Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade de Criar Estrutura do Google BigQuery e não deve conter barras / ou dois pontos :.

  • Selecionar Objeto: Esta seção exibe os objetos disponíveis no endpoint do Google BigQuery.

    • Objeto Selecionado: Após um objeto ser selecionado, ele é listado aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de objetos. A pesquisa não diferencia maiúsculas de minúsculas. Se os objetos já estiverem exibidos na tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar objetos do endpoint ao pesquisar, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

    • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar objetos do endpoint do Google BigQuery. Isso pode ser útil se objetos foram adicionados ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de objetos exibidos na configuração.

    • Selecionando um Objeto: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar um objeto. Apenas um objeto pode ser selecionado. As informações disponíveis para cada objeto são obtidas do endpoint do Google BigQuery:

      • Nome: O nome do objeto.

      • Descrição: A descrição do objeto.

    Dica

    Se a tabela não for preenchida com objetos disponíveis, a conexão do Google BigQuery pode não ter sido bem-sucedida. Certifique-se de que está conectado reabrindo a conexão e testando novamente as credenciais.

  • Continuar em Caso de Erro: Selecione para continuar a execução da atividade se um erro for encontrado para um conjunto de dados em uma solicitação em lote. Se algum erro for encontrado, ele será registrado no log de operações.

  • Reverter: Se erros ocorrerem durante a criação da estrutura, esta opção (quando selecionada) reverte quaisquer alterações feitas antes do erro. Se não selecionada, quaisquer alterações feitas antes do erro persistirão.

  • Salvar e Sair: Se habilitado, clique para salvar a configuração para esta etapa e fechar a configuração da atividade.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Etapa 2: Selecionar um sub-objeto

Nesta etapa, selecione um sub-objeto. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Configuração da atividade Criar Estrutura do Google BigQuery, etapa 2

  • Selecionar um Sub-objeto: Esta seção exibe sub-objetos disponíveis no endpoint do Google BigQuery.

    • Objeto Selecionado: O objeto selecionado na etapa anterior é listado aqui.

    • Sub-objeto Selecionado: Após um sub-objeto ser selecionado, ele é listado aqui.

    • Pesquisar: Insira o valor de qualquer coluna na caixa de pesquisa para filtrar a lista de sub-objetos. A pesquisa não diferencia maiúsculas de minúsculas. Se sub-objetos já estiverem exibidos na tabela, os resultados da tabela são filtrados em tempo real a cada tecla pressionada. Para recarregar sub-objetos do endpoint ao pesquisar, insira os critérios de pesquisa e, em seguida, atualize, conforme descrito abaixo.

  • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para recarregar sub-objetos do endpoint do Google BigQuery. Isso pode ser útil se sub-objetos foram adicionados ao Google BigQuery. Esta ação atualiza todos os metadados usados para construir a tabela de sub-objetos exibida na configuração.

  • Selecionando um Sub-objeto: Dentro da tabela, clique em qualquer lugar em uma linha para selecionar um sub-objeto. Apenas um sub-objeto pode ser selecionado. As informações disponíveis para cada sub-objeto são obtidas do endpoint do Google BigQuery:

    • Nome: O nome do sub-objeto.

    • Descrição: A descrição do sub-objeto.

    Dica

    Se a tabela não for preenchida com sub-objetos disponíveis, a conexão com o Google BigQuery pode não ter sido bem-sucedida. Certifique-se de que está conectado reabrindo a conexão e testando novamente as credenciais.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede que você confirme que deseja descartar as alterações.

Etapa 3: Revisar os esquemas de dados

Quaisquer esquemas de solicitação ou resposta são exibidos. Cada elemento da interface do usuário desta etapa é descrito abaixo.

Configuração da atividade Criar Estrutura do Google BigQuery, etapa 3

  • Esquemas de Dados: Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.

    O conector do Google BigQuery usa a versão 25.4.0 do Google SDK. Consulte a documentação do SDK para obter informações sobre os nós e campos do esquema.

    A atividade Criar Estrutura utiliza JSON em seus esquemas de solicitação e resposta.

    Importante

    O Google BigQuery impõe cotas e limites, que restringem a taxa e o volume de estruturas sendo criadas. Quando esses limites são atingidos, a atividade será concluída com um Success status da operação, mesmo que todas as estruturas solicitadas não sejam criadas. Para mais informações, consulte a documentação do Google.

    Informação

    O campo columnDataType do esquema de solicitação suporta estes tipos de dados (sem distinção entre maiúsculas e minúsculas): BIGNUMERIC, BOOLEAN, BYTES, DATE, DATETIME, FLOAT, GEOGRAPHY, INTEGER, INTERVAL, JSON, NUMERIC, RECORD, STRING, TIME e TIMESTAMP.

  • Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para regenerar esquemas do endpoint do Google BigQuery. Esta ação também regenera um esquema em outros locais ao longo do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.

  • Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.

  • Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.

  • Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para você confirmar que deseja descartar as alterações.

Próximas etapas

Após configurar uma atividade Criar Estrutura do Google BigQuery, complete a configuração da operação adicionando e configurando outras atividades ou ferramentas como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estão no mesmo ou em diferentes fluxos de trabalho.

As ações do menu para uma atividade estão acessíveis a partir do painel do projeto e da tela de design. Para detalhes, consulte o menu de ações da atividade em Conceitos básicos do conector.

As atividades de Criar Estrutura do Google BigQuery podem ser usadas como um destino com esses padrões de operação:

Para usar a atividade com funções de script, escreva os dados em um local temporário e, em seguida, use esse local temporário na função de script.

Quando estiver pronto, implante e execute a operação e valide o comportamento verificando os logs da operação.