Actividad de transferencia de datos de Google BigQuery

Introducción

Una actividad de Transferencia de datos de Google BigQuery, que utiliza su conexión de Google BigQuery, transfiere datos de una fuente de datos a un conjunto de datos en Google BigQuery y está destinado a usarse como destino para consumir datos en una operación.

Crear una actividad de transferencia de datos de Google BigQuery

Se crea una instancia de una actividad Transferencia de datos de Google BigQuery a partir de una conexión de Google BigQuery utilizando su tipo de actividad Transferencia de datos.

Para crear una instancia de una actividad, arrastre el tipo de actividad al tela de diseño o copie el tipo de actividad y péguelo en el tela de diseño. Para obtener más información, consulte Crear una instancia de actividad o herramienta en Reutilización de componentes.

Se puede editar una actividad de Transferencia de datos de Google BigQuery existente desde estas ubicaciones:

• El tela de diseño (vea menú de acciones del componente en Lienzo de diseño).
• La pestaña Componentes del panel del proyecto (vea menú de acciones de componentes en la pestañaComponentes del panel Proyecto).

Configurar una actividad de transferencia de datos de Google BigQuery

Siga estos pasos para configurar una actividad de Transferencia de datos de Google BigQuery:

• Paso 1: Ingrese un nombre y seleccione la fuente de datos
  Proporcione un nombre para la actividad y seleccione la fuente de datos.

• Paso 2: Seleccione el conjunto de datos
  Seleccione el conjunto de datos.

• Paso 3: Seleccione la tabla
  Seleccione la tabla.

• Paso 4: Revise los esquemas de datos
  Se muestran todos los esquemas de solicitud o respuesta.

Paso 1: Ingrese un nombre y seleccione la fuente de datos

En este paso, proporcione un nombre para la actividad y seleccione la fuente de datos. A continuación se describe cada elemento de la interfaz de usuario de este paso.

• Nombre: Ingrese un nombre para identificar la actividad. El nombre debe ser único para cada actividad de Transferencia de datos de Google BigQuery y no debe contener barras diagonales. /o dos puntos :.

• Seleccionar la fuente de datos: Esta sección muestra las fuentes de datos disponibles en el extremo de Google BigQuery, ya sea Amazon S3 o Google Cloud Storage.

  • Fuente de datos seleccionada: Después de seleccionar una fuente de datos, esta aparece aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de fuentes de datos. La búsqueda no distingue entre mayúsculas y minúsculas. Si las fuentes de datos ya se muestran dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para volver a cargar las fuentes de datos desde el extremo al realizar una búsqueda, ingrese los criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para volver a cargar las fuentes de datos desde el extremo de Google BigQuery. Esto puede resultar útil si se han agregado fuentes de datos a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para crear la tabla de fuentes de datos que se muestran en la configuración.

  • Selección de una fuente de datos: Dentro de la tabla, haga clic en cualquier parte de una fila para seleccionar una fuente de datos. Solo se puede seleccionar una fuente de datos. La información disponible para cada fuente de datos se obtiene del extremo de Google BigQuery:

    • Nombre: El nombre de la fuente de datos.

    • Descripción: La descripción de la fuente de datos.

  Consejo

  Si la tabla no se completa con las fuentes de datos disponibles, la conexión de Google BigQuery puede no funcionar correctamente. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Guardar y salir: Si está habilitado, haga clic para guardar la configuración de este paso y cerrar la configuración de la actividad.

• Siguiente: Haga clic para almacenar temporalmente la configuración de este paso y continuar con el siguiente paso. La configuración no se guardará hasta que haga clic en el botón Terminado en el último paso.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le solicitará que confirme que desea descartar los cambios.

Paso 2: Seleccionar el conjunto de datos

En este paso, seleccione el conjunto de datos. A continuación se describe cada elemento de la interfaz de usuario de este paso.

• Seleccionar el conjunto de datos: Esta sección muestra los conjuntos de datos disponibles en el extremo de Google BigQuery.

  • Fuente de datos seleccionada: La fuente de datos seleccionada en el paso anterior aparece aquí.

  • Conjunto de datos seleccionado: Después de seleccionar un conjunto de datos, este aparece aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de conjuntos de datos. La búsqueda no distingue entre mayúsculas y minúsculas. Si los conjuntos de datos ya se muestran dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para volver a cargar los conjuntos de datos desde el extremo durante la búsqueda, ingrese los criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para volver a cargar los conjuntos de datos desde el extremo de Google BigQuery. Esto puede resultar útil si se han agregado conjuntos de datos a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para crear la tabla de conjuntos de datos que se muestra en la configuración.

  • Selección de un conjunto de datos: Dentro de la tabla, haga clic en cualquier parte de una fila para seleccionar un conjunto de datos. Solo se puede seleccionar un conjunto de datos. La información disponible para cada conjunto de datos se obtiene del extremo de Google BigQuery:

    • Nombre: El nombre del conjunto de datos.

    • Descripción: La descripción del conjunto de datos.

  Consejo

  Si la tabla no se completa con los conjuntos de datos disponibles, la conexión de Google BigQuery puede no funcionar correctamente. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Atrás: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

• Siguiente: Haga clic para almacenar temporalmente la configuración de este paso y continuar con el siguiente paso. La configuración no se guardará hasta que haga clic en el botón Terminado en el último paso.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le solicitará que confirme que desea descartar los cambios.

Paso 3: Seleccionar la tabla

En este paso, seleccione la tabla. A continuación se describe cada elemento de la interfaz de usuario de este paso.

Consejo

Campos con un icono variable Admite el uso de variables globales, variables del proyecto y variables Jitterbit. Comience escribiendo un corchete abierto [ en el campo o haciendo clic en el ícono de variable para mostrar una lista de las variables existentes para elegir.

• Seleccionar la tabla: Esta sección muestra las tablas disponibles en el extremo de Google BigQuery.

  • Conjunto de datos seleccionado: Aquí se incluye el conjunto de datos seleccionado en el paso anterior.

  • Tabla seleccionada: Después de seleccionar una tabla, esta aparece aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de tablas. La búsqueda no distingue entre mayúsculas y minúsculas. Si ya se muestran tablas dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para volver a cargar las tablas desde el extremo al realizar una búsqueda, ingrese los criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el icono de actualización o la palabra Actualizar para volver a cargar las tablas desde el extremo de Google BigQuery. Esto puede resultar útil si se han agregado tablas a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para crear la tabla de tablas que se muestra en la configuración.

  • Selección de una tabla: Dentro de la tabla, haga clic en cualquier parte de una fila para seleccionar una tabla. Solo se puede seleccionar una tabla. La información disponible para cada tabla se obtiene del extremo de Google BigQuery:

    • Nombre: El nombre de la tabla.

    • Descripción: La descripción de la tabla.

  Consejo

  Si la tabla no se completa con las tablas disponibles, la conexión de Google BigQuery puede no ser exitosa. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Nombre para mostrar: Establezca un nombre para mostrar para la transferencia de datos.

• Atrás: Haga clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

• Siguiente: Haga clic para almacenar temporalmente la configuración de este paso y continuar con el siguiente paso. La configuración no se guardará hasta que haga clic en el botón Terminado en el último paso.

• Descartar cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le solicitará que confirme que desea descartar los cambios.

Paso 4: Revisar los esquemas de datos

Se muestran todos los esquemas de solicitud o respuesta. A continuación se describe cada elemento de la interfaz de usuario de este paso.

• Esquemas de datos: Estos esquemas de datos son heredados por transformaciones adyacentes y se muestran nuevamente durante el mapeo de transformación.

  El conector de Google BigQuery utiliza la versión 25.4.0 del SDK de Google. Consulte la documentación del SDK para obtener información sobre los nodos y campos del esquema.

  Importante

  El valor utilizado para el custom_schedule El campo debe ser una cadena que siga el formato definido en la documentación de Google sobre programación de trabajos con cron.yml sin anteponer schedule:. Por ejemplo, every 12 hours o every monday 09:00.

  La actividad Transferencia de datos utiliza JSON tanto en sus esquemas de solicitud como de respuesta.

• Actualizar: Haga clic en el ícono de actualización o la palabra Actualizar para regenerar esquemas desde el extremo de Google BigQuery. Esta acción también regenera un esquema en otras ubicaciones del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente.

• Atrás: Haga clic para almacenar temporalmente la configuración de este paso y regresar al paso anterior.

• Terminado: Haga clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.

• Descartar cambios: Después de realizar los cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le solicitará que confirme que desea descartar los cambios.

Próximos pasos

Después de configurar una actividad de Transferencia de datos de Google BigQuery, complete la configuración de la operación agregando y configurando otras actividades o herramientas como pasos de la operación. También puede configurar los ajustes de la operación, que incluyen la capacidad de encadenar operaciones que se encuentran en el mismo flujo de trabajo o en flujos de trabajo diferentes.

Se puede acceder a las acciones del menú de una actividad desde el panel del proyecto y el tela de diseño. Para obtener más información, consulte menú de acciones de la actividad en Conceptos básicos del conector.

Las actividades de Transferencia de datos de Google BigQuery se pueden usar como objetivo con estos patrones de operación:

• Patrón de Transformación
• Patrón de dos transformaciones (como primer o segundo objetivo)

Para utilizar la actividad con funciones de script, escriba los datos en una ubicación temporal y luego use esa ubicación temporal en la función de script.

Cuando esté listo, desplegar y ejecute la operación y validar el comportamiento comprobando los registros de operación.