Actividad de Transferencia de Datos de Google BigQuery

Introducción

Una actividad de Transferencia de Datos de Google BigQuery, utilizando su conexión de Google BigQuery, transfiere datos desde una fuente de datos a un conjunto de datos en Google BigQuery y está destinada a ser utilizada como un objetivo para consumir datos en una operación.

Crear una actividad de Transferencia de Datos de Google BigQuery

Una instancia de una actividad de Transferencia de Datos de Google BigQuery se crea a partir de una conexión de Google BigQuery utilizando su tipo de actividad Transferencia de Datos.

Para crear una instancia de una actividad, arrastre el tipo de actividad al lienzo de diseño o copie el tipo de actividad y péguelo en el lienzo de diseño. Para más detalles, consulte Crear una instancia de actividad o herramienta en Reutilización de componentes.

Una actividad de Transferencia de Datos de Google BigQuery existente se puede editar desde estas ubicaciones:

• El lienzo de diseño (consulte Menú de acciones del componente en Lienzo de diseño).
• La pestaña Componentes del panel del proyecto (consulte Menú de acciones del componente en Pestaña de componentes del panel del proyecto).

Configurar una actividad de Transferencia de Datos de Google BigQuery

Siga estos pasos para configurar una actividad de Transferencia de Datos de Google BigQuery:

• Paso 1: Ingrese un nombre y seleccione la fuente de datos
  Proporcione un nombre para la actividad y seleccione la fuente de datos.

• Paso 2: Seleccione el conjunto de datos
  Seleccione el conjunto de datos.

• Paso 3: Seleccione la tabla
  Seleccione la tabla.

• Paso 4: Revise los esquemas de datos
  Se muestran los esquemas de solicitud o respuesta.

Paso 1: Ingrese un nombre y seleccione la fuente de datos

En este paso, proporcione un nombre para la actividad y seleccione la fuente de datos. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Nombre: Ingrese un nombre para identificar la actividad. El nombre debe ser único para cada actividad de Transferencia de Datos de Google BigQuery y no debe contener barras diagonales / ni dos puntos :.

• Seleccione la Fuente de Datos: Esta sección muestra las fuentes de datos disponibles en el punto final de Google BigQuery, ya sea Amazon S3 o Google Cloud Storage.

  • Fuente de Datos Seleccionada: Después de seleccionar una fuente de datos, se lista aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de fuentes de datos. La búsqueda no distingue entre mayúsculas y minúsculas. Si las fuentes de datos ya se muestran en la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para recargar las fuentes de datos desde el punto final al buscar, ingrese criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el ícono de actualizar o en la palabra Actualizar para recargar las fuentes de datos desde el punto final de Google BigQuery. Esto puede ser útil si se han agregado fuentes de datos a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para construir la tabla de fuentes de datos que se muestra en la configuración.

  • Seleccionando una Fuente de Datos: Dentro de la tabla, haga clic en cualquier parte de una fila para seleccionar una fuente de datos. Solo se puede seleccionar una fuente de datos. La información disponible para cada fuente de datos se obtiene del punto final de Google BigQuery:

    • Nombre: El nombre de la fuente de datos.

    • Descripción: La descripción de la fuente de datos.

  Consejo

  Si la tabla no se llena con fuentes de datos disponibles, la conexión de Google BigQuery puede no ser exitosa. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Guardar y Salir: Si está habilitado, haga clic para guardar la configuración de este paso y cerrar la configuración de la actividad.

• Siguiente: Haga clic para almacenar temporalmente la configuración de este paso y continuar al siguiente paso. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.

• Descartar Cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pide que confirme que desea descartar los cambios.

Paso 2: Seleccionar el conjunto de datos

En este paso, seleccione el conjunto de datos. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Seleccionar el Conjunto de Datos: Esta sección muestra los conjuntos de datos disponibles en el punto final de Google BigQuery.

  • Fuente de Datos Seleccionada: La fuente de datos seleccionada en el paso anterior se enumera aquí.

  • Conjunto de Datos Seleccionado: Después de seleccionar un conjunto de datos, se enumera aquí.

  • Buscar: Ingrese el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de conjuntos de datos. La búsqueda no distingue entre mayúsculas y minúsculas. Si los conjuntos de datos ya se muestran en la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para recargar conjuntos de datos desde el punto final al buscar, ingrese criterios de búsqueda y luego actualice, como se describe a continuación.

  • Actualizar: Haga clic en el ícono de actualizar o en la palabra Actualizar para recargar conjuntos de datos desde el punto final de Google BigQuery. Esto puede ser útil si se han agregado conjuntos de datos a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para construir la tabla de conjuntos de datos mostrada en la configuración.

  • Seleccionando un Conjunto de Datos: Dentro de la tabla, haga clic en cualquier parte de una fila para seleccionar un conjunto de datos. Solo se puede seleccionar un conjunto de datos. La información disponible para cada conjunto de datos se obtiene del punto final de Google BigQuery:

    • Nombre: El nombre del conjunto de datos.

    • Descripción: La descripción del conjunto de datos.

  Consejo

  Si la tabla no se llena con los conjuntos de datos disponibles, la conexión de Google BigQuery puede no ser exitosa. Asegúrate de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Atrás: Haz clic para almacenar temporalmente la configuración de este paso y regresar al paso anterior.

• Siguiente: Haz clic para almacenar temporalmente la configuración de este paso y continuar al siguiente paso. La configuración no se guardará hasta que hagas clic en el botón Finalizado en el último paso.

• Descartar Cambios: Después de realizar cambios, haz clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje te pedirá que confirmes que deseas descartar los cambios.

Paso 3: Seleccionar la tabla

En este paso, selecciona la tabla. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Seleccionar la Tabla: Esta sección muestra las tablas disponibles en el punto final de Google BigQuery.

  • Conjunto de Datos Seleccionado: El conjunto de datos seleccionado en el paso anterior se lista aquí.

  • Tabla Seleccionada: Después de seleccionar una tabla, se lista aquí.

  • Buscar: Ingresa el valor de cualquier columna en el cuadro de búsqueda para filtrar la lista de tablas. La búsqueda no distingue entre mayúsculas y minúsculas. Si las tablas ya se muestran dentro de la tabla, los resultados de la tabla se filtran en tiempo real con cada pulsación de tecla. Para recargar tablas desde el punto final al buscar, ingresa criterios de búsqueda y luego actualiza, como se describe a continuación.

  • Actualizar: Haga clic en el ícono de actualizar o en la palabra Actualizar para recargar las tablas desde el endpoint de Google BigQuery. Esto puede ser útil si se han agregado tablas a Google BigQuery. Esta acción actualiza todos los metadatos utilizados para construir la tabla de tablas que se muestra en la configuración.

  • Seleccionar una Tabla: Dentro de la tabla, haga clic en cualquier parte de una fila para seleccionar una tabla. Solo se puede seleccionar una tabla. La información disponible para cada tabla se obtiene del endpoint de Google BigQuery:

    • Nombre: El nombre de la tabla.

    • Descripción: La descripción de la tabla.

  Consejo

  Si la tabla no se llena con las tablas disponibles, la conexión de Google BigQuery puede no haber sido exitosa. Asegúrese de estar conectado volviendo a abrir la conexión y volviendo a probar las credenciales.

• Nombre para Mostrar: Establezca un nombre para mostrar para la transferencia de datos.

• Atrás: Haga clic para almacenar temporalmente la configuración de este paso y regresar al paso anterior.

• Siguiente: Haga clic para almacenar temporalmente la configuración de este paso y continuar al siguiente paso. La configuración no se guardará hasta que haga clic en el botón Finalizado en el último paso.

• Descartar Cambios: Después de realizar cambios, haga clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje le pedirá que confirme que desea descartar los cambios.

Paso 4: Revisar los esquemas de datos

Cualquier esquema de solicitud o respuesta se muestra. Cada elemento de la interfaz de usuario de este paso se describe a continuación.

• Esquemas de Datos: Estos esquemas de datos son heredados por transformaciones adyacentes y se muestran nuevamente durante el mapeo de transformaciones.

  El conector de Google BigQuery utiliza la versión 25.4.0 del SDK de Google. Consulte la documentación del SDK para obtener información sobre los nodos y campos del esquema.

  Importante

  El valor utilizado para el campo custom_schedule debe ser una cadena que siga el formato definido en la documentación de Google sobre programación de trabajos con cron.yml sin anteponer schedule:. Por ejemplo, cada 12 horas o cada lunes a las 09:00.

  La actividad de Transferencia de Datos utiliza JSON tanto en sus esquemas de solicitud como de respuesta.

• Actualizar: Haz clic en el ícono de actualizar o en la palabra Actualizar para regenerar esquemas desde el punto final de Google BigQuery. Esta acción también regenera un esquema en otras ubicaciones a lo largo del proyecto donde se hace referencia al mismo esquema, como en una transformación adyacente.

• Regresar: Haz clic para almacenar temporalmente la configuración de este paso y volver al paso anterior.

• Terminado: Haz clic para guardar la configuración de todos los pasos y cerrar la configuración de la actividad.

• Descartar Cambios: Después de realizar cambios, haz clic para cerrar la configuración sin guardar los cambios realizados en ningún paso. Un mensaje te pedirá que confirmes que deseas descartar los cambios.

Siguientes pasos

Después de configurar una actividad de Transferencia de Datos de Google BigQuery, completa la configuración de la operación agregando y configurando otras actividades o herramientas como pasos de operación. También puedes configurar los ajustes de la operación, que incluyen la capacidad de encadenar operaciones que están en los mismos o diferentes flujos de trabajo.

Las acciones del menú para una actividad son accesibles desde el panel del proyecto y el lienzo de diseño. Para más detalles, consulta el menú de acciones de actividad en Conceptos básicos de conectores.

Las actividades de Transferencia de Datos de Google BigQuery pueden ser utilizadas como un objetivo con estos patrones de operación:

• Patrón de transformación
• Patrón de dos transformaciones (como el primer o segundo objetivo)

Para utilizar la actividad con funciones de scripting, escribe los datos en una ubicación temporal y luego utiliza esa ubicación temporal en la función de scripting.

Cuando estés listo, despliega y ejecuta la operación y valida el comportamiento revisando los registros de la operación.