Saltar al contenido

Plugin de creación de AWS S3 (obsoleto) para grupos de agentes en la nube y privados de Jitterbit

Introducción

El plugin de creación de AWS S3 sube un archivo a Amazon AWS S3 como un objetivo en una operación.

Este plugin está disponible por defecto en grupos de agentes en la nube de Jitterbit y también se puede asociar con grupos de agentes privados.

Esta página detalla los pasos para usar el plugin de creación de AWS S3:

  1. Descargar y agregar el plugin
  2. Asociar el plugin con un grupo de agentes
  3. Asignar el plugin a un objetivo
  4. Establecer variables globales para el plugin
  5. Completar la configuración de la operación

Importante

Los plugins proporcionados por Jitterbit están obsoletos.

Cifrado

El plugin de creación de AWS S3 envía tu ID de clave de acceso de AWS S3 y la clave de acceso secreta proporcionados (descritos a continuación en Establecer variables globales para el plugin) a Amazon. La seguridad es manejada por Amazon como se describe en la documentación de Amazon sobre Credenciales de Seguridad de AWS.

La versión 1.0.1.0 del plugin de creación de AWS S3 de Jitterbit admite buckets de S3 que utilizan una de estas opciones de cifrado:

  • Ninguno: Sin cifrado
  • AES-256: Cifrado del lado del servidor con claves administradas por Amazon S3 (SSE-S3)
  • AWS-KMS: Cifrado del lado del servidor con claves administradas por AWS KMS (SSE-KMS)

La versión 1.0.0.0 del plugin de creación de AWS S3 de Jitterbit admite el uso de sin cifrado o AES-256. El cifrado KMS no es compatible con esta versión.

Uso

El plugin de creación de AWS S3 se puede usar siempre que necesites subir archivos a AWS.

En un caso de uso común, este plugin se puede utilizar para mover grandes cantidades de datos a un almacén de datos Snowflake cuando se usa con Snowpipe. Para usar esta configuración recomendada, sigue la documentación de Snowpipe de Snowflake, luego configura el plugin de creación de AWS S3 como se describe en esta página.

Nota

Usar Snowpipe y el plugin AWS S3 Create se recomienda para aumentar el rendimiento en lugar de usar el controlador JDBC de Snowflake, aunque también es posible instalar el controlador JDBC de Snowflake y luego usar Snowflake como un objetivo de base de datos en Design Studio.

Additional functionality

Además, estas opciones ofrecen funcionalidad adicional más allá del plugin AWS S3 Create:

Descargue y agregue el plugin

El plugin AWS S3 Create es un plugin estándar de Jitterbit que ya está disponible en la página de Plugins de la Consola de Administración y no necesita ser descargado o agregado a la organización.

Si el soporte lo indica, este plugin se puede descargar en los enlaces proporcionados a continuación y agregar a la organización.

Asociar el plugin con un grupo de agentes

Ambas versiones del plugin AWS S3 Create están asociadas por defecto con los grupos de agentes en la nube de Jitterbit. Se recomienda utilizar la versión 1.0.1.0.

Si se utiliza un grupo de agentes privado, antes de poder usar el plugin, debe asociarse con el grupo de agentes privado para que el plugin esté disponible en todos los agentes del grupo.

Los plugins se enumeran en la página Plugins de la Consola de Administración con estos nombres de visualización:

  • Jitterbit_AWS_S3_Create (versión 1.0.1.0)

  • Jitterbit AWS S3 Create (versión 1.0.0.0)

Asignar el plugin a un objetivo

En un proyecto de Design Studio, debe asignar el plugin a un objetivo dentro de una operación (ver Crear una operación. Se proporciona una configuración de operación de ejemplo al final de esta página.

Dentro del proyecto:

  1. Crear una operación. Cualquier operación que use un objetivo puede ser utilizada.

  2. Cree un objetivo ficticio al que se asignará el plugin. Este objetivo se utiliza como un marcador de posición y no se escribirá realmente. Se recomienda utilizar una fuente de tipo archivo como Almacenamiento Temporal, archivo local, o sitio FTP y proporcionar un valor de Nombre de archivo(s) de [file].[ext]. Esto asegurará que el archivo tenga el mismo nombre y extensión que el que proviene de la fuente.

    Nota

    Un objetivo de variable global también se puede utilizar si está escribiendo un solo archivo en S3.

  3. Asigne el complemento al objetivo. Para hacer esto, haga clic derecho en la fuente y seleccione Complemento. En la ventana emergente, bajo Complementos disponibles, seleccione "Jitterbit AWS S3 Get" y haga clic en Asignar. Luego haga clic en Aceptar.

Consejo

La documentación detallada sobre la asignación de complementos está disponible en Aplicar complementos de pipeline.

Establecer variables globales para el complemento

Para que un complemento asignado a un objetivo sea funcional, se deben establecer las variables globales requeridas por el complemento. Estas variables se establecen en un script, que debe colocarse antes del objetivo en la operación para que las variables puedan ser inicializadas. Los scripts a menudo se establecen antes de la fuente en una operación, que también está antes del objetivo.

Para agregar un script antes de la fuente y el objetivo en la operación:

  1. Haga clic derecho en la fuente en la operación y seleccione Insertar antes de esto > Script.

  2. Cree un nuevo Script de Jitterbit que establezca las variables utilizadas por el complemento para autenticar con su bucket de S3 y cargar cualquier archivo que especifique. A continuación se proporciona una plantilla de script para las variables requeridas, seguida de la documentación sobre todas las posibles variables que pueden incluirse en el script.

    Script de creación de AWS S3
    <trans>
$AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
$AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
$AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
</trans>
Nombre Tipo Requerido Descripción
AWS.S3.ENDPOINT Cadena Opcional La URL del punto final de Amazon AWS S3. Por defecto es "s3.amazonaws.com" si no se establece. Los nombres de puntos finales válidos por región se proporcionan en la documentación de Amazon Regiones y puntos finales de AWS.
AWS.S3.BUCKET_NAME Cadena Requerido El nombre del bucket de S3 objetivo (por ejemplo, "my_bucket").
AWS.S3.ACCESS_KEY_ID Cadena Requerido La clave de acceso de S3 (por ejemplo, "ABCDEFGHI1JK2LM3NOPQ").
AWS.S3.SECRET_ACCESS_KEY Cadena Requerido La clave de acceso secreta de S3 (por ejemplo, "1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz").
AWS.S3.REGION Cadena Opcional La región de S3. Por defecto es "DEFAULT_REGION" si no se establece (no recomendado). Los nombres actuales de las regiones se proporcionan en la documentación de Amazon Regiones y puntos finales de AWS.
AWS.S3.OBJECT_KEY Cadena Opcional La clave del objeto S3 que se va a escribir. Este es el nombre del archivo específico que está subiendo, como "myfile.txt". Para escribir en una carpeta existente dentro del bucket, agregue el nombre de la carpeta después de una barra diagonal (por ejemplo, "my_folder/myfile.txt"). La carpeta debe existir previamente. Si esta variable no se incluye en el script, solo se devolverá un archivo en el bucket y la carpeta (si se especifica). No se admite especificar múltiples archivos o usar comodines.

Configuración completa de la operación

La parte del complemento de la configuración de la operación está completa después de que tengas (1) el script que define las variables que se utilizarán con el complemento y (2) el complemento asignado a un objetivo en la operación.

Para completar la configuración de tu operación, define una fuente de la cual provienen los datos, o agrega tanto una fuente como una transformación si deseas transformar tus datos antes de llegar al bucket de S3. Si escribes un solo archivo en S3, la configuración de la operación está completa.

ejemplo 1

Si deseas escribir múltiples archivos en S3, puedes crear manualmente un script adicional para recorrer los archivos en tu bucket de S3. Asegúrate de no haber establecido ningún valor en la variable AWS.S3.OBJECT_KEY.

Dado que solo se devuelve un archivo con el complemento, puedes ejecutar cada archivo por separado a través de la operación. Por ejemplo, utilizando una combinación de FileList, While y RunOperation y una nueva variable global definida SingleFile, este script recoge cada archivo y luego ejecuta la operación con el complemento:

Script de Bucle de Archivos
<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para usar con el script anterior, querrás hacer referencia a la nueva variable global [SingleFile] en el Obtener Archivos de tu fuente de tipo archivo. Este ejemplo puede ajustarse para su uso con otras configuraciones.

ejemplo 2