Saltar al contenido

Complemento de creación de AWS S3 (obsoleto) para grupos de agentes privados y en la nube de Jitterbit

Introducción

El complemento AWS S3 Create carga un archivo a Amazon AWS S3 como destino en una operación.

Este complemento está disponible de forma predeterminada en grupos de agentes de nube Jitterbit y también pueden asociarse con grupos de agentes privados.

Esta página detalla los pasos para utilizar el complemento AWS S3 Create:

  1. Descargar y agregar el complemento
  2. Asociar el complemento con un grupo de agentes
  3. Asignar el complemento a un objetivo
  4. Establecer variables globales para el complemento
  5. Configuración completa de la operación

Importante

Los complementos proporcionados por Jitterbit están obsoletos. Consulte Obsolescencia y soporte en Complementos.

Encriptación

El complemento AWS S3 Create pasa la ID de clave de acceso de AWS S3 proporcionada y la clave de acceso secreta (que se describe a continuación en Establecer variables globales para el complemento) a Amazon. La seguridad la gestiona Amazon como se describe en la documentación de Amazon sobre Credenciales de seguridad de AWS.

La versión 1.0.1.0 del complemento Jitterbit AWS S3 Create admite depósitos S3 que utilizan una de estas opciones de cifrado:

  • Ninguno: Sin cifrado
  • AES-256: Cifrado del lado del servidor con claves administradas por Amazon S3(SSE-S3)
  • AWS-KMS: Cifrado del lado del servidor con claves administradas por AWS KMS (SSE-KMS)

La versión 1.0.0.0 del complemento Jitterbit AWS S3 Create no admite el uso de cifrado o AES-256. Esta versión no admite el cifrado KMS.

Uso

El complemento AWS S3 Create se puede utilizar siempre que necesite cargar archivos a AWS.

En un caso de uso común, este complemento se puede utilizar para mover grandes cantidades de datos a un almacén de datos de Snowflake cuando se usa con Snowpipe. Para utilizar esta configuración recomendada, siga la documentación Snowpipe de Snowflake, luego configure el complemento AWS S3 Create como se describe en esta página.

Nota

Se recomienda usar Snowpipe y el complemento AWS S3 Create para aumentar el rendimiento en lugar de usar el controlador JDBC de Snowflake, aunque también es posible instalar el controlador JDBC de Snowflake y luego usar Snowflake como un objetivo de base de datos en el Design Studio.

Funcionalidad adicional

Además, estas opciones ofrecen funcionalidad adicional más allá del complemento AWS S3 Create:

Descargue y agregue el complemento

El complemento AWS S3 Create es un complemento Jitterbit estándar que ya está disponible en la Management Console Complementos página y no necesita descargarse ni agregarse a la organización.

Si el soporte lo indica, este complemento se puede descargar en los enlaces que se proporcionan a continuación y agregar a la organización.

Asociar el complemento con un grupo de agentes

Ambas versiones del complemento AWS S3 Create están asociadas con los grupos de agentes de la nube Jitterbit de forma predeterminada. Recomendamos utilizar la versión 1.0.1.0.

Si usa un grupo de agentes privados, antes de poder usar el complemento debe asociarlo con el grupo de agentes privados para que el complemento esté disponible en todos los agentes del grupo.

Los complementos se enumeran en la Management Console Complementos página con estos nombres para mostrar:

  • Jitterbit_AWS_S3_Create (versión 1.0.1.0)

  • Jitterbit AWS S3 Create (versión 1.0.0.0)

Asignar el complemento a un objetivo

En un proyecto de Design Studio, debes asignar el complemento a un objetivo dentro de una operación (vea Crear una operación. Un ejemplo de configuración de operación se proporciona al final de esta página.

Dentro del proyecto:

  1. Crear una operación se puede utilizar cualquier operación que utilice un objetivo.

  2. Cree un destino ficticio al que se asignará el complemento. Este destino se utiliza como marcador de posición y en realidad no se escribirá en él. Recomendamos utilizar una fuente de tipo archivo como Almacenamiento temporal, archivo local, o sitio FTP y proporcionar un valor de Nombre de archivo de [file].[ext]. Esto garantizará que el archivo tenga el mismo nombre y extensión que el que proviene de la fuente.

    Nota

    Un objetivo variable global también se puede utilizar si está escribiendo un solo archivo en S3.

  3. Asigna el complemento al destino. Para ello, haz clic con el botón derecho en la fuente y selecciona Complemento. En la ventana emergente, en Complementos disponibles, selecciona "Jitterbit AWS S3 Get" y haz clic en Asignar. Luego, haz clic en Aceptar.

Sugerencia

La documentación detallada sobre la asignación de complementos está disponible en Aplicación de complementos de canalización.

Establecer variables globales para el complemento

Para que un complemento asignado a un objetivo sea funcional, cualquier variable global que requiere el complemento deben estar configurados. Estas variables se configuran en un secuencia de comandos, que debe colocarse antes del destino en la operación para que las variables se puedan inicializar. Los Secuencias de comandos a menudo se configuran antes del origen en una operación, que también está antes del destino.

Para agregar un secuencia de comandos antes del origen y el destino en la operación:

  1. Haga clic derecho en la fuente en la operación y seleccione Insertar antes de esto > Secuencia de comandos.

  2. Crea un nuevo Jitterbit Script que establece las variables que utiliza el complemento para autenticarse con su depósito S3 y cargar los archivos que especifique. A continuación, se proporciona una modelo de secuencia de comandos para las variables requeridas, seguida de documentación sobre todas las variables posibles que se pueden incluir en el secuencia de comandos.

    AWS S3 Create Script
    <trans>
$AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
$AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
$AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
</trans>
Nombre Tipo Obligatorio Descripción
AWS.S3.ENDPOINT Cadena Opcional La URL del extremo de Amazon AWS S3. El valor predeterminado es "s3.amazonaws.com" Si no se configura, se proporcionan nombres de extremo válidos por región en la documentación de Amazon Regiones y Extremos de AWS.
AWS.S3.BUCKET_NAME Cadena Obligatorio El nombre del depósito de destino de S3. Para escribir en una carpeta existente dentro del depósito, agregue el nombre de la carpeta después de una barra diagonal (p. ej. "my_bucket/folder") La carpeta ya debe existir.
AWS.S3.ACCESS_KEY_ID Cadena Obligatorio La clave de acceso S3 (p. ej. "ABCDEFGHI1JK2LM3NOPQ").
AWS.S3.SECRET_ACCESS_KEY Cadena Obligatorio La clave de acceso secreta de S3 (p. ej. "1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz").
AWS.S3.REGION Cadena Opcional La región S3. El valor predeterminado es "DEFAULT_REGION" Si no se configura (no se recomienda), los nombres de las regiones actuales se proporcionan en la documentación de Amazon Regiones y Extremos de AWS.
AWS.S3.OBJECT_KEY Cadena Opcional La clave del objeto S3 que se escribirá. Este es el nombre del archivo específico que está cargando, como "myfile.txt" Si esta variable no está incluida en el secuencia de comandos, solo se devolverá un archivo en el depósito y la carpeta (si se especifica). No se admite la especificación de varios archivos ni el uso de comodines.

Configuración completa de la operación

La parte del complemento de la configuración de la operación se completa después de tener (1) el secuencia de comandos que define las variables que se usarán con el complemento y (2) el complemento asignado a un objetivo en la operación.

Para completar la configuración de su operación, defina una fuente de donde provienen los datos, o agregar tanto una fuente como una transformación si desea transformar sus datos antes de llegar al depósito de S3. Si escribe un solo archivo en S3, la configuración de la operación está completa.

ejemplo 1

Si desea escribir varios archivos en S3, puede crear manualmente un secuencia de comandos adicional para recorrer los archivos en su depósito de S3. Asegúrese de no haber establecido ningún valor en el AWS.S3.OBJECT_KEY variable.

Dado que solo se devuelve un archivo con el complemento, puede ejecutar cada archivo por separado a través de la operación. Por ejemplo, utilizando una combinación de FileList, While, y RunOperation y una variable global recién definida SingleFile Este secuencia de comandos recoge cada archivo y luego ejecuta la operación con el complemento:

File Loop Script
<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para usar con el secuencia de comandos anterior, deberá hacer referencia a la nueva variable global [SingleFile] en Obtener archivos de la fuente de su tipo de archivo. Este ejemplo se puede ajustar para su uso con otras configuraciones.

ejemplo 2