Ir para o conteúdo

AWS S3 Create plugin (obsoleto) para Jitterbit cloud e grupos de agentes privados

Introdução

O plugin AWS S3 Create carrega um arquivo no Amazon AWS S3 como um destino em uma operação.

Este plugin está disponível por padrão em grupos de agentes de nuvem Jitterbit e também pode ser associado a grupos de agentes privados.

Esta página detalha as etapas para usar o plugin AWS S3 Create:

  1. Baixe e adicione o plugin
  2. Associe o plugin a um grupo de agentes
  3. Atribuir o plugin a um alvo
  4. Defina variáveis globais para o plugin
  5. Configuração completa da operação

Importante

Os plugins fornecidos pelo Jitterbit estão obsoletos.

Criptografia

O plugin AWS S3 Create passa o ID da chave de acesso AWS S3 fornecido e a chave de acesso secreta (descrita abaixo em Definir variáveis globais para o plugin) para a Amazon. A segurança é tratada pela Amazon conforme descrito na documentação da Amazon sobre Credenciais de segurança da AWS.

A versão 1.0.1.0 do plugin Jitterbit AWS S3 Create oferece suporte a buckets S3 que usam uma destas opções de criptografia:

  • Nenhum: Sem criptografia
  • AES-256: Criptografia do lado do servidor com chaves gerenciadas Amazon S3(SSE-S3)
  • AWS-KMS: Criptografia do lado do servidor com chaves gerenciadas pelo AWS KMS (SSE-KMS)

A versão 1.0.0.0 do plugin Jitterbit AWS S3 Create oferece suporte ao uso de nenhuma criptografia ou AES-256. A criptografia KMS não é suportada com esta versão.

Uso

O plugin AWS S3 Create pode ser usado sempre que você precisar fazer upload de arquivos para a AWS.

Em um caso de uso comum, este plugin pode ser usado para mover grandes quantidades de dados para um data warehouse Snowflake quando usado com Snowpipe. Para usar esta configuração recomendada, siga a documentação do Snowpipe do Snowflake, então configure o plugin AWS S3 Create conforme descrito nesta página.

Nota

É recomendado usar o Snowpipe e o plugin AWS S3 Create para aumentar o desempenho em vez de usar o driver JDBC do Snowflake, embora também seja possível instalar o driver JDBC do Snowflake e então usar o Snowflake como um alvo de banco de dados no Design Studio.

Funcionalidade adicional

Além disso, essas opções oferecem funcionalidade adicional além do plugin AWS S3 Create:

Baixe e adicione o plugin

O plugin AWS S3 Create é um plugin Jitterbit padrão que já está disponível no Management Console Plugins e não precisa ser baixado ou adicionado à organização.

Se orientado pelo suporte, este plugin pode ser baixado nos links fornecidos abaixo e adicionado à organização.

Associe o plugin a um grupo de agentes

Ambas as versões do plugin AWS S3 Create são associadas a grupos de agentes de nuvem Jitterbit por padrão. Recomendamos usar a versão 1.0.1.0.

Se estiver usando um grupo de agentes privados, antes de poder usar o plugin, você deve associá-lo ao grupo de agentes privados para tornar o plugin disponível para todos os agentes do grupo.

Os plugins estão listados no Management Console Plugins página com estes nomes de exibição:

  • Jitterbit_AWS_S3_Create (versão 1.0.1.0)

  • Jitterbit AWS S3 Create (versão 1.0.0.0)

Atribuir o plugin a um alvo

Em um projeto do Design Studio, você deve atribuir o plugin a um alvo dentro de uma operação (consulte Criar uma operação. Um exemplo de configuração de operação é fornecido no final desta página.

Dentro do projeto:

  1. Criar uma operação. Qualquer operação que utilize um alvo pode ser usada.

  2. Crie um alvo fictício ao qual o plugin será atribuído. Este alvo é usado como um espaço reservado e não será realmente gravado. Recomendamos usar uma fonte de tipo de arquivo como Armazenamento Temporário, arquivo local, ou site FTP e fornecendo um valor Nome(s) de arquivo(s) de [file].[ext]. Isso garantirá que o arquivo tenha o mesmo nome e extensão que o que vem da fonte.

    Nota

    Um alvo de variável global também pode ser usado se você estiver gravando um único arquivo no S3.

  3. Atribua o plugin ao destino. Para fazer isso, clique com o botão direito do mouse na fonte e selecione Plugin. No pop-up, em Plugins disponíveis, selecione "Jitterbit AWS S3 Get" e clique em Atribuir. Em seguida, clique em OK.

Dica

A documentação detalhada sobre a atribuição de plug-ins está disponível em Aplicando plug-ins de pipeline.

Definir variáveis globais para o plugin

Para que um plugin atribuído a um alvo seja funcional, quaisquer variáveis globais requerido pelo plugin deve ser definido. Essas variáveis são definidas em um script, que deve ser colocado antes do alvo na operação para que as variáveis possam ser inicializadas. Os Scripts são frequentemente definidos antes da fonte em uma operação, que também é antes do alvo.

Para adicionar um script antes da origem e do destino na operação:

  1. Clique com o botão direito do mouse na fonte na operação e selecione Inserir antes disto > Script.

  2. Crie um novo Jitterbit Script que define variáveis usadas pelo plugin para autenticar com seu bucket S3 e carregar quaisquer arquivos que você especificar. Um modelo de script para variáveis necessárias é fornecido abaixo, seguido por documentação sobre todas as variáveis possíveis que podem ser incluídas no script.

    AWS S3 Create Script
    <trans>
$AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
$AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
$AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
</trans>
Nome Tipo Obrigatório Descrição
AWS.S3.ENDPOINT String Opcional A URL do endpoint Amazon AWS S3. O padrão é "s3.amazonaws.com" se não estiver definido. Nomes de endpoint válidos por região são fornecidos na documentação da Amazon Regiões e Endpoints da AWS.
AWS.S3.BUCKET_NAME String Obrigatório O nome do bucket de destino do S3 (por exemplo, "my_bucket").
AWS.S3.ACCESS_KEY_ID String Obrigatório A chave de acesso S3 (por exemplo "ABCDEFGHI1JK2LM3NOPQ").
AWS.S3.SECRET_ACCESS_KEY String Obrigatório A chave de acesso secreta do S3 (por exemplo, "1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz").
AWS.S3.REGION String Opcional A região S3. O padrão é "DEFAULT_REGION" se não for definido (não recomendado). Os nomes de regiões atuais são fornecidos na documentação da Amazon Regiões e Endpoints da AWS.
AWS.S3.OBJECT_KEY String Opcional A chave do objeto S3 a ser escrita. Este é o nome do arquivo específico que você está carregando, como "myfile.txt". Para gravar em uma pasta existente dentro do bucket, adicione o nome da pasta após uma barra (por exemplo, "my_folder/myfile.txt"). A pasta já deve existir. Se essa variável não estiver incluída no script, apenas um arquivo no bucket e na pasta (se especificado) será retornado. Não há suporte para especificar vários arquivos ou usar curingas.

Configuração completa da operação

A parte do plugin da configuração da operação é concluída depois que você tem (1) o script definindo as variáveis a serem usadas com o plugin e (2) o plugin atribuído a um alvo na operação.

Para concluir a configuração da sua operação, defina uma fonte de onde os dados estão vindo, ou adicione uma fonte e uma transformação se você quiser transformar seus dados antes de chegar ao bucket S3. Se estiver gravando um único arquivo no S3, a configuração da operação estará completa.

exemplo 1

Se você quiser gravar vários arquivos no S3, você pode criar manualmente um script adicional para fazer um loop pelos arquivos no seu bucket do S3. Certifique-se de que você não tenha definido nenhum valor no AWS.S3.OBJECT_KEY variável.

Como apenas um arquivo é retornado com o plugin, você pode executar cada arquivo separadamente por meio da operação. Por exemplo, usando uma combinação do FileList, While, e RunOperation e uma variável global recém-definida SingleFile, este script pega cada arquivo e então executa a operação com o plugin:

File Loop Script
<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para usar com o script acima, você vai querer referenciar a nova variável global [SingleFile] no Get Files da sua fonte de tipo de arquivo. Este exemplo pode ser ajustado para uso com outras configurações.

exemplo 2