Plugin AWS S3 Create (obsoleto) para grupos de agentes Jitterbit em nuvem e privados

Introdução

O plugin AWS S3 Create faz o upload de um arquivo para o Amazon AWS S3 como um destino em uma operação.

Este plugin está disponível por padrão nos grupos de agentes em nuvem Jitterbit e também pode ser associado a grupos de agentes privados.

Esta página detalha os passos para usar o plugin AWS S3 Create:

Baixar e adicionar o plugin
Associar o plugin a um grupo de agentes
Atribuir o plugin a um destino
Definir variáveis globais para o plugin
Completar a configuração da operação

Importante

Plugins fornecidos pela Jitterbit estão obsoletos.

Criptografia

O plugin AWS S3 Create envia sua chave de acesso AWS S3 e chave de acesso secreta fornecidas (descritas abaixo em Definir variáveis globais para o plugin) para a Amazon. A segurança é gerenciada pela Amazon, conforme descrito na documentação da Amazon sobre Credenciais de Segurança da AWS.

A versão 1.0.1.0 do plugin AWS S3 Create da Jitterbit suporta buckets S3 que utilizam uma das seguintes opções de criptografia:

Nenhuma: Sem criptografia
AES-256: Criptografia do Lado do Servidor com Chaves Gerenciadas pela Amazon S3 (SSE-S3)
AWS-KMS: Criptografia do Lado do Servidor com Chaves Gerenciadas pelo AWS KMS (SSE-KMS)

A versão 1.0.0.0 do plugin AWS S3 Create da Jitterbit suporta o uso de nenhuma criptografia ou AES-256. A criptografia KMS não é suportada nesta versão.

Uso

O plugin AWS S3 Create pode ser utilizado sempre que for necessário fazer upload de arquivos para a AWS.

Em um caso de uso comum, este plugin pode ser utilizado para mover grandes quantidades de dados para um data warehouse Snowflake quando usado com Snowpipe. Para usar esta configuração recomendada, siga a documentação do Snowpipe da Snowflake, e então configure o plugin AWS S3 Create conforme descrito nesta página.

Nota

Usar o Snowpipe e o plugin AWS S3 Create é recomendado para aumentar o desempenho em vez de usar o driver JDBC do Snowflake, embora também seja possível instalar o driver JDBC do Snowflake e, em seguida, usar o Snowflake como um alvo de banco de dados no Design Studio.

Additional functionality

Além disso, essas opções oferecem funcionalidades adicionais além do plugin AWS S3 Create:

AWS S3 Get: AWS S3 get é um plugin fornecido pela Jitterbit usado para ler, renomear ou excluir um arquivo do Amazon AWS S3. Um arquivo que é lido pode então ser usado como uma fonte de dados dentro de uma operação (veja Criar uma operação no Design Studio).
AWS REST API: A AWS REST API pode ser acessada através de uma fonte HTTP ou alvo HTTP no Design Studio. Durante a configuração, pode ser necessário usar o plugin gerador HMAC-SHA256 dependendo do seu método de autenticação. Se precisar de assistência, entre em contato com o suporte.

Baixe e adicione o plugin

O plugin AWS S3 Create é um plugin padrão da Jitterbit que já está disponível na página Plugins do Console de Gerenciamento e não precisa ser baixado ou adicionado à organização.

Se solicitado pelo suporte, este plugin pode ser baixado nos links fornecidos abaixo e adicionado à organização.

Jitterbit AWS S3 Create 1.0.1.0 (ZIP)
(Criptografia: AES-256, KMS ou Nenhuma)
Jitterbit AWS S3 Create 1.0.0.0 (ZIP)
(Criptografia: AES-256 ou Nenhuma)

Associar o plugin a um grupo de agentes

Ambas as versões do plugin AWS S3 Create estão associadas aos grupos de agentes em nuvem Jitterbit por padrão. Recomendamos o uso da versão 1.0.1.0.

Se estiver usando um grupo de agentes privado, antes de usar o plugin, você deve associá-lo ao grupo de agentes privado para torná-lo disponível em todos os agentes do grupo.

Os plugins estão listados na página Plugins do Console de Gerenciamento com os seguintes nomes de exibição:

Jitterbit_AWS_S3_Create (versão 1.0.1.0)
Jitterbit AWS S3 Create (versão 1.0.0.0)

Atribuir o plugin a um destino

Em um projeto do Design Studio, você deve atribuir o plugin a um destino dentro de uma operação (veja Criar uma operação. Uma configuração de operação de exemplo é fornecida no final desta página.

Dentro do projeto:

Criar uma operação. Qualquer operação que utilize um destino pode ser usada.
Crie um destino fictício ao qual o plugin será atribuído. Este destino é usado como um espaço reservado e não será realmente gravado. Recomendamos o uso de uma fonte do tipo arquivo, como Armazenamento Temporário, arquivo local ou site FTP e fornecendo um valor de Nome do(s) arquivo(s) de [file].[ext]. Isso garantirá que o arquivo tenha o mesmo nome e extensão que o que vem da fonte.

Nota

Um destino de variável global também pode ser usado se você estiver gravando um único arquivo no S3.
Atribua o plugin ao destino. Para fazer isso, clique com o botão direito no origem e selecione Plugin. Na janela pop-up, em Plugins disponíveis, selecione "Jitterbit AWS S3 Get" e clique em Atribuir. Em seguida, clique em OK.

Dica

A documentação detalhada sobre a atribuição de plugins está disponível em Aplicando plug-ins de pipeline.

Defina variáveis globais para o plugin

Para que um plugin atribuído a um destino funcione, quaisquer variáveis globais necessárias pelo plugin devem ser definidas. Essas variáveis são definidas em um script, que deve ser colocado antes do destino na operação para que as variáveis possam ser inicializadas. Scripts são frequentemente definidos antes da origem em uma operação, que também é antes do destino.

Para adicionar um script antes da origem e do destino na operação:

Clique com o botão direito na origem na operação e selecione Inserir Antes Disso > Script.
Crie um novo Script Jitterbit que define variáveis usadas pelo plugin para autenticar com seu bucket S3 e fazer upload de quaisquer arquivos que você especificar. Um modelo de script para variáveis necessárias é fornecido abaixo, seguido pela documentação sobre todas as variáveis possíveis que podem ser incluídas no script.
Script de Criação AWS S3
```
<trans>
$AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
$AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
$AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
</trans>
```

Nome	Tipo	Necessário	Descrição
`AWS.S3.ENDPOINT`	String	Opcional	A URL do endpoint Amazon AWS S3. O padrão é `"s3.amazonaws.com"` se não estiver definido. Nomes de endpoint válidos por região são fornecidos na documentação da Amazon Regiões e Endpoints da AWS.
`AWS.S3.BUCKET_NAME`	String	Necessário	O nome do bucket de destino S3 (por exemplo, `"meu_bucket"`).
`AWS.S3.ACCESS_KEY_ID`	String	Necessário	A chave de acesso S3 (por exemplo, `"ABCDEFGHI1JK2LM3NOPQ"`).
`AWS.S3.SECRET_ACCESS_KEY`	String	Necessário	A chave de acesso secreta S3 (por exemplo, `"1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz"`).
`AWS.S3.REGION`	String	Opcional	A região S3. O padrão é `"DEFAULT_REGION"` se não estiver definido (não recomendado). Nomes atuais de regiões são fornecidos na documentação da Amazon Regiões e Endpoints da AWS.
`AWS.S3.OBJECT_KEY`	String	Opcional	A chave do objeto S3 a ser escrita. Este é o nome do arquivo específico que você está fazendo upload, como `"meuarquivo.txt"`. Para escrever em uma pasta existente dentro do bucket, adicione o nome da pasta após uma barra (por exemplo, `"minha_pasta/meuarquivo.txt"`). A pasta deve já existir. Se essa variável não estiver incluída no script, apenas um arquivo no bucket e na pasta (se especificada) será retornado. Especificar vários arquivos ou usar curingas não é suportado.

Configuração completa da operação

A parte do plugin da configuração da operação está completa após você ter (1) o script definindo as variáveis a serem usadas com o plugin e (2) o plugin atribuído a um alvo na operação.

Para completar a configuração da sua operação, defina uma fonte de onde os dados estão vindo, ou adicione tanto uma fonte quanto uma transformação se você quiser transformar seus dados antes de chegar ao bucket S3. Se estiver escrevendo um único arquivo para o S3, a configuração da operação está completa.

exemplo 1

Se você quiser escrever vários arquivos para o S3, pode criar manualmente um script adicional para percorrer os arquivos no seu bucket S3. Certifique-se de que você não definiu nenhum valor na variável AWS.S3.OBJECT_KEY.

Como apenas um arquivo é retornado com o plugin, você pode executar cada arquivo separadamente através da operação. Por exemplo, usando uma combinação de FileList, While e RunOperation e uma nova variável global definida SingleFile, este script pega cada arquivo e, em seguida, executa a operação com o plugin:

Script de Loop de Arquivo

<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para uso com o script acima, você vai querer referenciar a nova variável global [SingleFile] no Obter Arquivos da sua fonte do tipo arquivo. Este exemplo pode ser ajustado para uso com outras configurações.

exemplo 2