Plugin AWS S3 Create (obsoleto) para grupos de agentes Jitterbit em nuvem e privados

Introdução

O plugin AWS S3 Create faz o upload de um arquivo para o Amazon AWS S3 como um destino em uma operação.

Este plugin está disponível por padrão nos grupos de agentes em nuvem Jitterbit e também pode ser associado a grupos de agentes privados.

Esta página detalha os passos para usar o plugin AWS S3 Create:

Baixar e adicionar o plugin
Associar o plugin a um grupo de agentes
Atribuir o plugin a um destino
Definir variáveis globais para o plugin
Completar a configuração da operação

Importante

Plugins fornecidos pela Jitterbit estão obsoletos.

Criptografia

O plugin AWS S3 Create envia sua chave de acesso AWS S3 e a chave de acesso secreta fornecidas (descritas abaixo em Definir variáveis globais para o plugin) para a Amazon. A segurança é gerenciada pela Amazon, conforme descrito na documentação da Amazon sobre Credenciais de Segurança da AWS.

Versões

Estas versões do plugin AWS S3 Create estão disponíveis:

1.0.2.0: Lançado com Harmony 11.56, esta versão é compatível com todas as versões de agentes suportadas. De outra forma, possui a mesma funcionalidade que a versão 1.0.1.0.
1.0.1.0: Suporta buckets S3 que utilizam uma das seguintes opções de criptografia:
- Nenhuma: Sem criptografia
- AES-256: Criptografia do lado do servidor com Chaves Gerenciadas pela Amazon S3 (SSE-S3)
- AWS-KMS: Criptografia do lado do servidor com Chaves Gerenciadas pelo AWS KMS (SSE-KMS)
Esta versão é incompatível com algumas versões de agentes e retornará um erro na execução.
1.0.0.0: Suporta o uso de nenhuma criptografia ou AES-256. A criptografia KMS não é suportada com esta versão.

Esta versão é incompatível com algumas versões de agente e retornará um erro na execução.

Uso

O plugin AWS S3 Create pode ser utilizado sempre que você precisar fazer upload de arquivos para a AWS.

Em um caso de uso comum, este plugin pode ser usado para mover grandes quantidades de dados para um data warehouse Snowflake quando utilizado com Snowpipe. Para usar esta configuração recomendada, siga a documentação do Snowpipe da Snowflake, e então configure o plugin AWS S3 Create conforme descrito nesta página.

Nota

O uso do Snowpipe e do plugin AWS S3 Create é recomendado para aumentar o desempenho em vez de usar o driver JDBC da Snowflake, embora também seja possível instalar o driver JDBC da Snowflake e então usar a Snowflake como um alvo de banco de dados no Design Studio.

Funcionalidade adicional

Além disso, essas opções oferecem funcionalidade adicional além do plugin AWS S3 Create:

AWS S3 Get: AWS S3 get é um plugin fornecido pela Jitterbit usado para ler, renomear ou excluir um arquivo do Amazon AWS S3. Um arquivo que é lido pode então ser usado como uma fonte de dados dentro de uma operação (veja Criar uma operação no Design Studio).
AWS REST API: A AWS REST API pode ser acessada através de uma fonte HTTP ou alvo HTTP no Design Studio. Durante a configuração, pode ser necessário usar o plugin gerador HMAC-SHA256 dependendo do seu método de autenticação. Se você precisar de assistência, por favor entre em contato com o suporte.

Baixar e adicionar o plugin

O plugin AWS S3 Create é um plugin padrão do Jitterbit que já está disponível na página Plugins do Console de Gerenciamento e não precisa ser baixado ou adicionado à organização.

Associar o plugin a um grupo de agentes

O plugin AWS S3 Create é associado a grupos de agentes em nuvem do Jitterbit por padrão.

Se estiver usando um grupo de agentes privado, antes de usar o plugin, você deve associá-lo ao grupo de agentes privado para torná-lo disponível em todos os agentes do grupo.

O plugin é listado na página Plugins do Console de Gerenciamento com o nome de exibição Jitterbit AWS S3 Create.

Atribuir o plugin a um destino

Em um projeto do Design Studio, você deve atribuir o plugin a um destino dentro de uma operação (veja Criar uma operação). Uma configuração de operação de exemplo é fornecida no final desta página.

Dentro do projeto:

Criar uma operação. Qualquer operação que utilize um destino pode ser usada.
Crie um destino fictício ao qual o plugin será atribuído. Este destino é usado como um espaço reservado e não será realmente gravado. Recomendamos usar uma fonte do tipo arquivo, como Armazenamento Temporário, arquivo local ou site FTP e fornecer um valor de Nome do(s) arquivo(s) de [file].[ext]. Isso garantirá que o arquivo tenha o mesmo nome e extensão que o proveniente da fonte.

Nota

Um destino de variável global também pode ser usado se você estiver gravando um único arquivo no S3.
Atribua o plugin ao destino. Para fazer isso, clique com o botão direito no origem e selecione Plugin. Na janela pop-up, em Plugins disponíveis, selecione "Jitterbit AWS S3 Get" e clique em Atribuir. Em seguida, clique em OK.

Dica

A documentação detalhada sobre a atribuição de plugins está disponível em Aplicando plug-ins de pipeline.

Defina variáveis globais para o plugin

Para que um plugin atribuído a um destino funcione, quaisquer variáveis globais necessárias pelo plugin devem ser definidas. Essas variáveis são definidas em um script, que deve ser colocado antes do destino na operação para que as variáveis possam ser inicializadas. Scripts são frequentemente definidos antes da origem em uma operação, que também é antes do destino.

Para adicionar um script antes da origem e do destino na operação:

Clique com o botão direito na origem na operação e selecione Inserir Antes Disso > Script.
Crie um novo Script Jitterbit que define variáveis usadas pelo plugin para autenticar com seu bucket S3 e fazer upload de quaisquer arquivos que você especificar. Um modelo de script para variáveis necessárias é fornecido abaixo, seguido pela documentação sobre todas as variáveis possíveis que podem ser incluídas no script.
Script de Criação AWS S3
```
<trans>
$AWS.S3.BUCKET_NAME="<YOUR_BUCKET_NAME>";
$AWS.S3.ACCESS_KEY_ID="<YOUR_ACCESS_KEY>";
$AWS.S3.SECRET_ACCESS_KEY="<YOUR_SECRET_KEY>";
</trans>
```

Nome	Tipo	Necessário	Descrição
`AWS.S3.ENDPOINT`	String	Opcional	A URL do endpoint Amazon AWS S3. O padrão é `"s3.amazonaws.com"` se não definido. Nomes de endpoint válidos por região são fornecidos na documentação da Amazon Regiões e Endpoints da AWS.
`AWS.S3.BUCKET_NAME`	String	Necessário	O nome do bucket de destino S3 (por exemplo, `"meu_bucket"`).
`AWS.S3.ACCESS_KEY_ID`	String	Necessário	A chave de acesso S3 (por exemplo, `"ABCDEFGHI1JK2LM3NOPQ"`).
`AWS.S3.SECRET_ACCESS_KEY`	String	Necessário	A chave de acesso secreta S3 (por exemplo, `"1aBCd2e/F34gH56IJ7Kl/Mno8pqRsTUvw9x0yzzz"`).
`AWS.S3.REGION`	String	Opcional	A região S3. O padrão é `"DEFAULT_REGION"` se não definido (não recomendado). Nomes atuais de regiões são fornecidos na documentação da Amazon Regiões e Endpoints da AWS.
`AWS.S3.OBJECT_KEY`	String	Opcional	A chave do objeto S3 a ser escrita. Este é o nome do arquivo específico que você está fazendo upload, como `"meuarquivo.txt"`. Para escrever em uma pasta existente dentro do bucket, adicione o nome da pasta após uma barra (por exemplo, `"minha_pasta/meuarquivo.txt"`). A pasta deve já existir. Se essa variável não for incluída no script, apenas um arquivo no bucket e na pasta (se especificada) será retornado. Especificar vários arquivos ou usar curingas não é suportado.

Configuração completa da operação

A parte do plugin da configuração da operação está completa após você ter (1) o script definindo as variáveis a serem usadas com o plugin e (2) o plugin atribuído a um alvo na operação.

Para completar a configuração da sua operação, defina uma fonte de onde os dados estão vindo, ou adicione tanto uma fonte quanto uma transformação se você quiser transformar seus dados antes de chegar ao bucket S3. Se estiver escrevendo um único arquivo para o S3, a configuração da operação está completa.

exemplo 1

Se você quiser escrever vários arquivos para o S3, pode criar manualmente um script adicional para percorrer os arquivos no seu bucket S3. Certifique-se de que você não definiu nenhum valor na variável AWS.S3.OBJECT_KEY.

Como apenas um arquivo é retornado com o plugin, você pode executar cada arquivo separadamente através da operação. Por exemplo, usando uma combinação de FileList, While e RunOperation e uma nova variável global definida SingleFile, este script pega cada arquivo e, em seguida, executa a operação com o plugin:

Script de Loop de Arquivo

<trans>
Files = FileList("<TAG>Sources/All Files</TAG>");
i = 0;
while(i< length(Files),
$SingleFile = Files[i];
RunOperation("<TAG>Operations/Read from source and write to S3</TAG>");

i++;
)

</trans>

Para uso com o script acima, você vai querer referenciar a nova variável global [SingleFile] no Obter Arquivos da sua fonte do tipo arquivo. Este exemplo pode ser ajustado para uso com outras configurações.

exemplo 2