Atividade Listar Objetos do Amazon S3
Introdução
Uma atividade Listar Objetos do Amazon S3, utilizando sua conexão Amazon S3, retorna alguns ou todos (até 100.000) os objetos em um bucket do Amazon S3 e é destinada a ser usada como um alvo para consumir dados em uma operação.
Pré-requisitos
A atividade Listar Objetos requer as seguintes permissões do Amazon S3:
Permissão necessária | Funcionalidade |
---|---|
s3:ListAllMyBuckets | Testar a conexão e recuperar metadados da atividade durante a configuração da atividade |
s3:GetObject , s3:GetObjectTagging e s3:ListBucket | Execução da atividade Listar Objetos |
Criar uma atividade Listar Objetos do Amazon S3
Uma instância de uma atividade Listar Objetos do Amazon S3 é criada a partir de uma conexão Amazon S3 usando seu tipo de atividade Listar Objetos.
Para criar uma instância de uma atividade, arraste o tipo de atividade para a tela de design ou copie o tipo de atividade e cole-o na tela de design. Para detalhes, veja Criar uma instância de atividade ou ferramenta em Reutilização de componentes.
Uma atividade Listar Objetos do Amazon S3 existente pode ser editada a partir destes locais:
- A tela de design (veja Menu de ações do componente em Tela de design).
- A aba Componentes do painel do projeto (veja Menu de ações do componente em Aba Componentes do painel do projeto).
Configurar uma atividade de Listar Objetos do Amazon S3
Siga estas etapas para configurar uma atividade de Listar Objetos do Amazon S3:
-
Etapa 1: Insira um nome e selecione um bucket
Forneça um nome para a atividade e selecione um bucket a ser utilizado. -
Etapa 2: Revise os esquemas de dados
Quaisquer esquemas de solicitação ou resposta gerados a partir do endpoint são exibidos.
Etapa 1: Insira um nome e selecione um bucket
Nesta etapa, forneça um nome para a atividade e selecione um bucket a ser utilizado.
A interface utilizada nesta etapa da configuração de uma atividade de Listar Objetos do Amazon S3 depende das Opções de Bucket selecionadas:
-
Usar listas: Esta opção irá preencher uma lista de buckets existentes para escolher.
-
Usar entradas de texto: Para esta opção, você irá inserir manualmente o nome do bucket do Amazon S3.
Usar listas
Se Usar Listas for selecionado para Opções de Bucket, esta interface é apresentada:
-
Nome: Insira um nome para identificar a atividade. O nome deve ser único para cada atividade de Listar Objetos do Amazon S3 e não deve conter barras (
/
) ou dois-pontos (:
). -
Selecionar um Bucket: Da lista preenchida, selecione o bucket que contém os objetos.
-
Configurações Opcionais: Clique para expandir configurações opcionais adicionais:
-
Prefixo do Objeto: Insira um prefixo para limitar a resposta a chaves que começam com o prefixo especificado.
- Excluir Correspondência Exata do Prefixo dos Resultados: Selecione para excluir correspondências exatas para o prefixo especificado em Prefixo do Objeto.
-
Delimitador: Insira um caractere para usar como delimitador (máximo de 1 caractere).
-
Máx. Chaves: Insira o número máximo de chaves a serem retornadas na resposta. Por padrão, a atividade retorna até 1.000 nomes de chaves. O máximo é 100.000 chaves.
-
Começar Após: Insira uma chave para retornar uma resposta que comece após a chave especificada. O valor máximo é 1.024 caracteres.
-
Região AWS (Substitui a Região do Bucket): Selecione uma Região do Amazon S3.
Usar entradas de texto
Se Usar Entradas de Texto estiver selecionado para Opções do Bucket, esta interface é apresentada:
-
Nome: Insira um nome para identificar a atividade. O nome deve ser exclusivo para cada atividade Listar Objetos do Amazon S3 e não deve conter barras (
/
) ou dois pontos (:
). -
Nome do Bucket: Insira o nome do bucket Amazon S3 que contém os objetos.
-
Configurações Opcionais: Clique para expandir configurações opcionais adicionais:
-
Prefixo do Objeto: Insira um prefixo para limitar a resposta a chaves que começam com o prefixo especificado.
- Excluir Correspondência Exata do Prefixo dos Resultados: Selecione para excluir correspondências exatas para o prefixo especificado em Prefixo do Objeto.
-
Delimitador: Insira um caractere para usar como delimitador (máximo de 1 caractere).
-
Máx. Chaves: Insira o número máximo de chaves a serem retornadas na resposta. Por padrão, a atividade retorna 1.000 chaves. O máximo é 100.000 chaves.
-
Começar Após: Insira uma chave para retornar uma resposta que comece após a chave especificada. O valor máximo é 1.024 caracteres.
-
-
Região AWS (Substitui a Região do Bucket): Selecione uma Região do Amazon S3.
-
Salvar e Sair: Se ativado, clique para salvar a configuração para esta etapa e fechar a configuração da atividade.
-
Próximo: Clique para armazenar temporariamente a configuração para esta etapa e continuar para a próxima etapa. A configuração não será salva até que você clique no botão Concluído na última etapa.
-
Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede que você confirme que deseja descartar as alterações.
Etapa 2: Revisar os esquemas de dados
Quaisquer esquemas de solicitação ou resposta gerados a partir do endpoint são exibidos. Cada elemento da interface do usuário desta etapa é descrito abaixo.
-
Esquemas de Dados: Os esquemas de solicitação e resposta para esta atividade são exibidos. Esses esquemas de dados são herdados por transformações adjacentes e são exibidos novamente durante o mapeamento de transformação.
O conector Amazon S3 utiliza a AWS SDK for Java versão 2.29.34. Consulte a documentação da API para obter informações sobre os nós e campos do esquema.
Os esquemas de dados de solicitação e resposta consistem nos seguintes nós e campos:
Campo do Esquema de Resposta Descrição keyCount O número de chaves retornadas List A lista de chaves, resultados retornados em ordem binária UTF-8 key String com a chave do upload multipart iniciado size Tamanho ETag A tag da entidade que identifica o novo objeto usando o método getETag lastModified Valor de data e hora do cabeçalho Last-Modified, indicando a data e hora em que o Amazon S3 registrou pela última vez uma modificação no objeto associado, usando o método getLastModified error Contêiner para todos os elementos de erro errorCode Uma string que identifica de forma única uma condição de erro message Uma descrição genérica da condição de erro -
Atualizar: Clique no ícone de atualizar ou na palavra Atualizar para regenerar esquemas do endpoint Amazon S3. Esta ação também regenera um esquema em outros locais do projeto onde o mesmo esquema é referenciado, como em uma transformação adjacente.
-
Voltar: Clique para armazenar temporariamente a configuração para esta etapa e retornar à etapa anterior.
-
Concluído: Clique para salvar a configuração de todas as etapas e fechar a configuração da atividade.
-
Descartar Alterações: Após fazer alterações, clique para fechar a configuração sem salvar as alterações feitas em qualquer etapa. Uma mensagem pede para confirmar que você deseja descartar as alterações.
Próximas etapas
Após configurar uma atividade Listar Objetos do Amazon S3, complete a configuração da operação adicionando e configurando outras atividades ou ferramentas como etapas da operação. Você também pode configurar as configurações da operação, que incluem a capacidade de encadear operações que estão no mesmo ou em diferentes fluxos de trabalho.
As ações do menu para uma atividade estão acessíveis a partir do painel do projeto e da tela de design. Para detalhes, veja o menu de ações da atividade em Conceitos básicos do conector.
As atividades Listar Objetos do Amazon S3 podem ser usadas como um alvo com esses padrões de operação:
- Padrão de transformação
- Padrão de arquivo com dois alvos (como a primeira fonte apenas)
- Padrão de arquivo HTTP com dois alvos (como a primeira fonte apenas)
Para usar a atividade com funções de script, escreva os dados em um local temporário e, em seguida, use esse local temporário na função de script.
Quando estiver pronto, implante e execute a operação e valide o comportamento verificando os logs da operação.