Agente de Conformidade de Documentos Jitterbit (AWS)

Visão geral

A Jitterbit fornece o Agente de Conformidade de Documentos (AWS) aos clientes através do Jitterbit Marketplace. Este agente automatiza o processamento de documentos com foco em conformidade, recuperando arquivos PDF do Amazon S3, extraindo seu conteúdo de texto usando reconhecimento óptico de caracteres (OCR) e aplicando análise com IA para detectar e remover informações pessoalmente identificáveis (PII), ajudando organizações a atender requisitos de privacidade de dados sem análise manual de documentos.

O agente recupera arquivos PDF de um bucket de origem configurado, envia cada arquivo para processamento OCR assíncrono e coleta o texto extraído completo em todas as páginas. Um LLM então analisa o texto extraído em duas passagens: uma para identificar e armazenar dados de PII, e outra para produzir uma versão sanitizada com toda PII removida. Ambos os arquivos de saída são gravados em um servidor SFTP, o PDF original é arquivado em um bucket S3 separado, e notificações de email são enviadas aos destinatários configurados após cada execução de processamento.

O agente executa as seguintes tarefas:

• Recupera uma lista de arquivos PDF de um bucket de origem do Amazon S3 configurado.
• Lê cada arquivo PDF e o envia ao Amazon Textract para extração de texto OCR assíncrona.
• Coleta texto extraído em todas as páginas, manipulando documentos com várias páginas usando tokens de paginação do Textract.
• Envia texto extraído para um LLM para detectar e extrair dados de PII, e grava a saída em um arquivo em um servidor SFTP.
• Envia texto extraído para o LLM para produzir uma versão limpa com toda PII removida, e grava a saída em um arquivo em um servidor SFTP.
• Arquiva arquivos PDF processados para um bucket S3 de destino configurado.
• Envia notificações de email aos destinatários configurados após a conclusão do processamento.

Este documento explica como configurar e operar este agente de IA. Abrange arquitetura, pré-requisitos e etapas para instalar, configurar e operar o agente de IA.

Arquitetura do agente de IA

Este agente de IA conecta Amazon S3, Amazon Textract, um LLM e um servidor SFTP para extrair e sanitizar texto de documentos PDF. Uma execução de processamento típica segue estas etapas:

1. A operação Initial Controller inicializa variáveis de processamento e dispara a etapa de listagem de arquivos.
2. O agente se conecta ao bucket de origem do Amazon S3 configurado e recupera uma lista de arquivos PDF disponíveis.
3. Para cada arquivo, o agente lê o conteúdo do PDF do Amazon S3 e o envia ao Amazon Textract para processamento OCR assíncrono.
4. O agente aguarda a conclusão do trabalho do Textract, recupera o texto extraído usando o ID do trabalho e segue os tokens de paginação até que todas as páginas sejam coletadas.
5. O agente envia o texto extraído completo para o LLM com um prompt de detecção de PII. Os dados de PII identificados são gravados em um arquivo no servidor SFTP.
6. O agente envia o texto extraído para o LLM com um prompt de limpeza de dados para produzir uma versão sanitizada. O texto limpo é gravado em um arquivo no servidor SFTP.
7. O PDF original é movido para o bucket S3 de arquivo de destino.
8. Uma notificação de email é enviada aos destinatários configurados confirmando a conclusão do processamento.

Diagrama de fluxo de trabalho

O diagrama a seguir mostra o pipeline de processamento principal do Agente de Conformidade de Documentos (AWS).

Pré-requisitos

Você precisa dos seguintes componentes para usar este agente de IA.

Componentes do Harmony

É necessário ter uma licença do Jitterbit Harmony com acesso aos seguintes componentes:

• Jitterbit Studio
• Agente de Conformidade de Documentos (AWS) adquirido como um complemento de licença

Endpoints suportados

O agente de IA se conecta aos seguintes endpoints. É possível adaptar outros sistemas modificando as configurações de endpoint e fluxos de trabalho do projeto.

Modelo de linguagem grande (LLM)

O agente usa Amazon Bedrock para acessar modelos de linguagem grandes para detecção de PII e sanitização de dados. Amazon Bedrock é um serviço gerenciado que fornece acesso a modelos base de provedores incluindo Anthropic, Amazon e Meta. O projeto está configurado para usar Amazon Nova Lite por padrão. Você pode substituir outro modelo suportado pelo Bedrock atualizando o ID do modelo na configuração da atividade Bedrock. É necessário ter uma conta AWS com acesso ao Amazon Bedrock habilitado em sua região e o modelo selecionado habilitado.

Amazon S3

O agente usa Amazon S3 como fonte de PDF e destino de arquivo. É necessário ter uma conta AWS com credenciais IAM que tenham permissões AmazonS3FullAccess e dois buckets configurados: um para arquivos PDF recebidos e outro para arquivar arquivos processados.

Amazon Textract

O agente usa Amazon Textract para extração de OCR assíncrona de arquivos PDF. Suas credenciais IAM devem incluir permissões AmazonTextractFullAccess. O bucket S3 de origem deve ter uma política de recurso que permita ao Amazon Textract ler nele (consulte Configurar recursos AWS).

SFTP

O agente escreve arquivos de saída processados (dados de PII e texto limpo) em um servidor SFTP. É necessário ter um servidor SFTP acessível do Jitterbit com credenciais de conexão válidas.

Email

O agente envia notificações de processamento via SMTP por email. A configuração padrão usa Gmail (smtp.gmail.com). É necessário ter uma conta de email de remetente com acesso SMTP habilitado e, se usar Gmail, uma senha de aplicativo configurada.

Instalação, configuração e operação

Siga estas etapas para instalar, configurar e operar este agente de IA:

1. Baixar e instalar o projeto
2. Configurar recursos AWS
3. Configurar variáveis do projeto
4. Testar conexões
5. Implantar o projeto
6. Revisar fluxos de trabalho do projeto
7. Disparar os fluxos de trabalho do projeto

Para orientação sobre resolução de problemas, consulte Resolução de problemas.

Baixar e instalar o projeto

Siga estas etapas para instalar o projeto Studio para o agente de IA:

1. Faça login no portal Harmony em https://login.jitterbit.com e abra Marketplace.

2. Localize o agente de IA chamado Document Compliance Agent (AWS). Para localizá-lo, use a barra de pesquisa ou no painel Filters em Type, selecione AI Agent para limitar a exibição aos agentes de IA.

3. Clique no link Documentation do agente para abrir sua documentação em uma nova aba. Mantenha a aba aberta para consultar depois de iniciar o projeto.

4. Clique em Start Project para abrir um diálogo de configuração.

   Nota

   Se ainda não tiver adquirido o agente de IA, Get this agent é exibido. Clique nele para abrir um diálogo informativo e depois clique em Submit para que um representante entre em contato sobre a compra do agente de IA.

5. No diálogo Create a New Project, selecione um ambiente onde o projeto Studio será criado e depois clique em Create Project.

6. Após o diálogo de progresso indicar que o projeto foi criado, use o link do diálogo Go to Studio ou abra o projeto diretamente da página Projects do Studio.

Configurar recursos AWS

Antes de configurar as variáveis do projeto, configure os recursos AWS necessários.

Criar um usuário IAM e chaves de acesso

1. No AWS Management Console, abra IAM e selecione Users na barra lateral esquerda.

2. Selecione um usuário existente ou clique em Create user para criar um novo. Certifique-se de que o usuário terá permissões para Amazon S3, Amazon Textract e Amazon Bedrock.

3. Abra a aba Security credentials do usuário, role até Access keys e clique em Create access key.

4. Selecione o caso de uso apropriado, clique em Próximo e copie e armazene com segurança a ID da Chave de Acesso e a Chave de Acesso Secreto. A chave secreta é exibida apenas uma vez.

5. Na guia Permissões do usuário, clique em Adicionar permissões e anexe as seguintes políticas: AmazonBedrockFullAccess, AmazonS3FullAccess, AmazonTextractFullAccess.

Criar buckets S3

1. No Console de Gerenciamento da AWS, abra S3 e clique em Criar bucket.

2. Crie o bucket de origem onde os arquivos PDF serão colocados para processamento. Anote o nome do bucket para a variável de projeto AmazonBucket.

3. Crie um segundo bucket para servir como destino de arquivo para os arquivos processados. Anote seu nome para a variável de projeto DestinationAmazonBucket.

4. Certifique-se de que ambos os buckets estão na mesma região da AWS.

Configurar a política do bucket de origem

O Amazon Textract requer acesso de leitura ao bucket S3 de origem. Aplique a seguinte política de recurso para conceder esse acesso, substituindo <source-bucket-name> pelo nome do seu bucket:

1. No Amazon S3, selecione o bucket de origem e abra a guia Permissões.

2. Em Política do bucket, clique em Editar e cole a seguinte política:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": "textract.amazonaws.com"
               },
               "Action": [
                   "s3:GetObject",
                   "s3:ListBucket"
               ],
               "Resource": [
                   "arn:aws:s3:::<source-bucket-name>",
                   "arn:aws:s3:::<source-bucket-name>/*"
               ]
           }
       ]
   }
   

3. Clique em Salvar alterações.

Configurar variáveis de projeto

No projeto do Studio instalado a partir do Marketplace, defina valores para as seguintes variáveis de projeto.

Para configurar variáveis de projeto, use o menu de ações do projeto e selecione Variáveis de Projeto para abrir a gaveta de configuração.

Amazon Web Services

SFTP

Email

Testar conexões

Teste as configurações do endpoint para verificar a conectividade usando os valores das variáveis de projeto definidas.

Para testar conexões, acesse a guia Endpoints de projeto e conectores da paleta de componentes de design, passe o mouse sobre cada endpoint e clique em Testar.

Implantar o projeto

Implante o projeto do Studio.

Para implantar o projeto, use o menu de ações do projeto e selecione Implantar.

Revisar fluxos de trabalho do projeto

O projeto do Studio contém um fluxo de trabalho que implementa o pipeline de processamento do Document Compliance Agent (AWS).

Analisador de PDF

Controlador Inicial

A operação Controlador Inicial serve como ponto de entrada do fluxo de trabalho. Ela executa o Controller Script, que inicializa as variáveis lineTexts e gv_extractedText em um estado limpo, e então dispara a operação Listar Arquivos do Amazon S3.

Listar Arquivos do Amazon S3

A operação Listar Arquivos do Amazon S3 se conecta ao bucket S3 de origem configurado usando o adaptador Amazon S3 e recupera uma lista de nomes de arquivos PDF disponíveis. Os nomes de arquivo são armazenados em uma variável e registrados como referência antes do fluxo de trabalho prosseguir para ler cada arquivo.

Ler Arquivos do Amazon S3

A operação Ler Arquivos do Amazon S3 recupera o conteúdo binário de cada PDF do S3. O payload de resposta é transformado e armazenado em uma variável para envio ao Amazon Textract.

Extrair Dados de PDF com Textract

A operação Extrair Dados de PDF com Textract envia os dados do PDF para o Amazon Textract via HTTP para processamento de OCR assíncrono. A operação recupera uma ID de tarefa da resposta do Textract, a registra, aguarda um minuto para a tarefa ser concluída e então dispara a operação Obter Dados da ID da Tarefa.

Obter Dados da ID da Tarefa

A operação Obter Dados da ID da Tarefa envia a ID da tarefa para o Amazon Textract para recuperar resultados de OCR. A resposta é transformada para extrair texto em nível de linha, que é anexado à variável de texto extraído global. Se um token de paginação estiver presente na resposta, a operação redireciona para Obter Dados do Token Seguinte; caso contrário, prossegue para a etapa de detecção de PII.

Obter Dados do Token Seguinte

A operação Obter Dados do Token Seguinte processa resultados do Textract com múltiplas páginas usando o token de paginação para buscar os dados das páginas restantes. O texto em nível de linha de cada página é anexado à variável de texto global. A operação continua buscando páginas até que nenhum outro token seja retornado, e então redireciona para a etapa de detecção de PII.

Consultar Bedrock para Dados de PII

A operação Consultar Bedrock para Dados de PII envia o texto extraído completo para o Amazon Nova Lite via Amazon Bedrock com um prompt para detectar informações de identificação pessoal. A resposta é analisada para extrair dados de PII como JSON, que é registrado e escrito em um arquivo no servidor SFTP.

Consultar Bedrock para Dados Limpos

A operação Consultar Bedrock para Dados Limpos envia o texto extraído para o Amazon Nova Lite via Amazon Bedrock com um prompt para produzir uma versão sanitizada com todas as PII removidas. A resposta é pós-processada usando expressão regular para remover qualquer dado sensível residual, e o texto limpo é escrito em um arquivo no servidor SFTP.

Mover Arquivo para Arquivo

A operação Mover Arquivo para Arquivo move o PDF processado do bucket S3 de origem para o bucket de arquivo de destino, garantindo que o arquivo não seja reprocessado em execuções subsequentes.

Disparar os workflows do projeto

Para executar o Document Compliance Agent (AWS), implante e execute a operação Initial Controller. No Studio, passe o mouse sobre a operação e clique no ícone Deploy and Run no canto superior direito do bloco da operação.

Para automatizar o pipeline, configure agendamentos de operação na operação Initial Controller para executar na frequência desejada.

Solução de problemas

Se encontrar problemas, consulte os logs de operação para obter informações detalhadas sobre a solução de problemas.

Para assistência adicional, entre em contato com o suporte Jitterbit.