Ir para o conteúdo

Agente de Conformidade de Documentos do Jitterbit (Azure)

Visão geral

O Jitterbit fornece o Agente de Conformidade de Documentos (Azure) aos clientes através do Jitterbit Marketplace. Este agente automatiza o processamento de documentos focado em conformidade, recuperando arquivos PDF do Azure Blob Storage, extraindo seu conteúdo de texto usando reconhecimento óptico de caracteres (OCR) e aplicando análise com IA para detectar e remover informações de identificação pessoal (PII), ajudando as organizações a atender aos requisitos de privacidade de dados sem análise manual de documentos.

O agente recupera arquivos PDF de um contêiner de origem configurado, submete cada arquivo a um serviço de OCR para análise e coleta o texto extraído completo. Um LLM então analisa o texto extraído em duas passagens: uma para identificar e armazenar dados de PII, e outra para produzir uma versão sanitizada com toda a PII removida. Ambos os arquivos de saída são gravados em um servidor SFTP, o PDF original é arquivado em um contêiner de arquivo separado do Azure Blob Storage e deletado do contêiner de origem, e notificações por e-mail são enviadas aos destinatários configurados quando erros de processamento ocorrem.

O agente executa as seguintes tarefas:

  • Recupera uma lista de arquivos PDF de um Azure Blob Storage configurado no contêiner de origem.
  • Submete cada PDF ao Azure Document Intelligence para extração de texto por OCR e coleta o texto extraído.
  • Envia o texto extraído a um LLM para detectar e extrair dados de PII, e grava a saída em um arquivo em um servidor SFTP.
  • Envia o texto extraído ao LLM para produzir uma versão limpa com toda a PII removida, e grava a saída em um arquivo em um servidor SFTP.
  • Arquiva arquivos PDF processados em um contêiner de arquivo do Azure Blob Storage de destino configurado e remove os originais do contêiner de origem.
  • Envia notificações por e-mail aos destinatários configurados quando erros de processamento ocorrem.

Este documento explica como configurar e operar este agente de IA. Ele cobre arquitetura, pré-requisitos e etapas para instalar, configurar e operar o agente de IA.

Arquitetura do agente de IA

Este agente de IA conecta o Azure Blob Storage, Azure Document Intelligence, um LLM e um servidor SFTP para extrair e sanitizar texto de documentos PDF. Uma execução típica de processamento segue estas etapas:

  1. A operação Initial Controller inicializa as variáveis de processamento e dispara a etapa de listagem de blobs.
  2. O agente se conecta ao contêiner de origem do Azure Blob Storage configurado e recupera uma lista de arquivos PDF disponíveis.
  3. Para cada arquivo, o agente constrói a URL de origem do Document Intelligence e submete o PDF ao Azure Document Intelligence para processamento de OCR.
  4. O agente recupera o resultado da análise de OCR concluída e coleta o texto extraído completo.
  5. O agente envia o texto extraído ao LLM com um prompt de detecção de PII. Os dados de PII identificados são gravados em um arquivo no servidor SFTP.
  6. O agente envia o texto extraído ao LLM com um prompt de limpeza de dados para produzir uma versão sanitizada. O texto limpo é gravado em um arquivo no servidor SFTP.
  7. O PDF original é movido para o contêiner de arquivo do Azure Blob Storage e deletado do contêiner de origem.
  8. Notificações por e-mail são enviadas aos destinatários configurados se algum erro ocorrer durante o processamento.

Diagrama do fluxo de trabalho

O diagrama a seguir mostra o pipeline de processamento principal para o Agente de Conformidade de Documentos (Azure).

--- config: themeVariables: lineColor: '#6b7280' edgeLabelBackground: '#f5f5f5' flowchart: padding: 20 nodeSpacing: 80 --- flowchart LR classDef default fill:white, stroke:black, stroke-width:3px, rx:15px, ry:15px JSP@{ shape: hex, label: "
Document Compliance
Agent (Azure)" } BLOBSRC[Azure Blob Storage
Source Container] ADI[Azure Document
Intelligence] LLM[fas:fa-brain
LLM] SFTP[fas:fa-server
SFTP Server] BLOBARC[Azure Blob Storage
Archive Container] EMAIL[fas:fa-envelope
Email] JSP <-->|1. List and get PDFs| BLOBSRC JSP <-->|2. OCR request / extracted text| ADI JSP <-->|3. PII detection prompt / PII data| LLM JSP <-->|4. Clean data prompt / cleaned text| LLM JSP -->|5. Write output files| SFTP JSP -->|6. Archive and delete PDF| BLOBARC JSP -->|7. Error notification| EMAIL

Pré-requisitos

Você precisa dos seguintes componentes para usar este agente de IA.

Componentes do Harmony

Você deve ter uma licença do Jitterbit Harmony com acesso aos seguintes componentes:

  • Jitterbit Studio
  • Agente de Conformidade de Documentos (Azure) adquirido como complemento de licença

Endpoints com suporte

O agente de IA se conecta aos seguintes endpoints. Você pode acomodar outros sistemas modificando as configurações de endpoint e fluxos de trabalho do projeto.

Modelo de linguagem grande (LLM)

O agente usa Azure AI Foundry para acessar modelos de linguagem grande para detecção de PII e sanitização de dados. Azure AI Foundry é uma plataforma gerenciada que fornece acesso a modelos de provedores incluindo OpenAI, Microsoft e Meta. É necessário ter uma assinatura do Azure com um hub e projeto do Azure AI Foundry configurados, além de um modelo implantado e acessível via API do Foundry.

Azure Blob Storage

O agente usa Azure Blob Storage como fonte de PDF e destino do arquivo. É necessário ter uma assinatura do Azure com dois containers configurados: um para arquivos PDF recebidos e outro para arquivar arquivos processados. Ambos os containers exigem tokens de assinatura de acesso compartilhado (SAS) com permissões de leitura, escrita e listagem.

Azure Document Intelligence

O agente usa Azure Document Intelligence para extração de OCR de arquivos PDF. É necessário ter um recurso do Azure Document Intelligence com uma URL de endpoint válida e chave de API.

SFTP

O agente escreve arquivos de saída processados (dados de PII e texto limpo) em um servidor SFTP. É necessário ter um servidor SFTP acessível a partir do Jitterbit com credenciais de conexão válidas.

Email

O agente envia notificações de erro via email SMTP. A configuração padrão usa Gmail (smtp.gmail.com). É necessário ter uma conta de email do remetente com acesso SMTP habilitado e, se estiver usando Gmail, uma senha de aplicativo configurada.

Instalação, configuração e operação

Siga estas etapas para instalar, configurar e operar este agente de IA:

  1. Baixar e instalar o projeto
  2. Configurar recursos do Azure
  3. Configurar variáveis do projeto
  4. Testar conexões
  5. Implantar o projeto
  6. Revisar fluxos de trabalho do projeto
  7. Disparar os fluxos de trabalho do projeto

Para orientação sobre resolução de problemas, consulte Resolução de problemas.

Baixar e instalar o projeto

Siga estas etapas para instalar o projeto do Studio para o agente de IA:

  1. Faça login no portal Harmony em https://login.jitterbit.com e abra Marketplace.

  2. Localize o agente de IA chamado Jitterbit Document Compliance Agent (Azure). Para localizar o agente, use a barra de pesquisa ou, no painel Filters, em Type, selecione AI Agent para limitar a exibição apenas aos agentes de IA.

  3. Clique no link Documentation do agente para abrir sua documentação em uma aba separada. Mantenha a aba aberta para consultá-la depois de iniciar o projeto.

  4. Clique em Start Project para abrir um diálogo de configuração.

    Nota

    Se ainda não tiver adquirido o agente de IA, Get agent será exibido em seu lugar. Clique nele para abrir um diálogo informativo e, em seguida, clique em Submit para que um representante entre em contato com você sobre a compra do agente de IA.

    Dica

    O diálogo de configuração inclui um aviso para não importar o modelo antes de aplicar personalizações de endpoint. Esse aviso não se aplica a este agente de IA e pode ser ignorado. Siga a ordem recomendada de etapas nesta documentação.

  5. No diálogo Create a New Project, selecione um ambiente onde o projeto do Studio será criado e clique em Create Project.

  6. Após o diálogo de progresso indicar que o projeto foi criado, use o link do diálogo Go to Studio ou abra o projeto diretamente na página Projects do Studio.

Configurar recursos do Azure

Antes de configurar variáveis do projeto, configure os recursos do Azure necessários.

Criar containers do Azure Blob Storage

  1. Faça login no portal do Azure e procure por Storage accounts na barra de pesquisa no topo.

  2. Clique em + Create, preencha a assinatura, o grupo de recursos e o nome da conta de armazenamento, defina Performance como Standard e Redundancy como LRS, e clique em Review + Create e Create.

  3. Após a conclusão da implantação, clique em Ir para o recurso e acesse Armazenamento de dados > Contêineres.

  4. Clique em + Contêiner, insira um nome para o contêiner de origem, defina o nível de acesso como Privado e clique em Criar.

  5. Repita a etapa 4 para criar um contêiner de arquivo.

  6. Para cada contêiner, gere um token SAS:

    1. Na conta de armazenamento, acesse Segurança + rede > Assinatura de acesso compartilhado.
    2. Ative os serviços de Blob, os tipos de recurso Contêiner e Objeto, e as permissões Leitura, Gravação e Listagem.
    3. Defina uma data de expiração e clique em Gerar SAS e cadeia de conexão.
    4. Copie o token SAS imediatamente — ele é exibido apenas uma vez.

Criar um recurso do Azure Document Intelligence

  1. No portal do Azure, clique em + Criar um recurso, procure por Document Intelligence e clique em Criar.

  2. Configure o recurso, selecionando Standard S0 como o nível de preço para cargas de trabalho de produção.

  3. Clique em Revisar + Criar e em seguida Criar. Após a conclusão da implantação, clique em Ir para o recurso.

  4. Acesse Gerenciamento de recursos > Chaves e Ponto de Extremidade e copie a URL do ponto de extremidade e a Chave 1 para uso nas variáveis do projeto.

Criar um projeto do Azure AI Foundry

  1. Acesse ai.azure.com e entre com sua conta do Azure.

  2. Clique em Novo hub, preencha a configuração do hub (assinatura, grupo de recursos, nome e região) e clique em Criar.

  3. Dentro do hub, clique em Novo projeto, insira um nome de projeto e clique em Criar.

  4. Acesse Configurações > Detalhes do projeto e copie a URL do ponto de extremidade do projeto e a chave de API para uso nas variáveis do projeto.

Configurar variáveis do projeto

No projeto do Studio instalado do Marketplace, defina valores para as seguintes variáveis do projeto.

Para configurar variáveis do projeto, use o menu de ações do projeto e selecione Variáveis do Projeto para abrir a gaveta de configuração.

Armazenamento de Blobs do Azure

Nome da variável Descrição
Azure_Blob_Endpoint_URL URL do ponto de extremidade do Armazenamento de Blobs do Azure (por exemplo, https://<account>.blob.core.windows.net).
Azure_Source_Container_Name Nome do contêiner de origem onde os arquivos PDF são colocados para processamento.
Azure_Source_Container_SAS_Token Token SAS para o contêiner de origem, usado para autenticar operações de leitura, gravação e listagem.
Azure_Archive_Container_Name Nome do contêiner de arquivo onde os PDFs processados são movidos.
Destination_Archive_Container_SAS_Token Token SAS para o contêiner de arquivo, usado para autenticar operações de gravação.

Azure Document Intelligence

Nome da variável Descrição
Azure_Document_Intelligence_Endpoint_URL URL do ponto de extremidade para o recurso do Azure Document Intelligence (por exemplo, https://<resource-name>.cognitiveservices.azure.com).
Azure_Document_Intelligence_Key Chave de API para autenticar solicitações do Azure Document Intelligence.
Document_Intelligence_Model_ID ID do modelo para análise de OCR (padrão: prebuilt-layout).
Document_Intelligence_Locale Localidade para extração de texto de OCR (padrão: en-US).
Document_Intelligence_API_Version Versão da API do Azure Document Intelligence (padrão: 2024-11-30).

Azure AI Foundry

Nome da variável Descrição
Azure_Foundry_Base_URL Localização da região para o Azure AI Foundry (por exemplo, us).
Azure_AI_Foundry_Key Chave de API para autenticar solicitações do Azure AI Foundry.
Azure_AI_Foundry_Project_Name Nome do projeto do Azure AI Foundry usado para inferência de LLM.

SFTP

Nome da variável Descrição
SFTP_Host Nome do host do servidor SFTP onde os arquivos de saída processados são gravados.
SFTP_UserName Nome de usuário para autenticação SFTP.
SFTP_Password Senha para autenticação SFTP.
SFTP_Folder_Path Caminho da pasta no servidor SFTP onde os arquivos de saída são gravados (padrão: /Azure_PDF_Parser).

Email

Nome da variável Descrição
Email_Enabled Defina como true para ativar notificações por email (padrão: true).
Email_Summary Defina como true para ativar notificações de email resumidas (padrão: true).
Email_Data_Error Defina como true para ativar notificações de email de falha (padrão: false).
Email_SMTP_Servers Lista separada por vírgula de endereços de servidor SMTP para envio de notificações (padrão: smtp.gmail.com).
Email_Sender_Account Endereço da conta de email usada para enviar notificações.
Email_Sender_Password Senha para a conta de email do remetente. Para Gmail, gere uma senha de aplicativo nas configurações de segurança da sua Conta Google.
Email_Recipients Lista separada por vírgula de endereços de email de destinatários para notificações.
Email_Subject_Line Linha de assunto para emails de notificação (padrão: Azure PDF Parser Agent - Summary).

Testar conexões

Teste as configurações do endpoint para verificar a conectividade usando os valores das variáveis de projeto definidas.

Para testar conexões, acesse a guia Endpoints de projeto e conectores na paleta de componentes de design, passe o mouse sobre cada endpoint e clique em Teste.

Implantar o projeto

Implante o projeto do Studio.

Para implantar o projeto, use o menu ações do projeto e selecione Implantar.

Revisar fluxos de trabalho do projeto

O projeto do Studio contém um fluxo de trabalho que implementa o pipeline de processamento do Document Compliance Agent (Azure).

PDF Parser

Operação Descrição
Initial Controller Inicializa variáveis de processamento e inicia o pipeline.
List Blobs From Azure Container Recupera uma lista de arquivos PDF do contêiner de origem do Azure Blob Storage.
Document Intelligence Source URL Formation Constrói a URL de origem para cada arquivo PDF para processamento do Azure Document Intelligence.
Post PDF Data to Azure DI Envia cada PDF para o Azure Document Intelligence para processamento de OCR.
Get Azure DI Analysis Result Recupera o resultado da análise de OCR concluído do Azure Document Intelligence.
Azure Foundry Request Formation Prepara solicitações de LLM com base nos resultados da análise do Document Intelligence.
Post DI Data to Foundry for PII Data Envia texto extraído ao LLM para detectar e extrair PII.
Write PII JSON Data to SFTP Escreve a saída de PII em um arquivo no servidor SFTP.
Post DI Data to Foundry for Clean Data Envia texto extraído ao LLM para produzir uma versão sem PII.
Write Clean JSON Data to SFTP Escreve a saída sanitizada em um arquivo no servidor SFTP.
Move Blob to Archive Container Copia o PDF processado para o contêiner de arquivo do Azure Blob Storage.
Delete Blob from Source Container Exclui o PDF original do contêiner de origem após o arquivamento.
Initial Controller

A operação Initial Controller funciona como ponto de entrada do fluxo de trabalho. Executa o script Run Orchestrator#1 para disparar a operação List Blobs From Azure Container, então executa scripts de logging e o script Logging and Notification Rollup para registrar detalhes de processamento e chamar a operação Send Email baseado nos contadores de sucesso ou falha.

List Blobs From Azure Container

A operação List Blobs From Azure Container se conecta ao contêiner de origem do Azure Blob Storage configurado e recupera uma lista de blobs disponíveis. A resposta é transformada e armazenada em uma variável, e o script Extract Blob Names from Response itera através de cada nome de blob para chamar a operação Document Intelligence Source URL Formation.

Document Intelligence Source URL Formation

A operação Document Intelligence Source URL Formation executa o script DI Source URL Formation, que constrói a URL de origem totalmente qualificada para o arquivo PDF e chama a operação Post PDF Data to Azure DI para iniciar o processamento de OCR.

Post PDF Data to Azure DI

A operação Post PDF Data to Azure DI transforma o corpo da solicitação do Azure Document Intelligence e publica o PDF no Azure Document Intelligence via HTTP para análise. A resposta é transformada, armazenada em uma variável e registrada. A operação então atrasa a execução para permitir que o processamento seja concluído antes de chamar a operação Get Azure DI Analysis Result.

Obter Resultado da Análise do Azure DI

A operação Get Azure DI Analysis Result realiza uma requisição HTTP GET para recuperar o resultado da análise de OCR concluída do Azure Document Intelligence. A resposta é transformada e armazenada em uma variável para uso nas etapas subsequentes de processamento de LLM.

Formação de Requisição do Azure Foundry

A operação Azure Foundry Request Formation lê o resultado do Document Intelligence da variável, transforma o conteúdo e executa o script PII Request Formation for Foundry para preparar e enviar requisições para detecção de PII, processamento de dados limpos e gerenciamento de blob.

Postar Dados de DI no Foundry para Dados de PII

A operação Post DI Data to Foundry for PII Data transforma o corpo da requisição de PII do Azure AI Foundry e publica o texto extraído no Azure AI Foundry via HTTP com um prompt de detecção de PII. A resposta do LLM é transformada, armazenada em uma variável e registrada.

Escrever Dados JSON de PII no SFTP

A operação Write PII JSON Data to SFTP lê os dados de PII da variável, transforma o conteúdo e executa o script Write PII Data in a file para escrever a saída de PII em um arquivo no servidor SFTP e chamar a operação Post DI Data to Foundry for Clean Data.

Postar Dados de DI no Foundry para Dados Limpos

A operação Post DI Data to Foundry for Clean Data executa o script Clean Data Request Formation for Foundry, transforma o corpo da requisição e publica o texto extraído no Azure AI Foundry com um prompt de limpeza de dados para produzir uma versão sanitizada com todo PII removido. A resposta é transformada, armazenada em uma variável e registrada.

Escrever Dados JSON Limpos no SFTP

A operação Write Clean JSON Data to SFTP lê os dados limpos da variável, transforma o conteúdo e executa o script Write Clean Data in a file para escrever a saída sanitizada em um arquivo no servidor SFTP e chamar a operação Move Blob to Archive Container.

Mover Blob para Contêiner de Arquivo

A operação Move Blob to Archive Container transforma o corpo da requisição de movimentação e envia uma requisição HTTP para copiar o PDF processado do contêiner de origem para o contêiner de arquivo. A resposta é transformada e armazenada em uma variável.

Excluir Blob do Contêiner de Origem

A operação Delete Blob from Source Container envia uma requisição HTTP DELETE para remover o PDF original do contêiner de origem após ser arquivado com sucesso, garantindo que o arquivo não seja reprocessado em execuções subsequentes.

Tratamento de erros

Operação Descrição
Email em Caso de Falha Dispara o fluxo de trabalho de notificação de erro quando ocorre uma falha no processamento.
Enviar Email Envia o email de notificação de erro pelo endpoint SMTP configurado.
Email em Caso de Falha

A operação On Failure Email executa o Send Error Email Script para registrar detalhes do erro e chamar a operação Send Email.

Enviar Email

A operação Send Email transforma o corpo do email, envia a notificação pelo adaptador de Email configurado e transforma qualquer resposta de erro.

Disparar os fluxos de trabalho do projeto

Para executar o Document Compliance Agent (Azure), implante e execute a operação Initial Controller. No Studio, passe o cursor sobre a operação e clique no ícone Deploy and Run no canto superior direito do bloco de operação.

Para automatizar o pipeline, configure agendamentos de operação na operação Initial Controller para executar na frequência que preferir.

Solução de problemas

Se encontrar problemas, revise os logs de operação para obter informações detalhadas sobre solução de problemas.

Para assistência adicional, entre em contato com o suporte da Jitterbit.