Ir para o conteúdo

Agente de Conformidade de Documentos (Google)

Visão Geral

A Jitterbit oferece o Agente de Conformidade de Documentos (Google) aos clientes através do Jitterbit Marketplace. Este agente automatiza o processamento de documentos com foco em conformidade, recuperando arquivos PDF do Google Cloud Storage, extraindo seu conteúdo de texto usando reconhecimento óptico de caracteres (OCR) e aplicando análise alimentada por IA para detectar e remover informações de identificação pessoal (PII), ajudando as organizações a atender aos requisitos de privacidade de dados sem revisão manual de documentos.

O agente recupera arquivos PDF de um bucket de origem configurado, autentica-se no Google Cloud usando uma conta de serviço e um token de acesso OAuth2 em cache, e envia cada arquivo ao Google Document AI para extração de OCR. Um LLM analisa o texto extraído em duas passagens: uma para identificar e armazenar dados de PII e outra para produzir uma versão sanitizada com todo o PII removido. Ambos os arquivos de saída são gravados em um servidor FTP, o PDF original é copiado para um bucket de arquivo separado do Google Cloud Storage e excluído da origem, e notificações por email são enviadas aos destinatários configurados quando ocorrem erros de processamento.

O agente executa as seguintes tarefas:

  • Autentica-se no Google Cloud usando um JWT de conta de serviço e armazena em cache o token de acesso OAuth2 para reutilização entre execuções de processamento.
  • Recupera uma lista de arquivos PDF de um Google Cloud Storage bucket de origem configurado.
  • Envia cada arquivo PDF ao Google Document AI para extração de texto OCR e coleta o texto extraído completo.
  • Envia o texto extraído a um LLM para detectar e extrair dados de PII e grava a saída em um arquivo em um servidor FTP.
  • Envia o texto extraído ao LLM para produzir uma versão limpa com todo o PII removido e grava a saída em um arquivo em um servidor FTP.
  • Arquiva arquivos PDF processados em um bucket do Google Cloud Storage de destino configurado e remove os originais do bucket de origem.
  • Envia notificações por email aos destinatários configurados quando ocorrem erros de processamento.

Este documento explica como configurar e operar este agente de IA. Ele aborda arquitetura, pré-requisitos e etapas para instalar, configurar e operar o agente de IA.

Arquitetura do agente de IA

Este agente de IA conecta Google Cloud Storage, Google Document AI, um LLM e um servidor FTP para extrair e sanitizar texto de documentos PDF. Uma execução de processamento típica segue estas etapas:

  1. A operação GCP Controller verifica o cache para um token de acesso OAuth2 válido. Se nenhum existir, ela ativa a operação Generate AccessToken para autenticar no Google Cloud usando as credenciais da conta de serviço configurada.
  2. O agente conecta ao bucket de origem do Google Cloud Storage configurado e recupera uma lista de arquivos PDF disponíveis.
  3. Para cada arquivo, o agente envia o PDF ao Google Document AI para extração de texto OCR e coleta o texto extraído completo.
  4. O agente envia o texto extraído ao LLM com um prompt de detecção de PII. Os dados de PII identificados são gravados como um arquivo JSON no servidor FTP.
  5. O agente envia o texto extraído ao LLM com um prompt de limpeza de dados para produzir uma versão sanitizada. O texto limpo é gravado como um arquivo JSON no servidor FTP.
  6. O PDF processado é copiado para o bucket de arquivo do Google Cloud Storage de destino configurado e excluído do bucket de origem.
  7. Se qualquer etapa no pipeline falhar, uma notificação por email é enviada aos destinatários configurados com detalhes do erro.

Diagrama de fluxo de trabalho

O diagrama a seguir mostra o pipeline de processamento principal do Agente de Conformidade de Documentos (Google).

--- config: themeVariables: lineColor: '#6b7280' edgeLabelBackground: '#f5f5f5' flowchart: padding: 20 nodeSpacing: 80 --- flowchart LR classDef default fill:white, stroke:black, stroke-width:3px, rx:15px, ry:15px JSP@{ shape: hex, label: "
Document Compliance
Agent (Google)" } GCSSRC[fab:fa-google
Google Cloud Storage
Source Bucket] DOCAI[fab:fa-google
Google Document AI] LLM[fas:fa-brain
LLM] FTP[fas:fa-server
FTP Server] GCSARC[fab:fa-google
Google Cloud Storage
Archive Bucket] EMAIL[fas:fa-envelope
Email] JSP <-->|1. List and get PDFs| GCSSRC JSP <-->|2. OCR request / extracted text| DOCAI JSP <-->|3. PII detection prompt / PII data| LLM JSP <-->|4. Clean data prompt / cleaned text| LLM JSP -->|5. Write output files| FTP JSP -->|6. Archive and delete PDF| GCSARC JSP -->|7. Error notification| EMAIL

Pré-requisitos

Você precisa dos seguintes componentes para usar este agente de IA.

Componentes do Harmony

É necessário ter uma licença do Jitterbit Harmony com acesso aos seguintes componentes:

  • Jitterbit Studio
  • Agente de Conformidade de Documentos (Google) adquirido como complemento de licença

Pontos de extremidade compatíveis

O agente de IA se conecta aos seguintes pontos de extremidade. Você pode acomodar outros sistemas modificando as configurações de pontos de extremidade e os fluxos de trabalho do projeto.

Modelo de linguagem grande (LLM)

O agente usa Google Vertex AI para acessar modelos de linguagem grandes para detecção de PII e sanitização de dados. O projeto está configurado para usar o Gemini 2.5 Flash por padrão. Você pode substituir por outro modelo compatível com Vertex AI atualizando a variável de projeto GCP_Model. Você deve ter um projeto do Google Cloud com a API Vertex AI ativada e uma conta de serviço com a função Usuário Vertex AI.

Google Cloud Storage

O agente usa o Google Cloud Storage como origem de PDF e destino de arquivo. Você deve ter um projeto do Google Cloud com a API Cloud Storage ativada, dois buckets do Cloud Storage configurados (um para arquivos PDF recebidos e outro para arquivar arquivos processados) e uma conta de serviço com a função Administrador de Objetos de Armazenamento em ambos os buckets.

Google Document AI

O agente usa o Google Document AI para extração de texto OCR de arquivos PDF. Você deve ter a API Cloud Document AI ativada no seu projeto do Google Cloud, um processador do Document AI criado e uma conta de serviço com a função Usuário da API Document AI.

FTP

O agente escreve arquivos de saída processados (dados de PII e texto limpo) em um servidor FTP. Você deve ter um servidor FTP acessível pelo Jitterbit com credenciais de conexão válidas.

Email

O agente envia notificações de erro por email SMTP. A configuração padrão usa Gmail (smtp.gmail.com). Você deve ter uma conta de email de remetente com acesso SMTP ativado e, se estiver usando Gmail, uma senha de app configurada.

Instalação, configuração e operação

Siga estas etapas para instalar, configurar e operar este agente de IA:

  1. Baixar e instalar o projeto
  2. Configurar recursos GCP
  3. Configurar variáveis de projeto
  4. Testar conexões
  5. Implantar o projeto
  6. Analisar fluxos de trabalho do projeto
  7. Acionar fluxos de trabalho do projeto

Para orientação sobre solução de problemas, consulte Solução de problemas.

Baixar e instalar o projeto

Siga estas etapas para instalar o projeto Studio do agente de IA:

  1. Faça login no portal Harmony em https://login.jitterbit.com e abra Marketplace.

  2. Localize o agente de IA chamado Document Compliance Agent (Google). Para localizá-lo, use a barra de pesquisa ou, no painel Filtros em Tipo, selecione Agente de IA para limitar a exibição aos agentes de IA.

  3. Clique no link Documentação do agente para abrir sua documentação em uma aba separada. Mantenha a aba aberta para consultá-la depois de iniciar o projeto.

  4. Clique em Iniciar Projeto para abrir um diálogo de configuração.

    Nota

    Se você ainda não tiver comprado o agente de IA, Obter este agente será exibido. Clique nele para abrir um diálogo informativo e clique em Enviar para que um representante entre em contato com você sobre a compra do agente de IA.

    Dica

    O diálogo de configuração inclui um aviso para não importar o modelo antes de aplicar personalizações de pontos de extremidade. Este aviso não se aplica a este agente de IA e pode ser ignorado. Siga a ordem recomendada de etapas nesta documentação.

  5. No diálogo Criar um Novo Projeto, selecione um ambiente onde o projeto Studio será criado e clique em Criar Projeto.

  6. Após o diálogo de progresso indicar que o projeto foi criado, use o link do diálogo Ir para Studio ou abra o projeto diretamente da página Projetos do Studio.

Configurar recursos GCP

Antes de configurar as variáveis do projeto, configure os recursos necessários do Google Cloud Platform.

Ativar APIs obrigatórias

  1. Abra o Google Cloud Console e selecione seu projeto.

  2. Abra o menu de navegação e vá para APIs & Services > Library.

  3. Pesquise e ative cada uma das seguintes APIs:

    • Cloud Storage API
    • Cloud Document AI API
    • Vertex AI API

Criar uma conta de serviço

  1. No Google Cloud Console, abra IAM & Admin > Service Accounts e clique em Create Service Account.

  2. Digite um nome para a conta de serviço e clique em Create and Continue.

  3. Atribua as seguintes funções do IAM à conta de serviço:

    • Storage Object Admin (necessário para ler, arquivar e excluir arquivos em ambos os buckets do Cloud Storage)
    • Document AI API User (necessário para extração de texto de OCR)
    • Vertex AI User (necessário para inferência de LLM)

  4. Clique em Done para criar a conta de serviço.

  5. Na lista de contas de serviço, clique na conta de serviço que acabou de criar. Abra a aba Keys, clique em Add Key > Create new key, selecione JSON e clique em Create. O arquivo de chave é baixado automaticamente.

  6. Abra o arquivo de chave JSON baixado e anote os seguintes valores para usar nas variáveis do projeto:

    • O valor de client_email é mapeado para a variável do projeto GCP_clientEmail.
    • O valor de private_key é mapeado para a variável do projeto GCP_privateKey.
    • O valor de private_key_id é mapeado para a variável do projeto GCP_privateKeyId.

Criar buckets do Cloud Storage

  1. No Google Cloud Console, abra Cloud Storage > Buckets e clique em Create.

  2. Crie o bucket de origem onde os arquivos PDF serão colocados para processamento. Anote o nome do bucket para a variável do projeto GCP_Get_BucketName.

  3. Crie um segundo bucket para servir como destino de arquivo para os arquivos processados. Anote seu nome para a variável do projeto GCP_Archive_BucketName.

  4. Garanta que ambos os buckets estejam na mesma região do Google Cloud.

Criar um processador do Document AI

  1. No Google Cloud Console, abra Document AI > My processors e clique em Create processor.

  2. Selecione Document OCR como o tipo de processador.

  3. Digite um nome para o processador, selecione uma região e clique em Create. Anote a região para a variável do projeto GCP_DocumentAI_Location.

  4. Depois que o processador for criado, copie o ID do processador na página de detalhes do processador. Use este valor para a variável do projeto GCP_Processor_ID.

Configurar variáveis do projeto

No projeto do Studio instalado do Marketplace, defina valores para as seguintes variáveis do projeto.

Para configurar variáveis do projeto, use o menu de ações do projeto e selecione Project Variables para abrir a gaveta de configuração.

Google Cloud Platform

Nome da variável Descrição
GCP_Project_ID ID do projeto Google Cloud.
GCP_clientEmail Endereço de email da conta de serviço da chave JSON da conta de serviço.
GCP_privateKeyId ID da chave privada da chave JSON da conta de serviço.
GCP_privateKey Chave privada da chave JSON da conta de serviço em formato PEM.
GCP_tokenURI URI do endpoint do token OAuth2 para autenticação com o Google Cloud. Use o valor padrão: https://oauth2.googleapis.com/token.
GCP_scope Escopo do OAuth2 para a conta de serviço. Use o valor padrão: https://www.googleapis.com/auth/cloud-platform.

Google Document AI

Nome da variável Descrição
GCP_DocumentAI_Location Código de localização para a API do Document AI (por exemplo, us).
GCP_Processor_ID ID do processador do Document AI. Consulte Criar um processador do Document AI.

Google Vertex AI

Nome da variável Descrição
GCP_VertexAI_Location Região do Vertex AI (por exemplo, us-central1).
GCP_Model Nome do modelo Gemini usado para detecção de PII e sanitização de dados (por exemplo, gemini-2.5-flash).
GCP_temperature Temperatura de amostragem do LLM. Valores mais baixos produzem respostas mais determinísticas (por exemplo, 0.1).
GCP_maxOutputTokens Número máximo de tokens na resposta do LLM (por exemplo, 8192).

Google Cloud Storage

Nome da variável Descrição
GCP_Get_BucketName Nome do bucket de origem do Google Cloud Storage onde os arquivos PDF são colocados para processamento.
GCP_Archive_BucketName Nome do bucket de arquivo do Google Cloud Storage onde os arquivos processados são movidos após análise.

FTP

Nome da variável Descrição
FTP_Host Nome do host do servidor FTP.
FTP_UserName Nome de usuário do FTP.
FTP_Password Senha do FTP.
FTP_File_Path Caminho da pasta de destino do FTP (por exemplo, /PDF_Parser/).

Email

Nome da variável Descrição
SMTP_Host Nome do host do servidor SMTP para enviar notificações de erro (por exemplo, smtp.gmail.com).
SMTP_Username Nome de usuário do SMTP.
SMTP_Password Senha do SMTP. Para o Gmail, gere uma senha de app nas configurações de segurança da sua Conta do Google.
Email_From_Recipients Endereço de email do remetente para mensagens de notificação de erro.
Email_To_Recipients Endereço(s) de email do destinatário para mensagens de notificação de erro.

Agent

Nome da variável Descrição
debug Defina como 1 para ativar o log de depuração ou 0 para desativá-lo.

Testar conexões

Teste as configurações de endpoint para verificar a conectividade usando os valores de variáveis de projeto definidos.

Para testar conexões, vá até a aba Endpoints e conectores do projeto na paleta de componentes de design, passe o mouse sobre cada endpoint e clique em Testar.

Implantar o projeto

Implante o projeto do Studio.

Para implantar o projeto, use o menu ações do projeto e selecione Implantar.

Revisar fluxos de trabalho do projeto

O projeto do Studio contém um fluxo de trabalho que implementa o pipeline de processamento do Document Compliance Agent (Google).

GCP PDF Parser

Operação Descrição
GCP Controller Verifica o cache para um token de acesso válido e inicializa o pipeline de processamento.
Generate AccessToken Autentica com Google Cloud usando credenciais de conta de serviço e recupera um token de acesso OAuth2.
Read List of PDFs from Google Cloud Storage Recupera uma lista de arquivos PDF disponíveis do bucket de origem do Cloud Storage.
Extract data from PDF using Google Document_AI Envia um arquivo PDF ao Google Document AI para extração de texto por OCR.
Extract PII data using Google Vertex_AI Envia texto extraído ao LLM para detectar e extrair dados PII, depois escreve o resultado no servidor FTP.
Extract Non_PII data using Google Vertex_AI Envia texto extraído ao LLM para produzir uma versão sanitizada livre de PII, depois escreve o resultado no servidor FTP.
Send File to FTP Escreve um payload JSON processado para o destino do servidor FTP configurado.
Copy PDFs from Google Cloud Storage Copia o PDF processado do bucket de origem para o bucket de arquivo.
Delete PDFs from Google Cloud Storage Deleta o PDF processado do bucket de origem após ser arquivado.
Error Notification Envia uma notificação por email com detalhes de erro quando uma falha de processamento ocorre.
GCP Controller

A operação GCP Controller funciona como ponto de entrada do fluxo de trabalho. Ela verifica o cache para um token de acesso OAuth2 existente. Se um token válido for encontrado, o fluxo de trabalho prossegue diretamente para leitura de arquivos PDF do Cloud Storage. Se nenhum token existir, a operação dispara Generate AccessToken para obter um antes de continuar.

Generate AccessToken

A operação Generate AccessToken autentica o agent com Google Cloud usando as credenciais de conta de serviço configuradas. Ela constrói um JWT a partir da chave privada da conta de serviço, assina-o e o troca com o endpoint do token OAuth2 do Google para recuperar um token de acesso. O token fica em cache para reutilização em operações subsequentes.

Ler Lista de PDFs do Google Cloud Storage

A operação Read List of PDFs from Google Cloud Storage envia uma solicitação HTTP autenticada para a API do Cloud Storage para recuperar uma lista de nomes de arquivos PDF no bucket de origem. A operação itera pela lista retornada, acionando o pipeline de extração para cada arquivo.

Extrair dados de PDF usando Google Document_AI

A operação Extract data from PDF using Google Document_AI envia o arquivo PDF para a API do Google Document AI usando o processador configurado. A API retorna o conteúdo de texto extraído, que a operação armazena para uso nas etapas subsequentes de análise de LLM.

Extrair dados de PII usando Google Vertex_AI

A operação Extract PII data using Google Vertex_AI envia o texto do documento extraído para o modelo Gemini configurado via API do Vertex AI com um prompt para identificar e extrair informações de identificação pessoal. A resposta do LLM é analisada e limpa, depois passada para a operação Send File to FTP para entrega ao destino FTP configurado.

Extrair dados não-PII usando Google Vertex_AI

A operação Extract Non_PII data using Google Vertex_AI envia o texto do documento extraído para o modelo Gemini via API do Vertex AI com um prompt para produzir uma versão sanitizada com todos os dados PII removidos. A resposta limpa é passada para a operação Send File to FTP para entrega ao destino FTP configurado.

Enviar Arquivo para FTP

A operação Send File to FTP escreve o payload JSON processado no servidor FTP no caminho configurado pela variável de projeto FTP_File_Path. Esta operação é chamada uma vez para saída de PII e uma vez para saída não-PII para cada arquivo PDF processado.

Copiar PDFs do Google Cloud Storage

A operação Copy PDFs from Google Cloud Storage usa a API do Cloud Storage para copiar o PDF processado do bucket de origem para o bucket de arquivo, criando um registro permanente do arquivo processado.

Excluir PDFs do Google Cloud Storage

A operação Delete PDFs from Google Cloud Storage envia uma solicitação DELETE autenticada para a API do Cloud Storage para remover o PDF processado do bucket de origem após ser arquivado com sucesso, evitando que seja reprocessado em execuções subsequentes.

Notificação de Erro

A operação Error Notification constrói um email de erro com o nome do workflow, timestamp e detalhes do erro, depois o envia para os endereços configurados na variável de projeto Email_To_Recipients. Após enviar a notificação, a operação lança o erro para interromper a execução posterior.

Acionar os workflows do projeto

Para executar o Document Compliance Agent (Google), implante e execute a operação GCP Controller. No Studio, passe o mouse sobre a operação e clique no ícone Deploy and Run no canto superior direito do tile da operação.

Para automatizar o pipeline, configure agendamentos de operação na operação GCP Controller para executar na frequência desejada.

Solução de Problemas

Se encontrar problemas, revise os logs de operação para obter informações detalhadas de solução de problemas.

Para assistência adicional, entre em contato com o suporte Jitterbit.