Observabilidade (Beta) em agentes privados Jitterbit 11.37 ou posterior

Introdução

Você pode monitorar remotamente o desempenho e o comportamento de um agente privado em tempo real com qualquer uma das seguintes plataformas de observabilidade suportadas:

• Datadog
• Elasticsearch

Antes de começar a monitorar agentes privados em execução no Docker, Linux, ou Windows, você deve instalar o agente da plataforma de observabilidade escolhida em cada agente privado que deseja monitorar e configurar suas métricas.

sudo datadog-agent start

sudo metricbeat start
sudo filebeat start

Instalar o Datadog em um hospedar de agente privado Jitterbit

Pré-requisitos do Datadog

Para instalar o Datadog em um hospedar de agente privado, você deve ter o seguinte:

• Agente privado 11.37.0.7 ou posterior instalado e em execução.

• Uma conta Datadog.

• Um superusuário (root) conta no Linux ou uma conta de administrador no Windows.

  Importante

  Execute todos os comandos como este usuário.

Instalar o agente Datadog

Para instalar o agente Datadog em um hospedar de agente privado, siga estas etapas:

1. Entre na sua conta Datadog.
2. No menu principal, selecione Integrações > Agente.
3. Na página Instruções de instalação do Agente, selecione seu tipo de hospedar de agente privado.
4. Clique no botão API Key. A caixa de diálogo Select an API Key abre.
5. Se você não tiver nenhuma chave de API, clique em Botão Create New para criar uma. Caso contrário, selecione sua entrada de chave de API e clique no botão Use API Key.
6. No Comando de instalação do Agente, clique em Clique no ícone copiar para copiar o comando para sua área de transferência.
7. Abra um terminal ou PowerShell no hospedar do agente privado, cole o comando copiado e pressione Enter para executá-lo.
8. Feche o terminal ou o PowerShell.

Configurar o agente Datadog

O software do agente privado Jitterbit inclui um script para configurar o Datadog. Para usá-lo ao instalar pela primeira vez ou ao atualizar de um agente privado instalação baseada em 11.34, siga estas etapas:

1. Para agentes privados do Docker, o valor para o hostname propriedade no /etc/datadog-agent/datadog.yaml deve ser definido como o nome do host do host. Se não for, defina-o manualmente.

2. Execute o seguinte em um novo terminal ou PowerShell no hospedar do agente privado:

   EstivadorLinuxWindows

   cd /opt/jitterbit/scripts/
   ./configure_datadog.sh
   

   cd /opt/jitterbit/scripts/
   ./configure_datadog.sh
   

   cd "C:\Program Files\Jitterbit Agent\scripts\"
   .\configure_datadog.ps
   

3. Leia e responda aos prompts.

4. Para confirmar que seu agente Datadog está funcionando, faça login em sua conta Datadog e selecione Integrações > Automação de frota no menu principal.

Criar facetas

Para definir facetas do Datadog, siga estas etapas:

1. Selecione Logs > Explorer.
2. Filtre os logs pelo Host do seu agente e pelo serviço JitterbitAgentMetric.
3. (Opcional) Verifique se os logs do seu agente estão no formato JSON. Para fazer isso, selecione uma entrada de log recente e verifique se a coluna CONTENT contém uma mensagem de log no formato JSON.
4. Na barra Search facets, clique em Adicionar (Adicionar uma faceta).
5. No campo Caminho da caixa de diálogo Adicionar faceta, insira o texto mostrado abaixo e clique no botão Adicionar. Repita para cada item na lista a seguir:
   • @environment_id
   • @environment_name
   • @is_operation_over_schedule
   • @name
   • @operation_id
   • @operation_instance_guid
   • @operation_name
   • @organization_id
   • @project_guid
   • @project_name
   • @status

Criar um campo calculado operation_duration_seconds

Para criar um campo calculado, siga estas etapas:

1. Selecione Logs > Explorer.
2. Clique no botão Adicionar e selecione Campo calculado.
3. Na caixa de diálogo Criar um campo calculado, defina valores para os seguintes campos:
   • Nomeie seu campo: operation_duration_seconds
   • Defina sua fórmula: @fields.duration_seconds
4. Clique no botão Salvar.

Criar uma medida@operation_duration_seconds

Para criar uma medida, siga estas etapas:

1. Selecione Logs > Explorer.
2. Na barra Search facets, clique em Adicionar (Adicionar uma faceta).
3. Na caixa de diálogo Adicionar faceta, selecione a aba Medir.
4. No campo Caminho, digite @operation_duration_seconds.
5. Clique no botão Adicionar.

Criar métricas de operação

Para definir métricas de operação, selecione Logs > Gerar métricas e siga as etapas abaixo para cada métrica de operação.

Crie uma métrica metric.operation.count.by.status

1. Clique em Botão New Metric.
2. Na caixa de diálogo Generate Metric, defina os valores da seguinte forma:
   • Set Metric Name: metric.operation.count.by.status
   • Definir consulta: service:JitterbitAgentMetric @name:operation_log
3. Clique no menu agrupar por e, em seguida, clique em cada um dos seguintes para adicioná-los à lista:
   • @fields.operation_id
   • @fields.operation_name
   • @fields.status
   • @agentgroup
   • @host
4. Clique no botão Criar métrica.

Crie uma métrica metric.operation.running.over.scheduled.interval

1. Clique em Botão New Metric.
2. Na caixa de diálogo Generate Metric, defina os valores da seguinte forma:
   • Set Metric Name: metric.operation.running.over.scheduled.interval
   • Definir consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
3. Clique no menu agrupar por e clique em cada um dos seguintes para adicioná-los à lista:
   • @fields.operation_id
   • @fields.operation_name
   • @agentgroup
   • @host
4. Clique no botão Criar métrica.

Crie uma métrica metric.operation.duration.seconds

1. Clique em Botão New Metric.
2. Na caixa de diálogo Generate Metric, defina os valores da seguinte forma:
   • Set Metric Name: metric.operation.duration.seconds
   • Definir consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
3. Clique no menu agrupar por e clique em cada um dos seguintes para adicioná-los à lista:
   • @fields.operation_id
   • @fields.operation_name
   • @agentgroup
   • @host
4. Clique no botão Criar métrica.

Criar métricas de processo

Para definir métricas de processo, selecione Infraestrutura > Processos, selecione a aba Gerenciar métricas e siga as etapas abaixo para cada métrica de processo.

Crie uma métrica proc.openginebyname.cpu.num_threads

1. Clique no botão Nova métrica.
2. Na seção 1, Filtrar processos, no campo Filtrar por, insira command:JitterbitOperationEngineProc.
3. Na seção 2, Selecione Medida e Dimensões, defina valores para os seguintes campos:
   • Abra o menu Medida e selecione Número de Threads.
   • Abra o menu Dimensões e selecione nome.
4. Na seção 4, Nome, no campo metric.name, insira openginebyname para fazer o nome proc.openginebyname.cpu.num_threads.
5. Clique no botão Create.

Crie uma métrica proc.operationsengine.cpu.num_threads

1. Clique no botão Nova métrica.
2. Na seção 1, Filtrar processos, no campo Filtrar por, insira command:JitterbitOperationEngineProc.
3. Na seção 2, Selecione Medida e Dimensões, defina valores para os seguintes campos:
   • Abra o menu Medida e selecione Número de Threads.
   • Abra o menu Dimensões e selecione agentgroup.
4. Na seção 4, Nome, no campo metric.name, insira operationsengine para fazer o nome proc.operationsengine.cpu.num_threads.
5. Clique no botão Criar.

Importar um painel do Datadog

Para importar um painel pré-criado do Datadog, siga estas etapas:

1. Baixe o arquivo JSON do Jitterbit Agente privado Datadog dashboard do portal Harmony Downloads página.

2. Selecione Dashboards > Novo painel.

3. Na caixa de diálogo Criar um painel, insira um nome no campo Nome do painel e clique no botão Novo painel.

4. Clique no botão Botão Configurar e selecione Importar JSON do painel.

5. Encontre o arquivo JSON do painel baixado e selecione-o.

6. Para usar o painel, selecione Painéis > Lista de painéis, insira Jitterbit Harmony Agente privado no campo Pesquisar painéis e selecione o painel importado.

Solucionar problemas do Datadog

Para ajudar a resolver quaisquer problemas com o Datadog, você pode verificar a documentação do Datadog, inspecionar arquivos de log ou executar comandos para gerenciar usuários e permissões.

Documentação do Datadog

• Modo de depurar do Datadog
• Verificação e diagnosticar e resolver problemas do agente Datadog

Localizações dos arquivos Datadog

Arquivos de log

Os arquivos de log do Datadog podem ser encontrados no seguinte local:

Arquivos de configuração

O arquivo de configuração do Datadog pode ser encontrado no seguinte local:

Neste arquivo, você deve verificar se possui valores corretos para as seguintes chaves:

• api_key

• site

• $hostname

• tags

Comandos de usuários e permissões do Datadog

Para criar um usuário e grupo Datadog, execute estes comandos:

usermod -a -G root dd-agent
usermod -a -G jitterbit dd-agent

Para definir a propriedade do arquivo de configuração do Datadog, execute estes comandos:

chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d/conf.yaml
chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d

Instalar o Metricbeat em um hospedar de agente privado

Pré-requisitos do Metricbeat

Antes de instalar o Metricbeat em um hospedar de agente privado, você deve instalar o seguinte:

• Elasticsearch
• Kibana

Instalar Metricbeat e Filebeat

Metricbeat

Para instalar o Metricbeat em um hospedar de agente privado, siga as instruções do Metricbeat no site Elastic.co.

Para iniciar o Metricbeat quando o hospedar inicializar, siga as instruções de inicialização do Metricbeat no site Elastic.co.

Batida de arquivo

Para instalar o Filebeat em um hospedar de agente privado, siga as instruções do Filebeat no site Elastic.co.

Para iniciar o Filebeat quando o hospedar inicializar, siga as instruções de inicialização do Filebeat no site Elastic.co.

Defina a política de ciclo de vida do índice Kibana

1. Abra o console da web do Kibana em http://HOSTNAME:5601, onde HOSTNAME é o nome do host ou endereço IP do hospedar do agente privado.
2. Entre index lifecycle policies na barra de pesquisa do Elasticsearch e selecione a página resultante.
3. Clique em Botão Criar política.
4. Na caixa de diálogo Criar política, defina os seguintes valores:
   • Nome da política: private-agent-metrics-policy
5. Ative a alternância Fase quente e defina os seguintes valores:
   • Mover dados para a fase quando: 30 dias
6. Ative a alternância Fase fria e defina os seguintes valores:
   • Mover dados para a fase quando: 90 dias
7. Clique em Botão Salvar política.

Criar modelos Kibana

Crie um modelo Kibana (private-agent-metric-template)

1. Entre index management na barra de pesquisa do Elasticsearch e selecione a página resultante.

2. Selecione a aba Modelos de Índice e clique em Botão Criar modelo.

3. Na página Logística, insira valores para os seguintes campos:

   • Nome: private-agent-metric-template

   • Padrões de índice: private-agent-metric-8.15-*

4. Clique em Avançar botão.

5. Na página Modelos de componentes, clique em Avançar botão.

6. Na página Configurações de índice, substitua o conteúdo do campo Configurações de índice pelo seguinte:

   {
     "index": {
       "lifecycle": {
         "name": "private-agent-metrics-policy",
         "rollover_alias": "private-agent-metric-alias"
       },
       "number_of_shards": "1",
       "number_of_replicas": "1"
     }
   }
   

7. Clique em Avançar botão.

8. Na página Mapeamentos, na aba Campos mapeados, adicione campos de acordo com a tabela a seguir (clique no botão Adicionar campo para adicionar campos adicionais):

   Tipo de campo	Nome do campo
   Palavra-chave	fields.env
   Palavra-chave	private-agent.group
   Palavra-chave	private-agent.name

9. Selecione a aba Opções avançadas e defina as seguintes opções como Ativado:

   • Mapear sequências numéricas como números

   • Mapear sequências de datas como datas

10. Clique em Avançar botão.

11. Na página Aliases, clique em Próximo botão.

12. Na página Review details, clique no botão Botão Criar modelo.

Crie um modelo Kibana (private-agent-filebeat-template)

1. Na aba Modelos de índice, clique em Botão Criar modelo.
2. Na página Logística, insira valores para os seguintes campos:
   • Nome: private-agent-filebeat-template
   • Padrões de índice: private-agent-filebeat-8.15-*
3. Clique em Avançar botão.
4. Na página Modelos de componentes, clique em Avançar botão.

5. Na página Configurações de índice, substitua o conteúdo do campo Configurações de índice pelo seguinte:

   {
     "index": {
       "lifecycle": {
         "name": "private-agent-metrics-policy",
         "rollover_alias": "private-agent-metric-alias"
       },
       "number_of_shards": "1",
       "number_of_replicas": "1"
     }
   }
   

6. Clique em Avançar botão.

7. Na página Mapeamentos, na aba Campos mapeados, adicione campos de acordo com a tabela a seguir (clique no botão Adicionar campo para adicionar campos adicionais):

   Tipo de campo	Nome do campo
   Palavra-chave	message.fields.environment_name
   Palavra-chave	message.fields.operation_name
   Palavra-chave	message.fields.project_name
   Palavra-chave	message.fields.status
   Palavra-chave	private-agent.group
   Palavra-chave	private-agent.name

8. Selecione a aba Opções avançadas e defina as seguintes opções como Ativado:

   • Mapear sequências numéricas como números
   • Mapear sequências de datas como datas
9. Clique em Avançar botão.
10. Na página Aliases, clique em Avançar botão.
11. Na página Review details, clique no botão Botão Criar modelo.

Criar analisadores Kibana

Crie um pipeline do analisador Kibana Grok (Over Schedule)

1. Entre ingest pipelines na barra de pesquisa do Elasticsearch e selecione a página resultante.
2. Clique em Criar pipeline botão e selecione Novo pipeline.
3. Insira valores para os seguintes campos:
   • Nome: private-agent-metric-pipeline
   • Descrição: Insira uma descrição opcional.
4. No painel Processadores, clique no botão Adicionar um processador.

5. Na caixa de diálogo Adicionar processador, defina os seguintes campos:

   • Processador: Abra o menu e selecione Grok.
   • Campo: message

   • Padrões: No primeiro campo =, insira o seguinte:

     %{GREEDYDATA:operation_timestamp} \[AgentMetric, Informative\] The requested scheduled Operation is already being processed. OperationId = %{NUMBER:over_running_operation_id:int} OperationName = "%{GREEDYDATA:over_running_operation_name}" \[SCHEDULE_IN_PROCESS\]
     

6. Ative Ignorar falhas para este processador.

7. Clique no botão Adicionar processador.
8. Na lista de processadores, clique no ícone, então altere o nome para Over Schedule.

Crie um pipeline do analisador Kibana Grok (Added Status)

1. No painel Processadores, clique no botão Adicionar um processador.

2. Na caixa de diálogo Adicionar processador, defina os seguintes campos:

   • Processador: Abra o menu e selecione Grok.
   • Campo: message

   • Padrões: No primeiro campo =, insira o seguinte:

     %{GREEDYDATA:timestamp} \[AgentMetric, Informative\] %{GREEDYDATA:status} to queue: OperationID = %{NUMBER:scheduled_operation_id:int} and OperationName = %{GREEDYDATA:scheduled_operation_name} and OperationInstanceGuid = %{GREEDYDATA:scheduled_operation_instance_guid}
     

3. Ative Ignorar falhas para este processador.

4. Clique no botão Adicionar processador.
5. Na lista de processadores, clique no ícone, então altere o nome para Status adicionado.

Crie um pipeline do analisador Kibana Grok (Finished Status)

1. No painel Processadores, clique no botão Adicionar um processador.

2. Na caixa de diálogo Adicionar processador, defina os seguintes campos:

   • Processador: Abra o menu e selecione Grok.
   • Campo: message

   • Padrões: No primeiro campo =, insira o seguinte:

     %{GREEDYDATA:status_ts} \[AgentMetric, Informative\] Operation changed to %{GREEDYDATA:status}: OperationID = %{NUMBER:scheduled_operation_id:int} and Operation Name = \"%{GREEDYDATA:scheduled_operation_name}\" and OperationInstanceGuid = %{GREEDYDATA:scheduled_operation_instance_guid}
     

3. Ative Ignorar falhas para este processador.

4. Clique no botão Adicionar processador.
5. Na lista de processadores, clique no ícone, então altere o nome para Status Concluído.

Crie um pipeline do analisador Kibana Grok (Running Status)

1. No painel Processadores, clique no botão Adicionar um processador.

2. Na caixa de diálogo Adicionar processador, defina os seguintes campos:

   • Processador: Abra o menu e selecione Grok.
   • Campo: message

   • Padrões: No primeiro campo =, insira o seguinte:

     %{GREEDYDATA:status_ts} \[AgentMetric, Informative\] Operation %{GREEDYDATA:status}: OperationID = %{NUMBER:scheduled_operation_id:int} and Operation Name = \"%{GREEDYDATA:scheduled_operation_name}\" and OperationInstanceGuid = %{GREEDYDATA:scheduled_operation_instance_guid} and Status = %{NUMBER:scheduled_operation_status} and Duration = %{NUMBER:scheduled_operation_duration:float}
     

3. Ative Ignorar falhas para este processador.

4. Clique no botão Adicionar processador.
5. Na lista de processadores, clique no ícone, então altere o nome para Running Status.

Defina a ordem dos processadores

Se ainda não o fez, reorganize a lista de processadores para que fiquem na seguinte ordem:

1. Agendamento excedido
2. Status adicionado
3. Status concluído
4. Status em execução

Configurar o agente Metricbeat

O agente privado Jitterbit inclui um script para configurar o Metricbeat. Para usá-lo ao instalar pela primeira vez ou ao atualizar de um agente privado instalação baseada em 11.34, siga estes passos:

1. Execute o seguinte em um terminal ou PowerShell:

   DockerLinuxWindows

   cd /opt/jitterbit/scripts/
   ./configure_elasticsearch.sh
   

   cd /opt/jitterbit/scripts/
   ./configure_elasticsearch.sh
   

   cd "C:\Program Files\Jitterbit Agent\scripts\"
   .\configure_elasticsearch.ps
   

2. Leia e responda aos prompts.

Importar um painel do Elasticsearch

Para importar um painel pré-criado do Elasticsearch, siga estas etapas:

1. Baixe o arquivo JSON do Jitterbit Agente privado Elasticsearch dashboard do portal Harmony Downloads página.
2. Entre kibana saved objects na barra de pesquisa do Elasticsearch e selecione a página resultante.
3. Clique no botão Importar.
4. Na caixa de diálogo Importar objetos salvos, clique em Importar, encontre o arquivo JSON do painel baixado e selecione-o.
5. Em Opções de importação, selecione Verificar objetos existentes com Substituir conflitos automaticamente.
6. Clique no botão Importar.
7. Clique no botão Concluído.
8. Para usar o painel, digite dashboards na barra de pesquisa do Elasticsearch, selecione a página resultante e, em seguida, selecione Jitterbit Harmony Agente privado Dashboard.

Solucionar problemas do Elasticsearch

Para ajudar a resolver quaisquer problemas com os componentes do Elasticsearch, você pode consultar a documentação do Elasticsearch, inspecionar arquivos de log ou executar comandos de diagnóstico.

Documentação do Elasticsearch

• Metricbeat:
  • perguntas frequentes frequentes do Metricbeat
  • Depurar Metricbeat
• Batida de arquivo:
  • perguntas frequentes do Filebeat
  • Depurar Filebeat

Locais dos arquivos de log do Elasticsearch

• /var/log/metricbeat
• /var/log/filebeat

Comandos de diagnóstico do Elasticsearch

Para verificar a conexão do Filebeat com o Elasticsearch, execute o seguinte comando:

filebeat test output