Observabilidade (Beta) em agentes privados Jitterbit 11.37 ou posterior

Cuidado

Este recurso está atualmente lançado como uma versão beta, com suporte em agentes privados versão 11.37.0.7 ou posterior. Para fornecer feedback, entre em contato com a Equipe de produtos Jitterbit.

Introdução

Você pode monitorar remotamente o desempenho e o comportamento do Docker, Linux, ou Windows agentes privados com qualquer uma das seguintes plataformas de observabilidade suportadas:

Datadog
Elasticsearch com Kibana

Você deve instalar e configurar sua plataforma de observabilidade escolhida em cada hospedar de agente privado que deseja monitorar. Uma vez configuradas corretamente, as métricas dos seus agentes podem ser visualizadas usando o painel pré-construído fornecido pelo Jitterbit, ou seu próprio painel personalizado.

Use o Datadog para monitorar um agente privado Jitterbit

Pré-requisitos

Para usar o Datadog para monitorar um hospedar de agente privado, você deve ter o seguinte:

Agente privado 11.37.0.7 ou posterior instalado e em execução.
Uma conta Datadog.
Um superusuário (root) conta no Linux ou uma conta de administrador no Windows.

Importante

Execute todos os comandos como este usuário.

Instalar o agente Datadog

Para instalar o agente Datadog em um hospedar de agente privado, siga estas etapas:

Entre na sua conta Datadog.
No menu principal, selecione Integrações > Agente.
Na página Instruções de instalação do Agente, selecione seu tipo de hospedar de agente privado.
Clique no botão API Key. A caixa de diálogo Select an API Key abre.
Se você não tiver nenhuma chave de API, clique em Botão Create New para criar uma. Caso contrário, selecione sua entrada de chave de API e clique no botão Use API Key.
No Comando de instalação do Agente, clique em Clique no ícone copiar para copiar o comando para sua área de transferência.
Abra um terminal ou PowerShell no hospedar do agente privado, cole o comando copiado e pressione Enter para executá-lo.
Feche o terminal ou o PowerShell.

Nota

Para habilitar a observabilidade em agentes privados do Docker, você deve usar variáveis de ambiente.

Configurar o agente Datadog

O software do agente privado Jitterbit inclui um script para configurar o Datadog. Para usá-lo ao instalar pela primeira vez ou ao atualizar de um agente privado instalação baseada em 11.34, siga estas etapas:

Para agentes privados do Docker, o valor para o hostname propriedade no /etc/datadog-agent/datadog.yaml deve ser definido como o nome do host do host. Se não for, defina-o manualmente.

Execute o seguinte em um terminal ou PowerShell no hospedar do agente privado:

EstivadorLinuxWindows

cd /opt/jitterbit/scripts/
./configure_datadog.sh

cd /opt/jitterbit/scripts/
./configure_datadog.sh

cd "C:\Program Files\Jitterbit Agent\scripts\"
.\configure_datadog.ps

Leia e responda aos seguintes prompts:
1. Prompt 1:
```
*************
***WARNING***
*************
Installing the metric configurations will backup and overwrite your datadog configuration files.
Do you wish to proceed?
1) Yes
2) No
```
  Insira o número correspondente à sua escolha, seguido pela tecla Enter. As escolhas são as seguintes:
  - 1: Continue o script. Se você tiver um arquivo de configuração Datadog existente (/etc/datadog-agent/datadog.yaml), uma cópia de segurança é feita (/etc/datadog-agent/datadog.yml.jb.bak) e um novo é criado.
  - 2: Pare o script.
2. Prompt 2:
```
*************
***WARNING***
*************
Turning on Agent observability on the agent will turn on Enhanced Capability feature for the agent.
Enhanced Capability might affect the operation routing behavior for the agents.
Do you wish to proceed?
1) Yes
2) No
```
  Insira o número correspondente à sua escolha, seguido pela tecla Enter. As escolhas são as seguintes:
  - 1: Continue o script. Isso define EnhancedCapabilityMetricsEnabled para true no [AgentCapability] seção de jitterbit.conf.
  - 2: Pare o script.
3. Prompt 3:
```
Jitterbit agent needs to restart in order to load the new changes.
Do you wish to restart now? This will stop any in progress operations
1) Yes
2) No
```
  Insira o número correspondente à sua escolha, seguido pela tecla Enter. As escolhas são as seguintes:
  - 1: Continue parando e reiniciando o agente privado, reinicie o agente Datadog e saia do script. Para confirmar se seu agente Datadog está funcionando, faça login na sua conta Datadog e selecione Integrações > Automação de frota no menu principal.
  - 2: Saia do script sem reiniciar o agente privado ou o agente Datadog. Você deve reiniciar tanto o agente privado quanto o agente Datadog quando for conveniente.

Importante

No Docker, o agente Datadog não inicia automaticamente com o hospedar. Você deve iniciá-lo manualmente com o seguinte comando:

sudo datadog-agent start

Configurar métricas do Datadog

Para definir facetas do Datadog, siga estas etapas:

Selecione Logs > Explorer.
Filtre os logs pelo Host do seu agente e pelo serviço JitterbitAgentMetric.
(Opcional) Verifique se os logs do seu agente estão no formato JSON. Para fazer isso, selecione uma entrada de log recente e verifique se a coluna CONTENT contém uma mensagem de log no formato JSON.
Na barra Search facets, clique em Adicionar (Adicionar uma faceta).
No campo Caminho da caixa de diálogo Adicionar faceta, insira o texto mostrado abaixo e clique no botão Adicionar. Repita para cada item na lista a seguir:
- @environment_id
- @environment_name
- @is_operation_over_schedule
- @name
- @operation_id
- @operation_instance_guid
- @operation_name
- @organization_id
- @project_guid
- @project_name
- @status

Criar um campo calculado

Para criar um campo calculado, siga estas etapas:

Selecione Logs > Explorer.
Clique no botão Adicionar e selecione Campo calculado.
Na caixa de diálogo Criar um campo calculado, defina valores para os seguintes campos:
- Nomeie seu campo: operation_duration_seconds
- Defina sua fórmula: @fields.duration_seconds
Clique no botão Salvar.

Criar uma medida

Para criar uma medida, siga estas etapas:

Selecione Logs > Explorer.
Na barra Search facets, clique em Adicionar (Adicionar uma faceta).
Na caixa de diálogo Adicionar faceta, selecione a aba Medir.
No campo Caminho, digite @operation_duration_seconds.
Clique no botão Adicionar.

Criar métricas de operação

Para definir métricas de operação, selecione Logs > Gerar métricas e siga as etapas abaixo para cada métrica de operação.

Dica

Você também pode usar logs para criar métricas do Datadog.

Crie o `metric.operation.count.by.status` métrica de operação

Clique em Botão New Metric.
Na caixa de diálogo Generate Metric, defina os valores da seguinte forma:
- Set Metric Name: metric.operation.count.by.status
- Definir consulta: service:JitterbitAgentMetric @name:operation_log
Clique no menu agrupar por e, em seguida, clique em cada um dos seguintes para adicioná-los à lista:
- @fields.operation_id
- @fields.operation_name
- @fields.status
- @agentgroup
- @host
Clique no botão Criar métrica.

Crie o `metric.operation.running.over.scheduled.interval` métrica de operação

Clique em Botão New Metric.
Na caixa de diálogo Generate Metric, defina os valores da seguinte forma:
- Set Metric Name: metric.operation.running.over.scheduled.interval
- Definir consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
Clique no menu agrupar por e clique em cada um dos seguintes para adicioná-los à lista:
- @fields.operation_id
- @fields.operation_name
- @agentgroup
- @host
Clique no botão Criar métrica.

Crie o `metric.operation.duration.seconds` métrica de operação

Clique em Botão New Metric.
Na caixa de diálogo Generate Metric, defina os valores da seguinte forma:
- Set Metric Name: metric.operation.duration.seconds
- Definir consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
Clique no menu agrupar por e clique em cada um dos seguintes para adicioná-los à lista:
- @fields.operation_id
- @fields.operation_name
- @agentgroup
- @host
Clique no botão Criar métrica.

Criar métricas de processo

Para definir métricas de processo, selecione Infraestrutura > Processos, selecione a aba Gerenciar métricas e siga as etapas abaixo para cada métrica de processo.

Crie o `proc.openginebyname.cpu.num_threads` Métrica de processo

Clique no botão Nova métrica.
Na seção 1, Filtrar processos, no campo Filtrar por, insira command:JitterbitOperationEngineProc.
Na seção 2, Selecione Medida e Dimensões, defina valores para os seguintes campos:
- Abra o menu Medida e selecione Número de Threads.
- Abra o menu Dimensões e selecione nome.
Na seção 4, Nome, no campo metric.name, insira openginebyname para fazer o nome proc.openginebyname.cpu.num_threads.
Clique no botão Create.

Crie o `proc.operationsengine.cpu.num_threads` Métrica de processo

Clique no botão Nova métrica.
Na seção 1, Filtrar processos, no campo Filtrar por, insira command:JitterbitOperationEngineProc.
Na seção 2, Selecione Medida e Dimensões, defina valores para os seguintes campos:
- Abra o menu Medida e selecione Número de Threads.
- Abra o menu Dimensões e selecione grupo de agentes.
Na seção 4, Nome, no campo metric.name, insira operationsengine para fazer o nome proc.operationsengine.cpu.num_threads.
Clique no botão Criar.

Importar um painel do Datadog

Para importar o painel Datadog pré-construído do Jitterbit, siga estes passos:

Baixe o arquivo JSON do Jitterbit Agente privado Datadog dashboard do portal Harmony Downloads página.
Selecione Dashboards > Novo painel.
Na caixa de diálogo Criar um painel, insira um nome no campo Nome do painel e clique no botão Novo painel.
Clique no botão Botão Configurar e selecione Importar JSON do painel.
Encontre o arquivo JSON do painel baixado e selecione-o.
Para usar o painel, selecione Painéis > Lista de painéis, insira Jitterbit Harmony Agente privado no campo Pesquisar painéis e selecione o painel importado.

Solucionar problemas do Datadog

Para ajudar a resolver quaisquer problemas com o Datadog, você pode verificar a documentação do Datadog, inspecionar arquivos de log ou executar comandos para gerenciar usuários e permissões.

Documentação do Datadog

Localizações dos arquivos Datadog

Arquivos de log

Os arquivos de log do Datadog podem ser encontrados no seguinte local:

LinuxWindows

/var/log/datadog/

Abra o aplicativo Datadog Agente Manager e selecione a aba Log.

Arquivos de configuração

O arquivo de configuração do Datadog pode ser encontrado no seguinte local:

LinuxWindows

/etc/datadog-agent/datadog.yaml

Abra o aplicativo Datadog Agente Manager e selecione a aba Configurações.

Neste arquivo, você deve verificar se possui valores corretos para as seguintes chaves:

api_key
site
$hostname
tags

Comandos de usuários e permissões do Datadog

Para criar um usuário e grupo Datadog, execute estes comandos:

usermod -a -G root dd-agent
usermod -a -G jitterbit dd-agent

Para definir a propriedade do arquivo de configuração do Datadog, execute estes comandos:

chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d/conf.yaml
chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d

Use Elasticsearch e Kibana para monitorar um agente privado Jitterbit

Pré-requisitos

Para usar o Elasticsearch e o Kibana para monitorar um hospedar de agente privado, você deve ter o seguinte:

Agente privado 11.37.0.7 ou posterior instalado e em execução.
Um sistema Elasticsearch e Kibana funcional instalado e configurado. Para instalá-los, consulte as seguintes páginas:
- Elasticsearch
- Kibana

Instalar Metricbeat e Filebeat

Metricbeat e Filebeat são agentes de coleta de dados que encaminham métricas de agentes privados para seu sistema Elasticsearch/Kibana. Para instalá-los, siga estas etapas:

Metricbeat:
1. Para instalar o Metricbeat em um hospedar de agente privado, siga as instruções do Metricbeat no site Elastic.co.
2. Para iniciar o Metricbeat quando o hospedar inicializar, siga as instruções de inicialização do Metricbeat no site Elastic.co.
3. Para verificar a conexão do Metricbeat com o Elasticsearch, execute o seguinte comando:
```
metricbeat test output
```
Batida de arquivo:
1. Para instalar o Filebeat em um hospedar de agente privado, siga as instruções do Filebeat no site Elastic.co.
2. Para iniciar o Filebeat quando o hospedar inicializar, siga as instruções de inicialização do Filebeat no site Elastic.co.
3. Para verificar a conexão do Filebeat com o Elasticsearch, execute o seguinte comando:
```
filebeat test output
```

Defina a política de ciclo de vida do índice Kibana

Para definir a política de retenção de dados, siga estas etapas:

Abra seu console da web Kibana.
Insira index lifecycle policies na barra de pesquisa e selecione a página resultante.
Clique em Botão Criar política.
Na caixa de diálogo Criar política, defina os seguintes valores:
- Nome da política: private-agent-metrics-policy
Ative a alternância Fase quente e defina os seguintes valores:
- Mover dados para a fase quando: 30 dias.
Ative a alternância Fase fria e defina os seguintes valores:
- Mover dados para a fase quando: 90 dias.
Clique em Botão Salvar política, depois feche a gaveta de resumo.

Criar modelos Kibana

Para criar modelos, siga estas etapas:

Crie o private-agent-metric-template modelo:
1. Entre index management na barra de pesquisa e selecione a página resultante.
2. Selecione a aba Modelos de Índice.
3. Clique em Botão Criar modelo.
4. Na página Logística, insira valores para os seguintes campos:
  - Nome: private-agent-metric-template
  - Padrões de índice: private-agent-metric-8.15-*
5. Clique em Avançar botão.
6. Na página Modelos de componentes, clique em Avançar botão.
7. Na página Configurações de índice, substitua o conteúdo do campo Configurações de índice pelo seguinte:
```
{
  "index": {
    "lifecycle": {
      "name": "private-agent-metrics-policy",
      "rollover_alias": "private-agent-metric-alias"
    },
    "number_of_shards": "1",
    "number_of_replicas": "1"
  }
}
```
8. Clique em Avançar botão.
9. Na página Mappings, na aba Mapped fields, adicione campos de acordo com a tabela a seguir. Clique no botão Add field após cada entrada:
  
  Tipo de campo Nome do campo
  
  Palavra-chave fields.env
  
  Palavra-chave private-agent.group
  
  Palavra-chave private-agent.name
10. Selecione a aba Opções avançadas e defina as seguintes opções como Ativado:
  - Mapear sequências numéricas como números
  - Mapear sequências de datas como datas
11. Clique em Avançar botão.
12. Na página Aliases, clique em Next botão.
13. Na página Review details, clique no Botão Criar modelo, depois feche a gaveta de resumo.

Crie o private-agent-filebeat-template modelo:

Na aba Modelos de Índice, clique em Botão Criar modelo.
Na página Logística, insira valores para os seguintes campos:
- Nome: private-agent-filebeat-template
- Padrões de índice: private-agent-filebeat-8.15-*
Clique em Avançar botão.
Na página Modelos de componentes, clique em Avançar botão.

Na página Configurações de índice, substitua o conteúdo do campo Configurações de índice pelo seguinte:

{
  "index": {
    "lifecycle": {
      "name": "private-agent-metrics-policy",
      "rollover_alias": "private-agent-metric-alias"
    },
    "number_of_shards": "1",
    "number_of_replicas": "1"
  }
}

Clique em Avançar botão.

Na página Mappings, na aba Mapped fields, adicione campos de acordo com a tabela a seguir. Clique no botão Add field após cada entrada:

Tipo de campo	Nome do campo
Palavra-chave	`message.fields.environment_name`
Palavra-chave	`message.fields.operation_name`
Palavra-chave	`message.fields.project_name`
Palavra-chave	`message.fields.status`
Palavra-chave	`private-agent.group`
Palavra-chave	`private-agent.name`

Selecione a aba Opções avançadas e defina as seguintes opções como Ativado:
- Mapear sequências numéricas como números
- Mapear sequências de datas como datas
Clique em Avançar botão.
Na página Aliases, clique em Next botão.
Na página Review details, clique no Botão Criar modelo, depois feche a gaveta de resumo.

Configurar Metricbeat e Filebeat

O agente privado Jitterbit inclui um script para configurar o Metricbeat e o Filebeat. Para usá-lo ao instalar pela primeira vez ou ao atualizar de um agente privado instalação baseada em 11.34, siga estas etapas:

Execute o seguinte em um terminal ou PowerShell:

DockerLinuxWindows

cd /opt/jitterbit/scripts/
./configure_elasticsearch.sh

cd /opt/jitterbit/scripts/
./configure_elasticsearch.sh

cd "C:\Program Files\Jitterbit Agent\scripts\"
.\configure_elasticsearch.ps

Leia e responda aos seguintes prompts:
1. Prompt 1:
```
*************
***WARNING***
*************
Installing the metric configurations will backup and overwrite your metricbeat configuration files.
Do you wish to proceed?
1) Yes
2) No
```
  Insira o número correspondente à sua escolha, seguido pela tecla Enter. As escolhas são as seguintes:
  - 1: Continue o script. Se você tiver arquivos de configuração Metricbeat e Filebeat existentes (/etc/metricbeat/metricbeat.yml e /etc/filebeat/filebeat.yml), cópias de segurança são feitas (/etc/metricbeat/metricbeat.yml.jb.bak e /etc/filebeat/filebeat.yml.jb.bak) e novos são criados.
  - 2: Pare o script.
2. Prompt 2:
```
*************
***WARNING***
*************
Turning on Agent observability on the agent will turn on Enhanced Capability feature for the agent.
Enhanced Capability might affect the operation routing behavior for the agents.
Do you wish to proceed?
1) Yes
2) No
```
  Insira o número correspondente à sua escolha, seguido pela tecla Enter. As escolhas são as seguintes:
  - 1: Continue o script. Isso define EnhancedCapabilityMetricsEnabled para true no [AgentCapability] seção de jitterbit.conf.
  - 2: Pare o script.

Nota

Para habilitar a observabilidade em agentes privados do Docker, você deve usar variáveis de ambiente.

Importar um painel do Elasticsearch

Para importar um painel pré-criado do Elasticsearch, siga estas etapas:

Baixe o arquivo JSON do Jitterbit Agente privado Elasticsearch dashboard do portal Harmony Downloads página.
Entre kibana saved objects na barra de pesquisa do Elasticsearch e selecione a página resultante.
Clique no botão Importar.
Na caixa de diálogo Importar objetos salvos, clique em Importar, encontre o arquivo JSON do painel baixado e selecione-o.
Em Opções de importação, selecione Verificar objetos existentes com Substituir conflitos automaticamente.
Clique no botão Importar.
Clique no botão Concluído.
Para usar o painel, digite dashboards na barra de pesquisa do Elasticsearch, selecione a página resultante e, em seguida, selecione Jitterbit Harmony Agente privado Dashboard.

Solucionar problemas do Elasticsearch

Para ajudar a resolver quaisquer problemas com os componentes do Elasticsearch, você pode consultar a documentação do Elasticsearch, inspecionar arquivos de log ou executar comandos de diagnóstico.

Documentação do Elasticsearch

Metricbeat:
- perguntas frequentes frequentes do Metricbeat
- Depurar Metricbeat
Batida de arquivo:
- perguntas frequentes frequentes do Filebeat
- Depurar Filebeat

Locais dos arquivos de log do Elasticsearch

/var/log/metricbeat
/var/log/filebeat

Tipo de campo	Nome do campo
Palavra-chave	`fields.env`
Palavra-chave	`private-agent.group`
Palavra-chave	`private-agent.name`

Observabilidade (Beta) em agentes privados Jitterbit 11.37 ou posterior

Introdução

Use o Datadog para monitorar um agente privado Jitterbit

Pré-requisitos

Instalar o agente Datadog

Configurar o agente Datadog

Configurar métricas do Datadog

Criar facetas

Criar um campo calculado

Criar uma medida

Criar métricas de operação

Crie o metric.operation.count.by.status métrica de operação

Crie o metric.operation.running.over.scheduled.interval métrica de operação

Crie o metric.operation.duration.seconds métrica de operação

Criar métricas de processo

Crie o proc.openginebyname.cpu.num_threads Métrica de processo

Crie o proc.operationsengine.cpu.num_threads Métrica de processo

Importar um painel do Datadog

Solucionar problemas do Datadog

Documentação do Datadog

Localizações dos arquivos Datadog

Arquivos de log

Arquivos de configuração

Comandos de usuários e permissões do Datadog

Use Elasticsearch e Kibana para monitorar um agente privado Jitterbit

Pré-requisitos

Instalar Metricbeat e Filebeat

Defina a política de ciclo de vida do índice Kibana

Criar modelos Kibana

Configurar Metricbeat e Filebeat

Importar um painel do Elasticsearch

Solucionar problemas do Elasticsearch

Documentação do Elasticsearch

Locais dos arquivos de log do Elasticsearch

Crie o `metric.operation.count.by.status` métrica de operação

Crie o `metric.operation.running.over.scheduled.interval` métrica de operação

Crie o `metric.operation.duration.seconds` métrica de operação

Crie o `proc.openginebyname.cpu.num_threads` Métrica de processo

Crie o `proc.operationsengine.cpu.num_threads` Métrica de processo