Observabilidad (Beta) en agentes privados de Jitterbit 11.37 o posterior

Introducción

Puedes monitorear de forma remota el rendimiento y el comportamiento de un agente privado en tiempo real con cualquiera de las siguientes plataformas de observación compatibles:

• Datadog
• Elasticsearch

Antes de poder comenzar a monitorear los agentes privados que se ejecutan en Docker, Linux, o Windows, debe instalar el agente de la plataforma de observación elegida en cada agente privado que desee monitorear y configurar sus métricas.

sudo datadog-agent start

sudo metricbeat start
sudo filebeat start

Instalar Datadog en un alojar de agente privado Jitterbit

Requisitos previos de Datadog

Para instalar Datadog en un alojar de agente privado, debe tener lo siguiente:

• Agente privado 11.37.0.7 o posterior instalado y en ejecución.

• Una cuenta Datadog.

• Un superusuario (root) en Linux, o una cuenta de Administrador en Windows.

  Importante

  Ejecuta todos los comandos como este usuario.

Instalar el agente Datadog

Para instalar el agente Datadog en un alojar de agente privado, siga estos pasos:

1. Inicie sesión en su cuenta Datadog.
2. Desde el menú principal, seleccione Integraciones > Agente.
3. En la página Instrucciones de instalación del Agente, seleccione su tipo de alojar de agente privado.
4. Haga clic en el botón Clave API. Se abrirá el cuadro de diálogo Seleccionar una clave API.
5. Si no tiene ninguna clave API, haga clic en Botón Crear nuevo para crear uno. De lo contrario, seleccione la entrada de clave API y luego haga clic en el botón Usar clave API.
6. En el Comando de instalación del Agente, haga clic en Haga clic en el ícono Copiar para copiar el comando a su portapapeles.
7. Abra una terminal o PowerShell en el alojar del agente privado, pegue el comando copiado y luego presione Enter para ejecutarlo.
8. Cierre la terminal o PowerShell.

Configurar el agente Datadog

El software del agente privado Jitterbit incluye un secuencia de comandos para configurar Datadog. Para usarlo durante la primera instalación o al actualizar desde un agente privado instalación basada en 11.34, siga estos pasos:

1. Para los agentes privados de Docker, el valor de hostname propiedad en el /etc/datadog-agent/datadog.yaml Debe configurarse con el nombre de host del host. Si no es así, configúrelo manualmente.

2. Ejecute lo siguiente en una nueva terminal o PowerShell en el alojar del agente privado:

   AcopladorLinuxWindows

   cd /opt/jitterbit/scripts/
   ./configure_datadog.sh
   

   cd /opt/jitterbit/scripts/
   ./configure_datadog.sh
   

   cd "C:\Program Files\Jitterbit Agent\scripts\"
   .\configure_datadog.ps
   

3. Lea y responda las indicaciones.

4. Para confirmar que su agente Datadog está funcionando, inicie sesión en su cuenta Datadog y luego seleccione Integraciones > Automatización de flotas en el menú principal.

Crear facetas

Para definir facetas de Datadog, siga estos pasos:

1. Seleccione Registros > Explorador.
2. Filtre los registros por el Host de su agente y el servicio JitterbitAgentMetric.
3. (Opcional) Verifique que los registros de su agente estén en formato JSON. Para ello, seleccione una entrada de registro reciente y luego verifique que la columna CONTENIDO contenga un mensaje de registro con formato JSON.
4. En la barra Buscar facetas, haga clic en Agregar (Agregar una faceta).
5. En el campo Ruta del cuadro de diálogo Agregar faceta, ingrese el texto que se muestra a continuación y luego haga clic en el botón Agregar. Repita el procedimiento para cada elemento de la siguiente lista:
   • @environment_id
   • @environment_name
   • @is_operation_over_schedule
   • @name
   • @operation_id
   • @operation_instance_guid
   • @operation_name
   • @organization_id
   • @project_guid
   • @project_name
   • @status

Crear un campo calculado operation_duration_seconds

Para crear un campo calculado, siga estos pasos:

1. Seleccione Registros > Explorador.
2. Haga clic en el botón Agregar y, luego, seleccione Campo calculado.
3. En el cuadro de diálogo Crear un campo calculado, establezca valores para los siguientes campos:
   • Asigne un nombre a su campo: operation_duration_seconds
   • Define tu fórmula: @fields.duration_seconds
4. Haga clic en el botón Guardar.

Crear una medida@operation_duration_seconds

Para crear una medida, siga estos pasos:

1. Seleccione Registros > Explorador.
2. En la barra Facetas de búsqueda, haga clic en Agregar (Agregar una faceta).
3. En el cuadro de diálogo Agregar faceta, seleccione la pestaña Medir.
4. En el campo Ruta, ingrese @operation_duration_seconds.
5. Haga clic en el botón Agregar.

Crear métricas de operación

Para definir métricas de operación, seleccione Registros > Generar métricas, luego siga los pasos a continuación para cada métrica de operación.

Crear una métrica metric.operation.count.by.status

1. Haga clic en Botón Nueva métrica.
2. En el cuadro de diálogo Generar métrica, establezca los valores de la siguiente manera:
   • Establecer nombre de métrica: metric.operation.count.by.status
   • Definir consulta: service:JitterbitAgentMetric @name:operation_log
3. Haga clic en el menú agrupar por y, a continuación, haga clic en cada uno de los siguientes elementos para agregarlos a la lista:
   • @fields.operation_id
   • @fields.operation_name
   • @fields.status
   • @agentgroup
   • @host
4. Haga clic en el botón Crear métrica.

Crear una métrica metric.operation.running.over.scheduled.interval

1. Haga clic en Botón Nueva métrica.
2. En el cuadro de diálogo Generar métrica, establezca los valores de la siguiente manera:
   • Establecer nombre de métrica: metric.operation.running.over.scheduled.interval
   • Definir consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
3. Haga clic en el menú agrupar por y haga clic en cada uno de los siguientes para agregarlos a la lista:
   • @fields.operation_id
   • @fields.operation_name
   • @agentgroup
   • @host
4. Haga clic en el botón Crear métrica.

Crear una métrica metric.operation.duration.seconds

1. Haga clic en Botón Nueva métrica.
2. En el cuadro de diálogo Generar métrica, establezca los valores de la siguiente manera:
   • Establecer nombre de métrica: metric.operation.duration.seconds
   • Definir consulta: service:JitterbitAgentMetric @name:operation_running_over_scheduled_interval
3. Haga clic en el menú agrupar por y haga clic en cada uno de los siguientes para agregarlos a la lista:
   • @fields.operation_id
   • @fields.operation_name
   • @agentgroup
   • @host
4. Haga clic en el botón Crear métrica.

Crear métricas de proceso

Para definir métricas de proceso, seleccione Infraestructura > Procesos, seleccione la pestaña Administrar métricas y luego siga los pasos a continuación para cada métrica de proceso.

Crear una métrica proc.openginebyname.cpu.num_threads

1. Haga clic en el botón Nueva métrica.
2. En la sección 1, Filtrar procesos, en el campo Filtrar por, ingrese command:JitterbitOperationEngineProc.
3. En la sección 2, Seleccionar medida y dimensiones, establezca valores para los siguientes campos:
   • Abra el menú Medida, luego seleccione # de hilos.
   • Abra el menú Dimensiones, luego seleccione nombre.
4. En la sección 4, Nombre, en el campo metric.name, ingrese openginebyname para que el nombre sea proc.openginebyname.cpu.num_threads.
5. Haga clic en el botón Crear.

Crear una métrica proc.operationsengine.cpu.num_threads

1. Haga clic en el botón Nueva métrica.
2. En la sección 1, Filtrar procesos, en el campo Filtrar por, ingrese command:JitterbitOperationEngineProc.
3. En la sección 2, Seleccionar medida y dimensiones, establezca valores para los siguientes campos:
   • Abra el menú Medida, luego seleccione # de subprocesos.
   • Abra el menú Dimensiones, luego seleccione agentgroup.
4. En la sección 4, Nombre, en el campo metric.name, ingrese operationsengine para que el nombre sea proc.operationsengine.cpu.num_threads.
5. Haga clic en el botón Crear.

Importar un panel de control de Datadog

Para importar un panel de Datadog prediseñado, siga estos pasos:

1. Descargue el archivo JSON del panel de control de Jitterbit Agente privado Datadog desde el portal Harmony Descargas página.

2. Seleccione Paneles de control > Nuevo panel.

3. En el cuadro de diálogo Crear un panel, ingrese un nombre en el campo Nombre del panel y luego haga clic en el botón Nuevo panel.

4. Haga clic en el botón Botón Configurar, luego seleccione Importar JSON del panel.

5. Busque el archivo JSON del panel descargado y selecciónelo.

6. Para usar el panel, seleccione Paneles > Lista de paneles, ingrese Jitterbit Harmony Agente privado en el campo Buscar paneles y luego seleccione el panel importado.

Solucionar problemas de Datadog

Para solucionar cualquier problema con Datadog, puede consultar la documentación de Datadog, inspeccionar los archivos de registro o ejecutar comandos para administrar usuarios y permisos.

Documentación de Datadog

• Modo de depurar de Datadog
• identificar y solucionar problemas de verificación del agente Datadog

Ubicaciones de archivos de Datadog

Archivos de registro

Los archivos de registro de Datadog se pueden encontrar en la siguiente ubicación:

Archivos de configuración

El archivo de configuración de Datadog se puede encontrar en la siguiente ubicación:

En este archivo, debe verificar que tenga los valores correctos para las siguientes claves:

• api_key

• site

• $hostname

• tags

Comandos de permisos y usuarios de Datadog

Para crear un usuario y un grupo de Datadog, ejecute estos comandos:

usermod -a -G root dd-agent
usermod -a -G jitterbit dd-agent

Para establecer la propiedad del archivo de configuración de Datadog, ejecute estos comandos:

chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d/conf.yaml
chown dd-agent:dd-agent /etc/datadog-agent/conf.d/logs.d

Instalar Metricbeat en un alojar de agente privado

Requisitos previos de Metricbeat

Antes de poder instalar Metricbeat en un alojar de agente privado, debe instalar lo siguiente:

• Elasticsearch
• Kibana

Instalar Metricbeat y Filebeat

Ritmo métrico

Para instalar Metricbeat en un alojar de agente privado, siga las instrucciones de Metricbeat en el sitio web de Elastic.co.

Para iniciar Metricbeat cuando se inicia el alojar, siga las instrucciones de inicio de Metricbeat en el sitio web Elastic.co.

Archivo Beat

Para instalar Filebeat en un alojar de agente privado, siga las instrucciones de Filebeat en el sitio web de Elastic.co.

Para iniciar Filebeat cuando se inicia el alojar, siga las instrucciones de inicio de Filebeat en el sitio web Elastic.co.

Establecer la política del ciclo de vida del índice de Kibana

1. Abra la consola web de Kibana en http://HOSTNAME:5601, dónde HOSTNAME es el nombre de host o la dirección IP del alojar del agente privado.
2. Entrar index lifecycle policies en la barra de búsqueda de Elasticsearch, luego seleccione la página resultante.
3. Haga clic en Botón Crear política.
4. En el cuadro de diálogo Crear política, configure los siguientes valores:
   • Nombre de la política: private-agent-metrics-policy
5. Active el interruptor Fase cálida y, a continuación, configure los siguientes valores:
   • Mover datos a la fase cuando: 30 días
6. Active el interruptor Fase fría y, a continuación, configure los siguientes valores:
   • Mover datos a la fase cuando: 90 días
7. Haga clic en el botón Botón Guardar política

Crear plantillas de Kibana

Crea una modelo de Kibana (private-agent-metric-template)

1. Ingresar index management en la barra de búsqueda de Elasticsearch, luego seleccione la página resultante.

2. Seleccione la pestaña Plantillas de índice y luego haga clic en Botón Crear modelo.

3. En la página Logística, ingrese valores para los siguientes campos:

   • Nombre: private-agent-metric-template

   • Patrones de índice: private-agent-metric-8.15-*

4. Haga clic en Siguiente botón.

5. En la página Plantillas de componentes, haga clic en el botón Siguiente botón.

6. En la página Configuración del índice, reemplace el contenido del campo Configuración del índice por lo siguiente:

   {
     "index": {
       "lifecycle": {
         "name": "private-agent-metrics-policy",
         "rollover_alias": "private-agent-metric-alias"
       },
       "number_of_shards": "1",
       "number_of_replicas": "1"
     }
   }
   

7. Haga clic en Siguiente botón.

8. En la página Mappings, en la pestaña Campos mapeados, agregue campos de acuerdo con la siguiente tabla (haga clic en el botón Agregar campo para agregar campos adicionales):

   Tipo de campo	Nombre del campo
   Palabra clave	fields.env
   Palabra clave	private-agent.group
   Palabra clave	private-agent.name

9. Seleccione la pestaña Opciones avanzadas y luego configure los siguientes botones en Activado:

   • Asignar cadenas numéricas a números

   • Asignar cadenas de fechas como fechas

10. Haga clic en Siguiente botón.

11. En la página Alias, haga clic en el botón Siguiente botón.

12. En la página Revisar detalles, haga clic en el botón Botón Crear modelo.

Crea una modelo de Kibana (private-agent-filebeat-template)

1. En la pestaña Plantillas de índice, haga clic en Botón Crear modelo.
2. En la página Logística, ingrese valores para los siguientes campos:
   • Nombre: private-agent-filebeat-template
   • Patrones de índice: private-agent-filebeat-8.15-*
3. Haga clic en Siguiente botón.
4. En la página Plantillas de componentes, haga clic en el botón Siguiente botón.

5. En la página Configuración del índice, reemplace el contenido del campo Configuración del índice por lo siguiente:

   {
     "index": {
       "lifecycle": {
         "name": "private-agent-metrics-policy",
         "rollover_alias": "private-agent-metric-alias"
       },
       "number_of_shards": "1",
       "number_of_replicas": "1"
     }
   }
   

6. Haga clic en Siguiente botón.

7. En la página Mappings, en la pestaña Campos mapeados, agregue campos de acuerdo con la siguiente tabla (haga clic en el botón Agregar campo para agregar campos adicionales):

   Tipo de campo	Nombre del campo
   Palabra clave	message.fields.environment_name
   Palabra clave	message.fields.operation_name
   Palabra clave	message.fields.project_name
   Palabra clave	message.fields.status
   Palabra clave	private-agent.group
   Palabra clave	private-agent.name

8. Seleccione la pestaña Opciones avanzadas y luego configure los siguientes botones en Activado:

   • Asignar cadenas numéricas a números
   • Asignar cadenas de fechas como fechas
9. Haga clic en Siguiente botón.
10. En la página Alias, haga clic en el botón Siguiente botón.
11. En la página Revisar detalles, haga clic en el botón Botón Crear modelo.

Crear analizadores de Kibana

Cree una canalización del analizador Kibana Grok (Over Schedule)

1. Ingresar ingest pipelines en la barra de búsqueda de Elasticsearch, luego seleccione la página resultante.
2. Haga clic en Crear canalización y seleccione Nueva canalización.
3. Ingrese valores para los siguientes campos:
   • Nombre: private-agent-metric-pipeline
   • Descripción: Ingrese una descripción opcional.
4. En el panel Procesadores, haga clic en el botón Agregar un procesador.

5. En el cuadro de diálogo Agregar procesador, configure los siguientes campos:

   • Procesador: Abra el menú y luego seleccione Grok.
   • Campo: message

   • Patrones: En el primer campo =, ingrese lo siguiente:

     %{GREEDYDATA:operation_timestamp} \[AgentMetric, Informative\] The requested scheduled Operation is already being processed. OperationId = %{NUMBER:over_running_operation_id:int} OperationName = "%{GREEDYDATA:over_running_operation_name}" \[SCHEDULE_IN_PROCESS\]
     

6. Active Ignorar fallas para este procesador.

7. Haga clic en el botón Agregar procesador.
8. En la lista de procesadores, haga clic en el botón icono y luego cambie el nombre a Over Schedule.

Cree una canalización del analizador Kibana Grok (Added Status)

1. En el panel Procesadores, haga clic en el botón Agregar un procesador.

2. En el cuadro de diálogo Agregar procesador, configure los siguientes campos:

   • Procesador: Abra el menú y seleccione Grok.
   • Campo: message

   • Patrones: En el primer campo =, ingrese lo siguiente:

     %{GREEDYDATA:timestamp} \[AgentMetric, Informative\] %{GREEDYDATA:status} to queue: OperationID = %{NUMBER:scheduled_operation_id:int} and OperationName = %{GREEDYDATA:scheduled_operation_name} and OperationInstanceGuid = %{GREEDYDATA:scheduled_operation_instance_guid}
     

3. Active Ignorar fallas para este procesador.

4. Haga clic en el botón Agregar procesador.
5. En la lista de procesadores, haga clic en el botón icono y luego cambie el nombre a Estado agregado.

Cree una canalización del analizador Kibana Grok (Finished Status)

1. En el panel Procesadores, haga clic en el botón Agregar un procesador.

2. En el cuadro de diálogo Agregar procesador, configure los siguientes campos:

   • Procesador: Abra el menú y seleccione Grok.
   • Campo: message

   • Patrones: En el primer campo =, ingrese lo siguiente:

     %{GREEDYDATA:status_ts} \[AgentMetric, Informative\] Operation changed to %{GREEDYDATA:status}: OperationID = %{NUMBER:scheduled_operation_id:int} and Operation Name = \"%{GREEDYDATA:scheduled_operation_name}\" and OperationInstanceGuid = %{GREEDYDATA:scheduled_operation_instance_guid}
     

3. Active Ignorar fallas para este procesador.

4. Haga clic en el botón Agregar procesador.
5. En la lista de procesadores, haga clic en el botón icono y luego cambie el nombre a Estado Finalizado.

Cree una canalización del analizador Kibana Grok (Running Status)

1. En el panel Procesadores, haga clic en el botón Agregar un procesador.

2. En el cuadro de diálogo Agregar procesador, configure los siguientes campos:

   • Procesador: Abra el menú y seleccione Grok.
   • Campo: message

   • Patrones: En el primer campo =, ingrese lo siguiente:

     %{GREEDYDATA:status_ts} \[AgentMetric, Informative\] Operation %{GREEDYDATA:status}: OperationID = %{NUMBER:scheduled_operation_id:int} and Operation Name = \"%{GREEDYDATA:scheduled_operation_name}\" and OperationInstanceGuid = %{GREEDYDATA:scheduled_operation_instance_guid} and Status = %{NUMBER:scheduled_operation_status} and Duration = %{NUMBER:scheduled_operation_duration:float}
     

3. Active Ignorar fallas para este procesador.

4. Haga clic en el botón Agregar procesador.
5. En la lista de procesadores, haga clic en el botón icono y luego cambie el nombre a Estado de ejecución.

Establecer el orden de los procesadores

Si aún no lo ha hecho, reorganice la lista de procesadores para que quede en el siguiente orden:

1. Superado el cronograma
2. Estado agregado
3. Estado finalizado
4. Estado en ejecución

Configurar el agente Metricbeat

El agente privado Jitterbit incluye un secuencia de comandos para configurar Metricbeat. Para usarlo durante la primera instalación o al actualizar desde un agente privado instalación basada en 11.34, siga estos pasos:

1. Ejecute lo siguiente en una terminal o PowerShell:

   DockerLinuxWindows

   cd /opt/jitterbit/scripts/
   ./configure_elasticsearch.sh
   

   cd /opt/jitterbit/scripts/
   ./configure_elasticsearch.sh
   

   cd "C:\Program Files\Jitterbit Agent\scripts\"
   .\configure_elasticsearch.ps
   

2. Lea y responda las indicaciones.

Importar un panel de Elasticsearch

Para importar un panel de Elasticsearch prediseñado, siga estos pasos:

1. Descargue el archivo JSON del panel de Elasticsearch del Agente privado Jitterbit desde el portal Harmony Descargas página.
2. Ingresar kibana saved objects en la barra de búsqueda de Elasticsearch, luego seleccione la página resultante.
3. Haga clic en el botón Importar.
4. En el cuadro de diálogo Importar objetos guardados, haga clic en Importar, busque el archivo JSON del panel descargado y selecciónelo.
5. En Opciones de importación, seleccione Verificar objetos existentes con Sobrescribir conflictos automáticamente.
6. Haga clic en el botón Importar.
7. Haga clic en el botón Listo.
8. Para utilizar el panel de control, ingrese dashboards En la barra de búsqueda de Elasticsearch, seleccione la página resultante y luego seleccione Jitterbit Harmony Agente privado Dashboard.

Solucionar problemas de Elasticsearch

Para ayudar a resolver cualquier problema con los componentes de Elasticsearch, puede consultar la documentación de Elasticsearch, inspeccionar los archivos de registro o ejecutar comandos de diagnóstico.

Documentación de Elasticsearch

• Ritmo métrico:
  • preguntas frecuentes sobre Metricbeat
  • Depuración de Metricbeat
• Archivo Beat:
  • preguntas frecuentes Filebeat
  • Depuración de archivos

Ubicaciones de los archivos de registro de Elasticsearch

• /var/log/metricbeat- /var/log/filebeat

Comandos de diagnóstico de Elasticsearch

Para comprobar la conexión de Filebeat a Elasticsearch, ejecute el siguiente comando:

filebeat test output