Host monitoring for ECS with Managed Service for Prometheus - Managed Service for Prometheus

Managed Service for Prometheus admite la recopilación de métricas a nivel del sistema operativo desde hosts Linux o Windows de Elastic Compute Service (ECS) mediante node_exporter. También recopila datos de monitoreo relacionados con procesos mediante process_exporter y recupera métricas de monitoreo personalizadas que usted escribe en archivos a través del recolector textfile.

Requisitos previos

Managed Service for Prometheus está activado.
Managed Service for Prometheus está activado.
An ECS instance is created..
Resource Center is activated.
Hybrid Cloud Monitoring está activado.

Ventajas del monitoreo de hosts

El monitoreo de hosts proporciona una solución automatizada de observability para las instancias de Alibaba Cloud ECS. Esta solución abarca el descubrimiento de hosts, la instalación de agentes, la extracción de métricas y la generación de alertas.

Admite instancias de Alibaba Cloud ECS, servidores de centros de datos autogestionados y servidores de nubes de terceros. Para las instancias de ECS, el servicio instala automáticamente los exportadores y genera las configuraciones de extracción. Un agente administrado de Prometheus se encarga de extraer, almacenar, visualizar y generar alertas sobre las métricas. En los hosts que no pertenecen a Alibaba Cloud y no admiten el descubrimiento automático, instale manualmente el agente de Alibaba Cloud para enviar los datos.

Ventaja	Descripción
Descubrimiento de hosts casi en tiempo real	Adaptabilidad: el descubrimiento automático detecta cambios dinámicos en los recursos de la nube. Esto garantiza que todas las instancias en ejecución se monitoreen de inmediato. Versatilidad: admite varios tipos de descubrimiento, incluido el descubrimiento de servicios de Kubernetes y la integración con otros servicios en la nube.
Instalación de agentes casi en tiempo real	Conexión inmediata: la instalación automatizada de exportadores permite que el sistema reconozca nuevos nodos y recopile métricas sin intervención manual. Monitoreo integral: incluye node-exporter, process-exporter, GPU-exporter y exportadores de middleware para rastrear el rendimiento de toda la pila.
Extracción de métricas casi en tiempo real	Configuración simplificada: la generación automática de configuraciones reduce el trabajo manual y garantiza una extracción precisa de métricas en todos los nodos y servicios. Flexibilidad: las configuraciones ajustables se escalan para adaptarse a entornos de monitoreo complejos. Un host se integra entre 30 y 60 segundos después de su creación. Los intervalos de extracción se pueden ajustar de 1 a 60 segundos.
Agente serverless	Gestión centralizada: un agente administrado de Prometheus unifica la recopilación de datos y simplifica la arquitectura de monitoreo. La canalización de recopilación es transparente para los usuarios. Alta eficiencia: la abstracción de la complejidad del monitoreo reduce el riesgo de errores de configuración y mejora la precisión de los datos.
Etiquetas de métricas inteligentes	Extrae automáticamente etiquetas, grupos de recursos y regiones de las instancias de ECS, y las inserta como etiquetas de métricas. Se pueden agregar etiquetas personalizadas para identificar el negocio, el entorno y el origen de los datos.
Recopilación y almacenamiento de datos a gran escala	Admite la integración a gran escala mediante un modelo híbrido de recursos dedicados y compartidos. Los recursos se escalan dinámicamente según la cantidad de hosts integrados. El sistema de almacenamiento maneja grandes volúmenes de métricas con consultas de alto rendimiento.
Datos de monitoreo completos de componentes ascendentes y descendentes	La observability de extremo a extremo requiere integrar datos de monitoreo en distintas dimensiones. Esto refleja el estado de todo el ecosistema de aplicaciones y servicios. Abarca toda la pila, desde el hardware hasta la capa de aplicación. Incluye hosts, redes, servicios dependientes y servicios externos como redes RDMA, OSS y Redis.
Monitoreo a nivel de proceso	Rastrea el rendimiento de los procesos y el uso de recursos en el sistema operativo. Muestra el estado de las aplicaciones que se ejecutan en el servidor. Captura el uso de CPU, memoria, E/S de disco, hora de inicio, identificadores de archivos abiertos y la cantidad de hilos por proceso. La retroalimentación casi en tiempo real permite identificar problemas rápidamente. Ayuda a identificar los procesos que causan degradación del rendimiento, como fugas de memoria, alto uso de CPU o contención de recursos.
Paneles de Grafana de nivel experto incluidos de forma predeterminada	Incluye paneles de Grafana seleccionados por expertos: ECS Overview, ECS Detail, GPU Overview, GPU Detail y Node Process. Experiencia de monitoreo de hosts lista para usar con un solo clic.

Paso 1: Integrar los datos de monitoreo de hosts

Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, haga clic en Integration Center.
En la página Integration Center, haga clic en Infrastructure en el panel de navegación izquierdo y luego haga clic en Host Monitoring.
Nota
- Managed Service for Prometheus utiliza Resource Center para descubrir VPC e instancias de ECS. Si Resource Center no está activado, el proceso de integración lo guiará para activarlo. Activate Resource Center.
- La activación de Resource Center es una operación asíncrona. Si el estado no se actualiza, espere de 10 a 20 segundos y haga clic en Redetect.

En el panel que aparece, seleccione la VPC de destino y configure la Configuration Information como se describe en la siguiente tabla.

Parámetro	Descripción
Policy name	Opcional. Nombre de esta integración.
Notes	Esta función recopila métricas sin agente para ECS desde Cloud Monitor. También puede instalar exportadores, como Node-Exporter, Process-Exporter o Windows-Exporter, para recopilar métricas del agente del host. La instalación de un agente en un host de un entorno de producción se considera un cambio de producción. Envíe una solicitud de cambio según los estándares de su organización. Si el acceso entre regiones está habilitado, no podrá usar un agente para recopilar métricas de nodos, procesos o Windows. Actualmente no se admite la instalación de exportadores en LifseaOS. Las instancias que ejecutan LifseaOS se omiten automáticamente. Uso de recursos: el agente se ejecuta como un servicio systemd con GOMAXPROCS=1, un límite de CPU del 30 % y un límite de memoria de 256 MB. El uso de recursos es bajo en condiciones normales. La sobrecarga de recopilación aumenta según la cantidad de procesos en el host. Advertencia de riesgo: al habilitar la función Collect Process PSS Memory Metrics, se lee el archivo smaps de cada proceso y se retiene brevemente mmap_lock. Esto puede introducir variaciones de latencia en procesos que usan grandes cantidades de memoria o realizan operaciones mmap frecuentes. Si no necesita métricas de Proportional Set Size (PSS), deshabilite esta función.
Node-exporter installation mode	Automatic Installation (Recommended): Instala node-exporter automáticamente en las instancias de ECS seleccionadas. No requiere pasos manuales. Self-installation: Instale node-exporter por su cuenta.
Host discovery mode	Stain label selection: Mecanismo de lista de bloqueados. Se excluyen las instancias con etiquetas coincidentes. De forma predeterminada, no se extraen datos de los nodos del servicio de monitoreo de contenedores. Unconditional: Instala exportadores y recopila métricas de monitoreo de todos los hosts de ECS en la VPC actual. Tag selection: Mecanismo de lista de permitidos. Solo se integran las instancias con etiquetas coincidentes. IP CIDR selection: Integra las instancias cuya IP se encuentra dentro del bloque CIDR especificado. Introduzca el bloque CIDR de la VPC para seleccionar todas las instancias de dicha VPC. Instance ID: Especifique los identificadores de instancia, separados por comas (,).




ECS stain label	Cada etiqueta de restricción es un par clave-valor. Puede establecer varias etiquetas.
Collect TextFile	Indica si se extraen métricas de Prometheus de un archivo específico.
Collect process status metrics	Recopila datos de monitoreo de procesos de forma predeterminada.
Collect Process PSS Memory Metrics	Cuando está habilitada, lee el archivo `smaps` de cada proceso para recopilar PSS (memoria residente de tamaño de conjunto proporcional) y métricas relacionadas.
Node-Exporter Service Port	El puerto predeterminado es 9100. Si arms-prometheus y ack-prometheus-operator están instalados en el mismo clúster de ACK, ambos conjuntos de node-exporter usan el puerto 9100 de forma predeterminada. Esto puede causar un conflicto de puertos y provocar errores en el servicio.
Metric scrape interval (seconds)	Intervalo de extracción. Valor predeterminado: 15 segundos.
Automatically configure security groups	Habilitada de forma predeterminada.
Custom ECS tag injection	Especifique una clave de etiqueta de ECS. El sistema inserta el par clave-valor de la etiqueta en las métricas de Prometheus como etiquetas.

Haga clic en OK. Espere de 1 a 2 minutos para que finalice la integración.

Nota

Si no aparecen datos en el panel después de la integración, compruebe que las reglas de entrada del security group de ECS permitan que los bloques CIDR 100.64.0.0/10 y 192.168.0.0/18 accedan a los puertos 9100 y 9256 (puertos predeterminados de node-exporter y process-exporter). View security group rules. Si usa puertos diferentes, ajuste las reglas según corresponda.

Solucionar y resolver conflictos de puertos de node-exporter

Cuando arms-prometheus y ack-prometheus-operator se despliegan en el mismo clúster de ACK, sus respectivos DaemonSets de node-exporter compiten por el hostPort 9100. Esto impide que uno de los conjuntos de pods de node-exporter se inicie. Para resolverlo, cambie el puerto de uno de los DaemonSets de node-exporter a 9101.

Ejecute los siguientes comandos para confirmar qué pods de node-exporter del DaemonSet no se pudieron programar:
```
kubectl get pods -A | grep node-exporter
kubectl describe pod <pod-name> -n <namespace>
```

Edite el DaemonSet en conflicto:

kubectl edit daemonset <daemonset-name> -n <namespace>

En el YAML del DaemonSet, busque el argumento --secure-listen-address y cambie el puerto de 9100 a 9101. Actualice también los valores de containerPort y hostPort a 9101:
```
args:
- --secure-listen-address=0.0.0.0:9101
...
ports:
- containerPort: 9101
  hostPort: 9101
  name: https
```
Guarde y salga. Compruebe que los pods de node-exporter se reinicien y se estén ejecutando en el nuevo puerto.

Nota
Si el componente se instaló originalmente con Helm, una ejecución posterior de helm upgrade podría sobrescribir los cambios. Antes de actualizar, respalde la configuración modificada o bloquee la versión del chart.

Configurar un ServiceMonitor para monitoreo personalizado

Después de resolver el conflicto de puertos, configure un ServiceMonitor en la consola de ARMS para extraer métricas de la instancia de node-exporter en el nuevo puerto.

Inicie sesión en la consola de ARMS.
En el panel de navegación izquierdo, elija Prometheus Monitoring > Service Discovery.
Haga clic en Create ServiceMonitor. En el panel de creación, seleccione YAML Mode.

Introduzca una configuración de ServiceMonitor que apunte a su servicio node-exporter en el puerto 9101. A continuación se muestra un ejemplo:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: node-exporter-custom
  namespace: <namespace>
spec:
  endpoints:
  - port: https
    interval: 15s
    scheme: https
    tlsConfig:
      insecureSkipVerify: true
  namespaceSelector:
    matchNames:
    - <namespace>
  selector:
    matchLabels:
      app.kubernetes.io/name: node-exporter

Reemplace <namespace> con el namespace donde se desplegó node-exporter.

Haga clic en OK. El ServiceMonitor surte efecto en unos minutos.

Paso 2: Consultar los paneles de monitoreo

Inicie sesión en la consola de ARMS.
En el panel de navegación izquierdo, haga clic en Integration Management.
En la página Integration Management, haga clic en la pestaña Integrated Environments y seleccione ECS Environment.
En la lista ECS Environment, haga clic en el nombre del entorno de destino para abrir su página de detalles.
En la pestaña Component Management, dentro de la sección Addon Type, haga clic en Dashboard para consultar los paneles de Grafana integrados.

Paso 3: Configurar alertas

Inicie sesión en la consola de Managed Service for Prometheus. En el panel de navegación izquierdo, haga clic en Integration Management.
En la página Integration Management, haga clic en la pestaña Integrated Environments y seleccione ECS Environment.
En la lista ECS Environment, haga clic en el nombre del entorno de destino para abrir su página de detalles.
En la pestaña Component Management, dentro de la sección Addon Type, haga clic en Alarm Rules para consultar las reglas de alerta integradas.

Nota

Las reglas de alerta integradas generan eventos, pero no envían notificaciones. Para enviar notificaciones, haga clic en Edit y configure un método de notificación. También puede personalizar umbrales, duraciones y contenido. Create alert rules for a Prometheus instance.
En Simple Mode, puede establecer los destinatarios de la notificación, el período de notificación y la directiva de repetición.

Managed Service for Prometheus:observability de ECS