Platform For AI:Monitoreo y alertas de entrenamiento

Facturación

El uso del servicio CloudMonitor genera cargos. Para obtener información detallada sobre facturación, consulte Billing of CloudMonitor.

Consulta de datos de monitoreo

1. Inicie sesión en la consola de Cloud Monitor.

2. En el panel de navegación izquierdo, elija Visualization > Cloud Service Monitoring Dashboard.

3. En la página cloud service monitoring dashboard, seleccione PAI-Deep Learning Containers (DLC) y luego, en el cuadro de búsqueda, seleccione o busque un workspace ID para ver las gráficas de monitoreo correspondientes. Para encontrar su ID de espacio de trabajo, consulte Manage workspaces.

   El área de gráficas de monitoreo muestra tres paneles de métricas de GPU en la pestaña job dimension: GPU Memory Interface Utilization (Job Dimension) (%), GPU Compute Utilization (Job Dimension) (%) y GPU SM Utilization (Job Dimension) (%). El periodo de reporte de estas métricas es de 10 segundos.

   En las gráficas de monitoreo, puede:

   • Cambiar dimensiones de monitoreo: Mostrar métricas por dimensión de trabajo, pod (worker) o GPU.

     • Haga clic en la pestaña job dimension. Seleccione o introduzca un ID de trabajo de DLC para consultar los datos de monitoreo de un solo trabajo.

     • Haga clic en la pestaña pod dimension. Seleccione o introduzca un ID de pod para consultar los datos de monitoreo de un solo pod.

     • Haga clic en la pestaña GPU Level. Seleccione o introduzca un ID de pod para consultar datos de monitoreo de dimensión de GPU para un solo pod en un trabajo de DLC específico.

   • Modificar el intervalo de tiempo: Puede seleccionar 1 hour, 3 hours, 6 hours, 12 hours, 1 day, 3 days, 7 days, 14 days o un periodo Custom.

   • Acercar: Haga clic en el icono de zoom en la esquina superior derecha de cada gráfica para consultar datos de monitoreo detallados.

Configuración de alertas

Puede configurar reglas de alerta para monitorear los niveles de recursos de los trabajos de PAI-Deep Learning Containers (DLC). Si una métrica de recurso infringe una regla, el sistema envía una notificación de alerta. Esta sección describe cómo configurar alertas mediante la consola de CloudMonitor y las API.

Configuración de contactos de alerta

1. Inicie sesión en la consola de Cloud Monitor.

2. En el panel de navegación izquierdo, elija Alerts > Alert Contacts.

3. En la pestaña Alert Contacts, haga clic en Create Contact, introduzca el nombre, número de teléfono, dirección de correo electrónico o URL de webhook del contacto, y haga clic en Confirm.

4. En la pestaña Alert Contact Group, haga clic en Create Contact Group, introduzca un nombre para el grupo y agregue contactos de alerta existentes al grupo, y luego haga clic en Confirm.

Configuración de reglas de alerta

1. En el panel de navegación izquierdo de la consola de CloudMonitor, elija Cloud Resource Monitoring > Cloud Service Monitoring.

2. En la página Cloud Service Monitoring, abra PAI-Deep Learning Containers (DLC). En el cuadro de búsqueda, introduzca PAI-Deep Learning Containers (DLC). En los resultados de búsqueda, bajo la categoría Metric Monitoring, haga clic en PAI-Deep Learning Containers (DLC).

3. En la página PAI-Deep Learning Containers (DLC), seleccione su región de servicio y haga clic en Create Alert Rule.

4. En el panel Create Alert Rule, configure los siguientes parámetros y haga clic en Confirm.

   Parámetro	Descripción
   Product	El producto a monitorear. Seleccione PAI-Deep Learning Containers (DLC).
   Resource Scope	El alcance de la regla de alerta. Opciones: All Resources e instance. All Resources: Se envía una notificación de alerta si algún recurso de DLC cumple con la regla de alerta. instance: En la sección Associate Resources, debe agregar los espacios de trabajo que desea asociar. Solo se envía una notificación de alerta cuando un trabajo de DLC en los espacios de trabajo agregados cumple con la regla de alerta.
   Rule Description	Las condiciones que activan la alerta. Se activa una alerta cuando los datos de monitoreo cumplen estas condiciones. Para obtener más información sobre cómo establecer una descripción de regla, consulte Create an alert rule.
   Mute For	El intervalo de reenvío para alertas no resueltas.
   Effective Period	El periodo durante el cual la regla de alerta está activa. CloudMonitor solo comprueba si hay alertas durante este periodo.
   Tags	Etiquetas personalizadas para la regla de alerta, especificadas como pares clave-valor.
   Alert Contact Group	El grupo de contactos que recibe las notificaciones de alerta. Seleccione un grupo con contactos de alerta configurados.

5. En la página PAI-Deep Learning Containers (DLC), haga clic en View Alert Rules para consultar los detalles y el historial de sus reglas de alerta. También puede modificar las reglas.

Suscripción a métricas de monitoreo

CloudMonitor proporciona un conjunto completo de operaciones de API que puede utilizar para suscribirse a métricas y datos de monitoreo de DLC. Esto le permite crear sus propios sistemas de monitoreo y paneles. Para conocer los pasos detallados, consulte Cloud Service Monitoring API Directory.

El siguiente ejemplo muestra cómo llamar a la operación de API DescribeMetricList para consultar los datos de monitoreo de una métrica específica para PAI-Deep Learning Containers (DLC).

1. Vaya a la página Métricas para PAI-Deep Learning Containers (DLC).

2. En la página de lista de métricas, busque la métrica objetivo, como JOB_GPU_ACCELERATOR_DUTTY_UTIL, y haga clic en Get Metric Data en la columna Actions para ir a la página de OpenAPI Portal.

3. En la página de OpenAPI Portal, configure los siguientes parámetros clave y deje los demás con sus valores predeterminados. Para obtener más información sobre los parámetros, consulte DescribeMetricList.

   Parámetro	Descripción
   Namespace	Establezca este parámetro en acs_pai_dlc.
   MetricName	La métrica a consultar. Ejemplo: CARD_GPU_DRAM_ACTIVE_UTIL.
   StartTime	La hora de inicio. Ejemplo: 2024-05-15 00:00:00.
   EndTime	La hora de finalización. Ejemplo: 2024-05-28 00:00:00. Nota El intervalo entre StartTime y EndTime debe ser de 31 días o menos.

4. Después de configurar los parámetros, haga clic en Initiate Call para consultar los datos de monitoreo del intervalo de tiempo especificado. Una llamada exitosa devuelve un código de estado 200. La matriz Datapoints en el cuerpo de la respuesta contiene campos de datos como timestamp, jobId, regionId, userId, workspaceId y Value.

Facturación

El uso de ARMS genera cargos. Para obtener detalles sobre facturación, consulte ARMS billing.

Integración de datos de monitoreo

Para integrar datos de monitoreo de DLC en ARMS:

1. Inicie sesión en la consola de ARMS y, en el panel de navegación izquierdo, haga clic en Integration Center.

2. En la página Integration Center, haga clic en la pestaña Artificial Intelligence y luego en PAI-DLC Distributed Training Service.

3. En el panel que aparece, en la pestaña Start Provisioning, seleccione una Data Storage Region, introduzca un Integration Name y luego haga clic en OK.

   La integración tarda aproximadamente de 1 a 2 minutos. También puede cambiar a las pestañas Effect Preview, Collected Metrics y Alert Rule Templates para consultar el panel de métricas, las métricas compatibles, así como los nombres y detalles de las plantillas de reglas de alerta.

4. Una vez completada la integración, puede hacer clic en Provisioning para consultar los detalles del entorno aprovisionado.

Panel de Grafana

1. Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, seleccione Provisioning. En la pestaña Provisioned Environments > Cloud Service Region Environment, haga clic en el nombre del entorno.

2. En la pestaña Component Management, en la sección Component Type, seleccione PAI-DLC Distributed Training Service y luego haga clic en Dashboards a la derecha para consultar los paneles integrados de Grafana.

3. Haga clic en el nombre de un panel para consultar el panel de monitoreo. El panel PAI-DLC Distributed Training Service - Instance Details proporciona filtros para workspaceId, jobId, pod y gpu. Organiza las métricas en paneles de Job Dimension, Card Dimension y Pod Dimension. El panel Pod Dimension muestra una tabla de detalles del pod, incluida la utilización de CPU, tasas de E/S de disco y uso de memoria, junto con gráficas de series temporales para latencia de lectura de CPFS, volumen de escritura de CPFS y volumen de lectura de CPFS.

Configuración de alertas de Prometheus****

Puede configurar alertas de monitoreo mediante Prometheus de la siguiente manera:

1. Inicie sesión en la consola de ARMS. En el panel de navegación izquierdo, seleccione Provisioning. En la pestaña Provisioned Environments > Cloud Service Region Environment, haga clic en el nombre del entorno.

2. En la pestaña Component Management, en la lista Component Type, seleccione PAI-DLC Distributed Training Service y haga clic en Alert Rules para consultar las reglas de alerta integradas. De forma predeterminada, estas reglas se encuentran en estado Stopped.

3. Las reglas de alerta integradas generan eventos pero no envían notificaciones. Puede configurar el envío de notificaciones a una dirección de correo electrónico u otras plataformas de una de las dos formas siguientes:

   • Configure una política de notificación. Esta política define reglas de coincidencia para eventos de alerta. Cuando un evento de alerta coincide con una regla, el sistema envía una notificación al destinatario especificado a través del método de notificación elegido. Para obtener más información, consulte Notification Policies.

   • Edite la regla de alerta para configurar el método de notificación. En la página de gestión de reglas de alerta, seleccione el tipo de componente objetivo en el panel de navegación izquierdo, como PAI-DLC Distributed Training Service, PAI-DSW, PAI-Quota Service o PAI-Quota (non-Lingjun). Busque la regla objetivo en la lista y haga clic en Edit. En la página de edición de reglas de alerta de Prometheus, puede personalizar las condiciones de alerta, duración, contenido y notificaciones. Para obtener más información, consulte Create a Prometheus alert rule. Al editar la regla, establezca Check Type en Custom PromQL. En el campo Custom PromQL Statement, introduzca una expresión, como AliyunPaidlc_POD_STATE_ACTIVE{} > 80. Establezca la Duration en 2 minutos y el Alert Level en P2. En la sección Alert Notification, seleccione Simple Mode y configure el Recipient, Notification Period (de 00:00 a 23:59) y Repeat Policy. Después de completar la configuración, haga clic en Done.