Platform For AI:Consulte los detalles de un trabajo de entrenamiento

Consulte la información básica y la configuración del trabajo

1. Inicie sesión en la PAI console, seleccione la región en la parte superior de la página, seleccione el espacio de trabajo a la derecha y luego haga clic en Enter DLC.

2. Haga clic en el nombre del trabajo para ir a la página de descripción general.

3. En la página Overview, consulte la información básica, de entorno y de recursos del trabajo.

   La parte superior de la página de descripción general muestra el estado del trabajo (como Succeeded), el tiempo transcurrido, el tipo de cómputo (como General Compute), el tipo de trabajo (como PyTorchJob) y el resource group. También incluye una línea de tiempo que abarca desde la creación del trabajo hasta su finalización correcta, pasando por la preparación del entorno y la ejecución. La información básica contiene el nombre, el ID y las etiquetas del trabajo. Los datos de recursos incluyen el tipo de recurso, la cantidad de workers y el tipo de instancia (por ejemplo, ecs.gn7i-c8g1.2xlarge). La información del entorno detalla la URL de la imagen del nodo, la configuración de montaje del conjunto de datos y el comando de ejecución. Además, la página cuenta con secciones de configuración como Fault Tolerance and Diagnostics (tolerancia a fallos automática, interruptor de comprobación de estado), Network Information (VPC, security group, vSwitch, entre otros) y Roles and Permissions (rol de RAM de la instancia, alcance de visibilidad).

4. Haga clic en el nombre del trabajo en la parte superior de la página para expandir la lista de cambio de trabajos. Esta lista admite búsquedas aproximadas por nombre o ID, lo que le permite alternar rápidamente entre instancias en ejecución e históricas.

Consulte los eventos del trabajo

Los registros de eventos documentan el progreso de la programación del trabajo y la asignación de recursos. Revise estos eventos para localizar y solucionar problemas.

• Haga clic en la pestaña Event para consultar los registros de eventos del trabajo.

  El lado izquierdo de la pestaña Events muestra una línea de tiempo con nodos de fase como Start creation, Environment preparation, Start running y Job success, junto con sus intervalos de tiempo correspondientes. El lado derecho presenta un panel de registros que detalla los eventos del ciclo de vida de PyTorchJob, entre ellos Job queued, Job dequeued, Pod created, Service created, Scheduling succeeded, Running y Succeeded.

• En el área Overview, ubicada en la parte inferior de la página Instance, haga clic en Actions dentro de la columna Log de la instancia. Así podrá consultar los registros de eventos de un nodo específico en la pestaña System Log.

  Los registros del sistema documentan todos los eventos del ciclo de vida del Pod. Esto incluye las transiciones de estado (ResourcePurchasing → NetworkInitializing → Initializing → ImagePulling → WaitingForRun → Running → Succeeded), los registros de descarga de imágenes y los eventos del nodo, como la creación y el inicio del contenedor.

Consulte las vistas de recursos

La vista de recursos proporciona métricas como el uso de GPU, el uso de memoria de GPU, el uso de CPU, el uso de memoria y la E/S de red. Estas métricas le ayudan a monitorear el consumo de recursos en tiempo real y optimizar su asignación.

Haga clic en la pestaña Monitoring para consultar la vista de recursos del trabajo.

Los trabajos de entrenamiento creados con cuotas de recursos también admiten las siguientes funciones de monitoreo:

1. Las métricas de monitoreo están disponibles en los niveles Job, Pod y GPU.

   La parte superior de la página de monitoreo muestra una línea de tiempo del ciclo de vida del trabajo. Incluye fases como Job creation, Queued, Environment preparation, Job running y Job success, junto con la duración de cada una. En la sección inferior, alterne entre las pestañas Job, Pod y GPU para consultar las métricas correspondientes. La pestaña GPU presenta gráficos de líneas sobre el uso de cómputo y de memoria de la GPU.

2. Filtre por tiempo y métrica, o bien clasifique las métricas. Haga clic en More para personalizar la vista: seleccione las métricas obligatorias y arrástrelas para ajustar el orden de visualización según las métricas de monitoreo principales.

   Las métricas opcionales de monitoreo de GPU incluyen GPU compute usage, Total GPU memory, GPU memory usage, GPU memory usage amount, GPU memory device interface usage, GPU memory bandwidth usage, GPU SM device usage, GPU device power consumption y GPU temperature. Después de seleccionar las métricas obligatorias, arrástrelas en el área Metric Sort del lado derecho para ajustar el orden de visualización. Por último, haga clic en OK para completar la configuración.

3. Los trabajos de DLC también admiten alertas de monitoreo para dar seguimiento al uso de recursos en tiempo real. Para obtener más información, consulte Training monitoring and alerts.

Consulte los registros del trabajo

Si un trabajo falla o necesita revisar su historial de ejecución, consulte los registros mediante los dos métodos a continuación:

• En el área Overview, ubicada en la parte inferior de la página Instance, haga clic en Actions dentro de la columna Log de la instancia para consultar los registros de salida de un nodo.

• Haga clic en la pestaña Log para buscar eventos de registro relevantes por palabra clave. Para obtener más información, consulte Query aggregated logs by keyword. A continuación se presenta una guía breve de la sintaxis de consulta:

  - Simple query: error, matches logs that contain "error"
  - Multi-word query: "Unexpected result", matches both words "Unexpected" and "result"
  - Fuzzy query: error*, matches words that start with "error"; special characters are not supported
  - Phrase query: #"abc$def", matches the exact phrase "abc$def"
  Delimiters: Logs are split by delimiters. Delimiters in keywords are treated as empty characters. If a keyword contains a delimiter, use a phrase query instead. Common delimiters: \n\t\r,;[]{}()&^*#@~=<>/\?:'"
  Note:
  The characters ( and ) in search terms are automatically replaced with spaces. Avoid using these characters in search terms.

  El lado izquierdo de la página de registros muestra la lista de instancias, mientras que el derecho presenta los registros de usuario de la instancia correspondiente. En este ejemplo, el registro de entrenamiento muestra los resultados de validación de Epoch 16 a Epoch 18. La salida final Model saved with accuracy: 98.96% indica que el entrenamiento del modelo finalizó correctamente.

Solución de problemas cuando los registros de usuario están vacíos

Los registros de usuario se generan a partir de stdout y stderr de los scripts de usuario. Si los registros de usuario están vacíos, pero el System Log muestra un estado normal, resuelva el problema en el siguiente orden:

1. Compruebe la salida de stdout: agregue una instrucción echo o print de Python al comando de inicio del trabajo para generar contenido de prueba. Si esta salida aparece en los registros de usuario, significa que el trabajo original redirigió stdout o stderr a una ubicación personalizada. Redirija la salida hacia stdout o stderr.

2. Revise las reglas de salida del security group: las reglas de salida del security group asociado al trabajo de DLC deben permitir el bloque CIDR interno 100.64.0.0/10 de Log Service (SLS) en los puertos TCP 80 y 443. Si las reglas de salida bloquean este bloque CIDR, los registros de usuario no se pueden enviar a PAI y los registros de usuario aparecen vacíos en la página.

3. Verifique la duración del trabajo: en trabajos con un tiempo de ejecución muy corto (por ejemplo, menos de 2 segundos), los registros de usuario podrían estar vacíos porque SLS aún no termina de recopilarlos. Al enviar un trabajo de prueba, se recomienda esperar como mínimo 30 segundos antes de consultar los registros.

Consulte los registros de eventos de comportamiento

PAI se integra con ActionTrail. En ActionTrail puede consultar los registros de eventos de comportamiento de DLC de los últimos 90 días correspondientes a su cuenta de Alibaba Cloud. Para obtener más información, consulte ActionTrail.

Consulte los registros de reinicio del trabajo

Si habilitó Auto fault tolerance o Health check (lista negra y nueva ejecución) al crear el trabajo, haga clic en Restart count para ir a la página de registros de reinicio. Allí verá detalles como la cantidad, la hora, el motivo, el resultado y la duración de cada reinicio. Siga estos pasos:

• En la lista de registros de reinicio, haga clic en Error details para ver los detalles de cada reinicio. Se incluye la cantidad de reinicios, la hora, el nombre del nodo, el nombre de la instancia, el código de error, el mensaje de error y el origen del error.

• Haga clic en View aggregated error details para expandir una lista detallada con todos los registros de reinicio.

Documentos relacionados

Gestione las operaciones según el estado del trabajo. Para obtener más información, consulte Manage training jobs.