Diagnostique problemas en nodos GPU dentro de clústeres ACK Pro mediante los códigos de estado de nvidia-smi y las referencias de errores XID.
Requisitos previos
Se creó un ACK Pro cluster.
El clúster se encuentra en estado Running. Inicie sesión en la consola de ACK para verificar el estado del clúster en la página Clusters.
Ejecutar un diagnóstico de nodo
Seleccione un nodo acelerado por GPU, ejecute el diagnóstico de nodos y utilice el informe para identificar y resolver incidencias.
Inicie sesión en la consola de ACK. En el panel de navegación izquierdo, haga clic en Clusters.
En la página Clusters, haga clic en el nombre del clúster deseado. En el panel de navegación izquierdo, seleccione .
En la página Diagnostics, haga clic en Node diagnosis. Posteriormente, en la página Node diagnosis, haga clic en Diagnosis en la esquina superior izquierda.
-
En el panel Select Node, seleccione un Node Name, lea las notas, marque la casilla I know and agree y luego haga clic en Create diagnosis.
Es posible seguir el progreso del diagnóstico directamente en la página. Una vez finalizado el proceso, la página mostrará los resultados junto con una lista de elementos diagnosticados. Revise dicha información para identificar y solucionar cualquier problema.
Si el nodo analizado está acelerado por GPU, el informe incluirá métricas relacionadas con la GPU al concluir el diagnóstico. Utilice este reporte junto con Troubleshoot with nvidia-smi status codes y Troubleshoot with XID errors para resolver las incidencias detectadas.
Solución de problemas mediante códigos de estado de nvidia-smi****
La herramienta nvidia-smi monitorea el rendimiento y la salud de las GPU NVIDIA. Localice el resultado NVIDIASMIStatusCode en el informe de diagnóstico. La siguiente tabla enumera cada código de estado y la acción recomendada.
Código de estado de nvidia-smi | Descripción | Acciones |
0 | El comando se ejecutó correctamente. nvidia-smi funciona como se espera. | No aplica. |
3 | Operación no disponible en el dispositivo destino. Es posible que el nodo no sea compatible con nvidia-smi o que exista un problema con el controlador. | Revise los registros del controlador en |
6 | Error al consultar dispositivos GPU. Indica un problema con el controlador. | Revise los registros del controlador en |
8 | El cable de alimentación del dispositivo GPU no está conectado correctamente. Indica un problema de hardware. | Submit a ticket para contactar al soporte técnico de ECS. |
9 | El controlador de NVIDIA no se cargó. Indica un problema con el controlador. | Revise los registros del controlador en |
10 | El kernel de NVIDIA detectó un problema de interrupción. | Revise los registros del controlador en |
12 | No se encontró la biblioteca compartida NVML o no fue posible cargarla. | Revise los registros del controlador en |
13 | La versión local de NVML no coincide con la versión del controlador. | Revise los registros del controlador en |
14 | infoROM dañada. Indica un problema de hardware. | Submit a ticket para contactar al soporte técnico de ECS. |
15 | La GPU se desconectó del bus. Indica un problema de hardware. | Submit a ticket para contactar al soporte técnico de ECS. |
255 | Error desconocido del controlador. Indica un problema con el controlador. | Revise los registros del controlador en |
-1 | Se agotó el tiempo de espera del comando nvidia-smi. | Revise los registros del controlador en |
Solución de problemas mediante errores XID
Los mensajes XID son reportes de errores de la GPU que el controlador de NVIDIA registra en el log del kernel del sistema operativo. Estos identifican el tipo de error, su ubicación y el código asociado al hardware de la GPU, al software de NVIDIA o a su aplicación.
En el informe de diagnóstico, revise el elemento XID exceptions on GPU-accelerated node. Si aparece vacío, no existen errores XID. De lo contrario, utilice las tablas siguientes para solucionar el problema o envíe un ticket de soporte.
Solución de problemas por cuenta propia
Si encuentra alguno de los siguientes errores XID, siga estos pasos para intentar resolverlos:
Vuelva a enviar la carga de trabajo y compruebe si el error XID desaparece.
Si el error persiste, revise su código y los registros para determinar si su propio código lo provocó.
Si su código no es la causa,envíe un ticket para solicitar soporte técnico.
|
XID |
Descripción |
|
13 |
Excepción del motor gráfico. Generalmente se debe a un acceso a matriz fuera de límites o a una instrucción ilegal. Rara vez indica un problema de hardware. |
|
31 |
Fallo de página en memoria de la GPU. Suele originarse por un acceso ilegal a memoria desde la aplicación. En raras ocasiones se debe al controlador o al hardware. |
|
43 |
La GPU detuvo el procesamiento. Por lo general es un error de la aplicación, no de hardware. |
|
45 |
Limpieza preventiva debido a errores previos. Ocurre frecuentemente al ejecutar varias aplicaciones CUDA simultáneamente con un Error ECC de Doble Bit (DBE). Indica que una aplicación en la GPU finalizó por una detención manual, un fallo de hardware o un límite de recursos. Se requiere un análisis más detallado de los registros para determinar la causa específica. |
|
68 |
Excepción NVDEC0. Normalmente indica un problema de hardware o del controlador. |
Solución de problemas mediante ticket de soporte
Para los siguientes errores XID,envíe un ticket al soporte técnico e incluya la salida completa del diagnóstico del nodo GPU.
XID | Descripción |
32 | Flujo de búfer push inválido o dañado. Reportado por el controlador DMA en el bus PCIe. Generalmente se debe a un problema de calidad en la conexión PCI, no a la aplicación. |
38 | Error en el firmware del controlador; no es un problema de hardware. |
48 | Error ECC de Doble Bit (DBE). Se reporta cuando la GPU encuentra un error irrecuperable, el cual también se notifica a su aplicación. Por lo general, requiere reiniciar la GPU o el nodo para solucionarse. |
61 | Punto de interrupción o advertencia interna del microcontrolador. El motor interno de la GPU se detuvo, lo que afecta sus cargas de trabajo. |
62 | Detención interna del microcontrolador. Similar al XID 61. |
63 | Evento de registro por retiro de páginas ECC o reasignación de filas. Cuando ocurre un error de hardware en la memoria de la GPU, el mecanismo de autocorrección de NVIDIA retira o reasigna el área de memoria defectuosa y lo registra en la infoROM.
|
64 | Fallo en el registro de retiro de páginas ECC o reasignación de filas. Similar al XID 63, pero falló el registro en la infoROM. |
74 | Error NVLINK. Indica un fallo crítico de hardware en NVLink. La GPU debe desconectarse para mantenimiento. |
79 | La GPU se desconectó del bus y ya no puede detectarse. Fallo crítico de hardware. La GPU debe desconectarse para mantenimiento. |
92 | Alta tasa de errores ECC de bit único. Indica un fallo de hardware o del controlador. |
94 | Error ECC contenido. El mecanismo de contención de errores de NVIDIA aisló un error ECC irrecuperable en la aplicación afectada, evitando que impactara a otras aplicaciones en el nodo. |
95 | Error ECC no contenido. Similar al XID 94, pero falló la contención. Todas las aplicaciones en la GPU resultaron afectadas. |