Antes de instalar un controlador NVIDIA en un nodo, asegúrese de que la versión esté incluida en la lista de versiones compatibles con ACK. En este tema se enumeran las versiones de controladores NVIDIA admitidas.
CUDA
CUDA es una plataforma de computación paralela y un modelo de programación de NVIDIA que utiliza GPU para acelerar el rendimiento de cómputo.
A continuación se muestra la arquitectura de CUDA. La Driver API y la Runtime API presentan las siguientes diferencias:
Driver API: ofrece más funciones, pero resulta más compleja.
- Runtime API: Wraps Driver API functions and hides initialization details for simpler usage.
El paquete NVIDIA Driver proporciona la CUDA Driver API, mientras que el paquete CUDA Toolkit incluye la biblioteca de CUDA y CUDA Runtime.
Compatibilidad entre el controlador y la versión del clúster
Selección y mantenimiento de las versiones del controlador
ACK actualiza periódicamente la versión predeterminada del controlador, por lo que los nuevos nodos GPU agregados mediante escalado horizontal podrían usar una versión distinta. Para evitarlo, specify a driver version for your node pool.
Si la versión especificada del controlador no aparece en Driver and OS kernel version compatibility, ACK instala la versión predeterminada. Si indica una versión incompatible con el sistema operativo más reciente, es posible que falle la adición del nodo. Seleccione la última versión compatible del controlador.
Después de actualizar el kernel del sistema operativo, el controlador de GPU podría dejar de estar disponible. Elimine el nodo del node pool y vuelva a agregarlo (esta acción reincorpora automáticamente el nodo existente), o bien manually upgrade the GPU driver on a node.
Si customize the GPU driver version by specifying a version number o by using an OSS URL, el sistema operativo y el controlador podrían volverse incompatibles después de la actualización. Consulte Supported NVIDIA driver versions in ACK para seleccionar un controlador compatible.
Problemas conocidos en versiones específicas del controlador
Las versiones 510 y posteriores del controlador pueden generar errores XID 119 o XID 120 de forma ocasional. Si esto ocurre, consulte Troubleshoot GPU failures caused by XID 119 or XID 120 errors.
La versión 550 del controlador resuelve problemas como los errores frecuentes XID 119, 120 y 31, además de los kernel panics en ciertas aplicaciones. Se recomienda actualizar los nodos GPU existentes a la versión 550 del controlador.
Cuando utilice un controlador de la serie 570 o posterior junto con el complemento de monitoreo, asegúrese de que ack-arms-prometheus sea la versión 1.1.33 o posterior y ack-gpu-exporter sea la versión 2.3.0 o posterior.
Requisitos del controlador para tipos de instancia específicos
-
Para la familia de instancias
gn9t, no use versiones del controlador anteriores a la 570.153.02. Las versiones previas pueden provocar desconexiones frecuentes del dispositivo GPU. Síntomas:El comando
nvidia-smireporta menos GPU de las instaladas físicamente, o bien devuelveNo devices were found.El comando
lspci | grep -i nvidiasigue detectando el dispositivo, pero su estado muestra[rev b0].
Para los tipos de instancia con GPU L20N (
ecs.ebmgn9g,ecs.ebmgn9gcyecs.ebmgn9ge), debe usar la versión 580 o posterior del controlador de GPU.
En la siguiente tabla se enumeran las versiones del controlador de GPU NVIDIA que admite cada versión de clúster de ACK.
En los clústeres ACK Lingjun y en los nodos Lingjun de los clústeres ACK managed Pro, los controladores de GPU vienen integrados en la imagen del sistema operativo. No se admite la instalación de una versión específica del controlador de GPU mediante etiquetas de nodo. Los node pools perimetrales de los clústeres ACK Edge tampoco permiten instalar una versión específica del controlador de GPU a través de etiquetas de nodo.
Versión del clúster | Versión predeterminada del controlador | Compatibilidad con controladores personalizados | Versiones de controlador compatibles |
1.28 y posteriores | 535.161.07 570,169 (para los tipos de instancia ecs.gn9t y ecs.ebmgn9t) | Sí |
Las siguientes versiones del controlador son incompatibles con los sistemas operativos más recientes.
|
1.26 | Sí | ||
1.24 | Sí | ||
1.22 | Sí | ||
1.20 | Sí |
| |
1.18.8 | 418.181.07 | Sí | |
1.16.9 | 418.181.07 | Sí | |
1.16.6 | 418.87.01 | No | |
1.14.8 | 418.181.07 | Sí |
Compatibilidad entre el controlador y la GPU
Compatibilidad entre las versiones del controlador y del kernel del sistema operativo
Consulte la tabla kernel version and image ID mapping table a continuación para ver la correspondencia entre el kernel y el identificador de imagen.
Versión del controlador | Alibaba Cloud Linux 2 | Alibaba Cloud Linux 3 | CentOS 7 | Ubuntu 22.04 |
580.126.20 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango no compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
580.126.09 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango no compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
570.195.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango no compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
570,169 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango no compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
570.133.20 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango no compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
550.163.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
550.144.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
550.90.07 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
550.54.15 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
550.54.14 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
535.247.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
535.230.02 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
535.161.07 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
535.129.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
535.98 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
535.54.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
525.147.05 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
525.105.17 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
515.105.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
515.86.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
510.108.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
510.54 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
510.47.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
470.256.02 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, ∞) |
470.161.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-17.3.al8.x86_64] Rango no compatible: [5.10.134-18.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
470.103.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
470.82.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
470.57.02 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
460.106.00 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango compatible: [5.15.0-40-generic, 5.15.0-101-generic] Rango no compatible: [5.15.0-106-generic, ∞) |
460.91.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
460.73.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
460.32.03 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
450.119.04 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
450.102.04 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango compatible: [5.10.23-5.al8.x86_64, 5.10.134-14.al8.x86_64] Rango no compatible: [5.10.134-15.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
450.80.02 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
440.33.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
418.181.07 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
418,113 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
418.87.01 | Rango compatible: [4.19.81-17.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
410.93 | Rango compatible: [4.19.81-17.1.al7.x86_64, 4.19.91-18.al7.x86_64] Rango no compatible: [4.19.91-19.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, 3.10.0-957.21.3.el7.x86_64] Rango no compatible: [3.10.0-1062.9.1.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
410.79 | Rango compatible: [4.19.81-17.1.al7.x86_64, 4.19.91-18.al7.x86_64] Rango no compatible: [4.19.91-19.1.al7.x86_64, ∞) | Rango no compatible: [5.10.23-5.al8.x86_64, ∞) | Rango compatible: [3.10.0-862.14.4.el7.x86_64, 3.10.0-957.21.3.el7.x86_64] Rango no compatible: [3.10.0-1062.9.1.el7.x86_64, ∞) | Rango no compatible: [5.15.0-40-generic, ∞) |
Compatibilidad entre el controlador y CUDA Toolkit
Seleccione una versión del controlador que sea compatible con la versión de CUDA Toolkit de su aplicación. Consulte las notas de la versión de CUDA Toolkit para revisar la matriz de compatibilidad.
Comprobación de la versión de la API de CUDA Driver
Ejecute el comando nvidia-smi en un nodo para comprobar la versión instalada del controlador y la versión de la API de CUDA Driver. En la siguiente salida, 550.144.03 es la versión del controlador. La versión 12.6 de CUDA indica que el controlador admite la API de CUDA Runtime hasta la versión 12.6.
Mon Mar 24 08:51:55 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.144.03 Driver Version: 550.144.03 CUDA Version: 12.6 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 Tesla P4 On | 00000000:00:07.0 Off | 0 |
| N/A 33C P8 7W / 75W | 0MiB / 7680MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+Versión de la API de Runtime
NVIDIA proporciona imágenes base de CUDA oficiales con CUDA Toolkit preinstalado. Compile la imagen de su aplicación a partir de una imagen base que coincida con la versión del toolkit requerida por su aplicación.
La imagen base de CUDA de su imagen de Docker determina la versión de la API de CUDA Runtime disponible para su aplicación. Por ejemplo, si compila sobre NVIDIA/CUDA:12.2.0-base-Ubuntu20.04, la aplicación usará la versión 12.2.0 de la API de CUDA Runtime.