Specify a custom GPU driver version for a node - Container Service for Kubernetes

ACK instala una versión predeterminada del controlador NVIDIA para cada tipo de clúster. Si dicha versión no es compatible con su biblioteca CUDA, establezca una etiqueta en el node pool para fijar una versión específica del controlador en los nuevos nodos GPU.

Requisitos previos

Asegúrese de contar con lo siguiente:

Un clúster de ACK con tipos de instancia compatibles con GPU
La versión del controlador que necesita, seleccionada de ACK's supported NVIDIA driver versions

Limitaciones

Compatibilidad del controlador

ACK no garantiza la compatibilidad entre las versiones del controlador y las versiones de la biblioteca CUDA. Para conocer los requisitos detallados de versión del controlador para cada tipo de tarjeta GPU NVIDIA, consulte la documentación oficial de NVIDIA.

Aplica solo a nodos nuevos

La etiqueta activa la instalación del controlador cuando un nodo se une al clúster, ya sea durante su creación o en una operación de escalado horizontal. Los nodos existentes no se ven afectados. Para actualizar un nodo existente, remove the node y add it again.

Imágenes personalizadas del sistema operativo

En imágenes personalizadas del sistema operativo que incluyen componentes de GPU, como el controlador y NVIDIA Container Runtime, ACK no puede garantizar la compatibilidad entre el controlador personalizado y otros componentes de GPU de ACK, tales como los componentes de monitoreo.

Las versiones no compatibles del controlador revierten a la predeterminada

Si la versión especificada no se encuentra en la lista de versiones compatibles de ACK, el sistema instalará la versión predeterminada en su lugar. Una versión incompatible con el sistema operativo más reciente también puede provocar fallos al agregar nodos; utilice siempre la última versión compatible.

Compatibilidad con tipos de instancia

Instance type	Compatible driver versions
gn7, ebmgn7	Anteriores a 510.xxx (por ejemplo, 470.xxx.xxxx con GSP deshabilitado), o 525.125.06 y posteriores. Las versiones 510.xxx y 515.xxx no son compatibles.
ebmgn7, ebmgn7e	460.32.03 y posteriores

Paso 1: Seleccionar una versión del controlador

Abra ACK's supported NVIDIA driver versions y elija una versión que coincida con su biblioteca CUDA. En estos pasos se utiliza 550.144.03 como ejemplo.

Paso 2: Crear un node pool con la etiqueta de versión del controlador

Inicie sesión en la Container Service Management Console. En el panel de navegación izquierdo, haga clic en Clusters.
Haga clic en el nombre de su clúster. En el panel de navegación izquierdo, seleccione Nodes > Node Pools.
En la esquina superior izquierda, haga clic en Create Node Pool. Consulte Create and manage a node pool.
En la sección Node Labels, haga clic en el icono para agregar una etiqueta:
- Key: ack.aliyun.com/nvidia-driver-version
- Value: 550.144.03
Complete el resto de la configuración y envíe el node pool.

Paso 3: Comprobar la instalación del controlador

Una vez que un nodo se une al pool, confirme que tiene la versión esperada del controlador.

Liste los pods con la etiqueta component: nvidia-device-plugin para localizar el que se ejecuta en su nuevo nodo:

kubectl get po -n kube-system -l component=nvidia-device-plugin -o wide

Salida esperada:

NAME                             READY   STATUS    RESTARTS   AGE     IP              NODE                       NOMINATED NODE   READINESS GATES
ack-nvidia-device-plugin-fnctc   1/1     Running   0          2m33s   10.117.227.43   cn-qingdao.10.117.XXX.XX   <none>           <none>

Tome nota del nombre del pod correspondiente a su nuevo nodo (por ejemplo, ack-nvidia-device-plugin-fnctc).

Ejecute nvidia-smi dentro del pod para verificar la versión del controlador:

kubectl exec -ti ack-nvidia-device-plugin-fnctc -n kube-system -- nvidia-smi

Salida esperada:

Mon Mar 24 08:51:55 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.144.03             Driver Version: 550.144.03     CUDA Version: 12.6     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  Tesla P4                       On  |   00000000:00:07.0 Off |                    0 |
| N/A   33C    P8              7W /   75W |       0MiB /   7680MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

El valor Driver Version: 550.144.03 confirma que el controlador personalizado está instalado.

Establecer la versión del controlador mediante la API

Al crear un node pool con la API CreateClusterNodePool, incluya la etiqueta de versión del controlador en el campo tags:

{
  "tags": [
    {
      "key": "ack.aliyun.com/nvidia-driver-version",
      "value": "550.144.03"
    }
  ]
}