Upgrading the cGPU version of a node - Container Service for Kubernetes

El uso compartido y la programación de GPU en un clúster de Container Service for Kubernetes (ACK) requieren cGPU en cada nodo con GPU. Actualice la versión de cGPU en un nodo para mantener la compatibilidad del uso compartido y la programación de GPU con el controlador NVIDIA, el kernel y la familia de instancias del nodo.

Requisitos previos

cGPU está instalado en el nodo que desea actualizar.
kubectl está instalado y configurado para acceder al clúster.
La versión de cGPU que desea instalar es compatible con el nodo. Para más detalles, consulte cGPU version compatibility.

Paso 1: Actualizar el complemento cGPU

El complemento que se debe actualizar depende del tipo de clúster. Actualice el complemento correspondiente a su clúster.

Tipo de clúster	Método de actualización del complemento
ACK managed cluster Pro ACK Edge cluster Pro	Actualice el complemento ack-ai-installer. Para obtener instrucciones, consulte Upgrade the GPU sharing component.
ACK dedicated cluster	Actualice el complemento ack-cgpu en la consola de ACK, como se describe en el siguiente procedimiento.

Para actualizar el complemento ack-cgpu en un ACK dedicated cluster

Inicie sesión en la consola de ACK. En el panel de navegación izquierdo, haga clic en Clusters.
En la página Clusters, haga clic en el nombre de su clúster. En el panel de navegación izquierdo, haga clic en Applications > Helm.
En la página Helm, busque el complemento ack-cgpu y haga clic en Update. Seleccione la Version obligatoria y haga clic en OK.

Paso 2: Actualizar cGPU en los nodos existentes

Después de actualizar el complemento, actualice los nodos con GPU existentes para que ejecuten la nueva versión de cGPU. Tenga en cuenta los siguientes puntos antes de actualizar un nodo:

Cargas de trabajo de GPU: Detenga todas las cargas de trabajo de GPU en el nodo durante la actualización.
Orden de implementación: Actualice primero un solo nodo. Después de comprobar que las cargas de trabajo de GPU se ejecutan correctamente, actualice los nodos con GPU restantes por lotes.

Método 1: Quitar y volver a agregar el nodo

Aviso

El Método 1 restablece el disco del sistema del nodo. Si el disco del sistema del nodo contiene datos, realice una copia de seguridad de los datos antes de quitar el nodo.

Quitar el nodo y volver a agregarlo

Inicie sesión en la consola de ACK. En el panel de navegación izquierdo, haga clic en Clusters.
En la página Clusters, haga clic en el nombre de su clúster. En el panel de navegación izquierdo, haga clic en Nodes > Nodes.
En la página Nodes, seleccione el nodo cGPU que desea actualizar y haga clic en Batch Remove. En el cuadro de diálogo Remove Node, seleccione Drain Node.
Vuelva a agregar el nodo quitado a su node pool original. Para obtener instrucciones, consulte Add existing nodes.

Importante
Agregue el nodo en modo automático. El modo manual no restablece el nodo.

Comprobar la versión de cGPU

Ejecute el siguiente comando para verificar el estado del Pod cgpu-installer en el nodo que volvió a agregar.

kubectl get po -l name=cgpu-installer -n kube-system -o wide

Salida de ejemplo:

NAME                   READY   STATUS    RESTARTS   AGE    IP                NODE                         NOMINATED NODE   READINESS GATES
cgpu-installer-*****   1/1     Running   0          4d2h   192.168.XXX.XX1   cn-beijing.192.168.XXX.XX1   <none>           <none>
cgpu-installer-**2     1/1     Running   0          4d2h   192.168.XXX.XX2   cn-beijing.192.168.XXX.XX2   <none>           <none>
cgpu-installer-**3     1/1     Running   0          4d2h   192.168.XXX.XX3   cn-beijing.192.168.XXX.XX3   <none>           <none>

Ejecute el siguiente comando para acceder al Pod cgpu-installer. Reemplace cgpu-installer-xxxxx con el nombre del Pod que aparece en la salida anterior.
```
kubectl exec -ti cgpu-installer-xxxxx -n kube-system -- bash
```
Ejecute el siguiente comando para verificar la versión actual de cGPU.
```
nsenter -t 1 -i -p -n -u -m -- cat /proc/cgpu_km/version
```
Salida de ejemplo:
```
1.5.16
```
Nota
Para obtener información sobre la versión más reciente de cGPU, consulte ack-ai-installer.

Compatibilidad de versiones de cGPU

Una versión de cGPU debe ser compatible con el controlador NVIDIA, la familia de instancias, nvidia-container-toolkit y la versión del kernel del nodo. Verifique la versión de cGPU que desea instalar en cada una de las siguientes tablas.

Compatibilidad con controladores NVIDIA

Versión de cGPU	Controladores NVIDIA compatibles
1.5.20, 1.5.19, 1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9, 1.5.8, 1.5.7	Compatible: Serie 460; serie 470; serie 510; serie 515; serie 525; serie 535; serie 550; serie 560; serie 565; serie 570; serie 575.
1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10, 1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5	Compatible: Serie 460; serie 470 <= 470.161.03; serie 510 <= 510.108.03; serie 515 <= 515.86.01; serie 525 <= 525.89.03. No compatible: Serie 535; serie 550; serie 560; serie 565; serie 570; serie 575.
1.0.3, 0.8.17, 0.8.13	Compatible: Serie 460; serie 470 <= 470.161.03. No compatible: Serie 510; serie 515; serie 525; serie 535; serie 550; serie 560; serie 565; serie 570; serie 575.

Compatibilidad con familias de instancias

La siguiente tabla muestra la compatibilidad por familia de instancias en lugar de por tipo de instancia individual.

Versión de cGPU	Familias de instancias compatibles
1.5.20, 1.5.19	Compatible: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia; ebmgn9t.
1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9	Compatible: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia. No compatible: ebmgn9t.
1.5.8, 1.5.7	Compatible: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v. No compatible: gn8ia / ebmgn8ia; ebmgn9t.
1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10, 1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5, 1.0.3	Compatible: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e; gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e. No compatible: gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia; ebmgn9t.
0.8.17, 0.8.13	Compatible: gn6i / gn6e / gn6v / gn6t / ebmgn6i / ebmgn6t / ebmgn6e. No compatible: gn7i / gn7 / gn7e / ebmgn7i / ebmgn7e; gn8t / ebmgn8t; gn8is / gn8v / ebmgn8is / ebmgn8v; gn8ia / ebmgn8ia; ebmgn9t.

Compatibilidad con nvidia-container-toolkit

Versión de cGPU	Versiones compatibles de nvidia-container-toolkit
1.5.20, 1.5.19, 1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9, 1.5.8, 1.5.7, 1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10	Compatible: <= 1.10; 1.11 a 1.17.
1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5, 1.0.3, 0.8.17, 0.8.13	Compatible: <= 1.10. No compatible: 1.11 a 1.17.

Compatibilidad con versiones del kernel

Versión de cGPU	Versiones del kernel compatibles
1.5.20, 1.5.19, 1.5.18, 1.5.17, 1.5.16, 1.5.15, 1.5.13, 1.5.12, 1.5.11, 1.5.10, 1.5.9	Compatible: kernel 3.x; kernel 4.x; kernel 5.x <= 5.15.
1.5.8	Compatible: kernel 3.x; kernel 4.x; kernel 5.x <= 5.10.
1.5.7, 1.5.6, 1.5.5, 1.5.3, 1.5.2, 1.0.10, 1.0.9, 1.0.8, 1.0.7, 1.0.6, 1.0.5, 1.0.3	Compatible: kernel 3.x; kernel 4.x; kernel 5.x <= 5.1.
0.8.17	Compatible: kernel 3.x; kernel 4.x; kernel 5.x <= 5.0.
0.8.13, 0.8.12, 0.8.10	Compatible: kernel 3.x; kernel 4.x. No compatible: kernel 5.x.