Container Service for Kubernetes:ノードプールを使用して既存ノードの NVIDIA ドライバーを更新する

制限事項

NVIDIA ドライバーをアップグレードするには、ノードを元のノードプールから削除し、新しいノードプールに追加する必要があります。既存のノードプールには変更したくない他のノードが含まれている可能性があるため、そのノードプール内の特定のノードの NVIDIA ドライバーをアップグレードすることはできません。

使用上の注意

• ACK は、NVIDIA ドライバーバージョンと CUDA ツールキットバージョンの間の互換性を保証しません。お客様自身でそれらの互換性を確認する必要があります。

• さまざまな NVIDIA GPU モデルの詳細なドライバーバージョン要件については、「NVIDIA 公式ドキュメント」をご参照ください。

• GPU ドライバーや NVIDIA Container Runtime など、GPU コンポーネントがすでにインストールされているカスタムオペレーティングシステムイメージの場合、ACK はプリインストール済みのドライバーがモニタリングコンポーネントなどの他の ACK GPU コンポーネントと互換性があることを保証できません。

• このメソッドは、新しいノードまたはスケールアウトされたノードにのみカスタムドライバーを適用します。インストールはノードの追加時にトリガーされ、既存のノードには影響しません。既存のノードに新しいドライバーを適用するには、まず「ノードを削除」し、次に「クラスターに再度追加」する必要があります。

• インスタンスタイプ gn7 および ebmgn7 の場合、ドライバーバージョン 510.xxx および 515.xxx には互換性の問題があります。GSP を無効にした 510 より前のドライバーバージョン (例: 470.xxx.xxxx) 、またはドライバーバージョン 525.125.06 以降を使用することをお勧めします。

• ebmgn7 または ebmgn7e インスタンスタイプの Elastic Compute Service (ECS) インスタンスは、NVIDIA ドライバーバージョン 460.32.03 以降のみをサポートします。

• ノードプールの作成中に、指定されたドライバーバージョンが「ACK がサポートする NVIDIA ドライバーバージョン」にリストされていない場合、ACK は自動的にデフォルトのドライバーバージョンをインストールします。最新の OS と互換性のないドライバーバージョンを指定すると、ノードの追加に失敗する可能性があります。このような場合は、常にサポートされている最新のドライバーバージョンを選択してください。

• OSS バケットにアップロードした NVIDIA ドライバーを使用する場合、NVIDIA ドライバーが OS、Elastic Compute Service (ECS) インスタンスタイプ、またはコンテナーランタイムと互換性がない可能性があります。その結果、NVIDIA ドライバーがインストールされた GPU アクセラレーションノードの追加に失敗します。ACK は、すべてのノードがクラスターに正常に追加できることを保証しません。

ユースケース

• ノードプール A を使用してアップグレードされた NVIDIA ドライバーを持つノードを管理する場合、ワークロードの nodeselector をノードプール A のラベルに設定することで、これらのノードにワークロードをスケジュールできます。

• クラスター内の一部のノードの NVIDIA ドライバーをバージョン 550.144.03 に、他のノードを 535.161.07 にアップグレードする必要がある場合、一方のノードグループをノードプール A に、もう一方のグループをノードプール B に追加できます。

ステップ 1: NVIDIA ドライバーバージョンを決定する

NVIDIA ドライバーバージョンを選択する前に、使用している CUDA ライブラリと互換性のある NVIDIA ドライバーバージョンを決定する必要があります。「CUDA Toolkit Release Notes」を参照して、CUDA ライブラリと NVIDIA ドライバーの互換性を確認し、適切な NVIDIA ドライバーバージョンを選択できます。

ステップ 2: ノードを削除する

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. クラスター ページで、変更したいクラスターの名前をクリックします。左側のナビゲーションウィンドウで、[ノード] > [ノード] を選択します。

3. アップグレードするノードを選択し、[一括削除] をクリックします。[ノードの削除] ダイアログボックスで、[ノードのドレイン] を選択し、[OK] をクリックします。

ステップ 3: ノードプールを作成し、ドライバーバージョンを指定する

ステップ 4: ノードをノードプールに追加する

ノードプールが作成された後、「ステップ 2」で削除したノードをこの新しいノードプールに「追加」します。

ステップ 5: アップグレードを検証する

1. 次のコマンドを実行して、component: nvidia-device-plugin ラベルを持つ Pod を表示します:

   kubectl get po -n kube-system -l component=nvidia-device-plugin -o wide

   期待される出力:

   NAME                                            READY   STATUS    RESTARTS   AGE   IP              NODE                       NOMINATED NODE   READINESS GATES
   nvidia-device-plugin-cn-beijing.192.168.1.127   1/1     Running   0          6d    192.168.1.127   cn-beijing.192.168.1.127   <none>           <none>
   nvidia-device-plugin-cn-beijing.192.168.1.128   1/1     Running   0          17m   192.168.1.128   cn-beijing.192.168.1.128   <none>           <none>
   nvidia-device-plugin-cn-beijing.192.168.8.12    1/1     Running   0          9d    192.168.8.12    cn-beijing.192.168.8.12    <none>           <none>
   nvidia-device-plugin-cn-beijing.192.168.8.13    1/1     Running   0          9d    192.168.8.13    cn-beijing.192.168.8.13    <none>           <none>
   nvidia-device-plugin-cn-beijing.192.168.8.14    1/1     Running   0          9d    192.168.8.14    cn-beijing.192.168.8.14    <none>           <none>

   出力は、クラスターに新しく追加されたノードに対応する Pod が nvidia-device-plugin-cn-beijing.192.168.1.128 であることを示しています。

2. 次のコマンドを実行して、ノードのドライバーバージョンを検証します:

   kubectl exec -ti nvidia-device-plugin-cn-beijing.192.168.1.128 -n kube-system -- nvidia-smi 

   期待される出力:

   Mon Mar 24 08:51:55 2025       
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI xxx.xxx.xx   Driver Version: xxx.xxx.xx   CUDA Version: N/A      |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |===============================+======================+======================|
   |   0  Tesla V100-SXM2...  On   | 00000000:00:07.0 Off |                    0 |
   | N/A   27C    P0    40W / 300W |      0MiB / 16130MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
   |   1  Tesla V100-SXM2...  On   | 00000000:00:08.0 Off |                    0 |
   | N/A   27C    P0    40W / 300W |      0MiB / 16130MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
   |   2  Tesla V100-SXM2...  On   | 00000000:00:09.0 Off |                    0 |
   | N/A   31C    P0    39W / 300W |      0MiB / 16130MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
   |   3  Tesla V100-SXM2...  On   | 00000000:00:0A.0 Off |                    0 |
   | N/A   27C    P0    41W / 300W |      0MiB / 16130MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
                                                                                  
   +-----------------------------------------------------------------------------+
   | Processes:                                                       GPU Memory |
   |  GPU       PID   Type   Process name                             Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+

   出力の Driver Version がターゲットと一致する場合、アップグレードは成功です。

リファレンス

ノードにカスタム NVIDIA ドライバーバージョンを指定する