Container Service for Kubernetes:GPU に関するよくある質問

クラスター内の GPU ECC 構成に一貫性がないのはなぜですか?

エラー訂正コード (ECC) モードは、GPU メモリのエラーを検出して修正することにより、GPU の安定性と信頼性を向上させます。ただし、このモードを有効にすると、使用可能な GPU メモリがわずかに減少します。

ECC モードの推奨事項:

• ECC の無効化: オンラインのリアルタイム推論など、コスト重視のシナリオや低レイテンシーの推論に適しています。

• ECC の有効化: データベースサーバー、金融システム、科学計算、ハイパフォーマンスコンピューティング (HPC) など、高いデータ整合性と完全性を必要とするアプリケーションに適しています。

これらの理由により、ECC モードは一様に初期化されません。これにより、クラスター内の GPU ノード間で ECC 構成に一貫性がなくなる可能性があります。

Container Service for Kubernetes は GPU 仮想化インスタンスをサポートしていますか?

GPU 仮想化インスタンスが正しく機能するには、NVIDIA の GRID ライセンスが必要です。GPU 仮想化インスタンスを使用するには、NVIDIA から GRID ライセンスを購入し、独自のライセンスサーバーを構築する必要があります。

Alibaba Cloud はライセンスサーバーを提供していないため、GPU 仮想化インスタンスは、GPU 仮想化クラスター内であっても直接使用することはできません。したがって、Container Service for Kubernetes コンソールでは、クラスターノードとして GPU 仮想化インスタンスを選択することができなくなりました。

サポートされていない GPU 仮想化インスタンスには、ecs.vgn5i、ecs.vgn6i、ecs.vgn7i、ecs.sgn7i などのプレフィックスを持つ ECS インスタンスが含まれます。これらのインスタンスを使用するには、NVIDIA から GRID ライセンスを購入し、独自のライセンスサーバーを構築する必要があります。

ライセンスサーバーをすでにセットアップしている場合は、次の手順に従って GPU 仮想化インスタンスを ACK クラスターに追加できます。

GPU 仮想化インスタンスを ACK クラスターに追加する

1. 権限クォータ に移動し、カスタム OS イメージ機能をリクエストします。

2. CentOS 7.x または Alibaba Cloud Linux 2 に基づいてカスタム OS イメージを作成します。イメージには NVIDIA GRID ドライバーがインストールされ、GRID ライセンスが正しく構成されている必要があります。詳細については、「インスタンスからカスタムイメージを作成する」および「vGPU 対応インスタンス (Linux) に GRID ドライバーをインストールする」をご参照ください。

3. ノードプールを作成します。詳細については、「ノードプールを作成および管理する」をご参照ください。

4. ステップ 3 で作成したノードプールに GPU 仮想化インスタンスを追加します。詳細については、「既存のノードを追加する」をご参照ください。

次のステップ: ACK クラスター内の GPU 仮想化インスタンスの NVIDIA ドライバーライセンスを更新する

ACK クラスター内の GPU 仮想化インスタンスの NVIDIA ドライバーライセンスを更新する方法については、「ACK クラスター内の GPU 仮想化 (vGPU) インスタンスの NVIDIA ドライバーライセンスを更新する」をご参照ください。

既存のクラスターの GPU ノードでカーネルを手動でアップグレードする方法

1. GPU ノードをスケジュール不可に設定します。この例では、ノード cn-beijing.i-2ze19qyi8votgjz12345 を使用します。

   kubectl cordon cn-beijing.i-2ze19qyi8votgjz12345
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 already cordoned

2. ドライバーをアップグレードする GPU ノードをドレインします。

   kubectl drain cn-beijing.i-2ze19qyi8votgjz12345 --grace-period=120 --ignore-daemonsets=true
   
   node/cn-beijing.i-2ze19qyi8votgjz12345 cordoned
   WARNING: Ignoring DaemonSet-managed pods: flexvolume-9scb4, kube-flannel-ds-r2qmh, kube-proxy-worker-l62sf, logtail-ds-f9vbg
   pod/nginx-ingress-controller-78d847fb96-5fkkw evicted

3. 現在の NVIDIA ドライバーをアンインストールします。

   説明

   このステップでは、ドライバーバージョン 384.111 をアンインストールします。ドライバーのバージョンが異なる場合は、NVIDIA の Web サイトから対応するドライバーインストールパッケージをダウンロードし、それに応じてバージョン番号を置き換えてください。

   1. GPU ノードにログインし、nvidia-smi を実行してドライバーのバージョンを確認します。

      sudo nvidia-smi -a | grep 'Driver Version'
      Driver Version                      : 384.111

   2. NVIDIA ドライバーインストールパッケージをダウンロードします。

      sudo cd /tmp/
      sudo curl -O https://cn.download.nvidia.cn/tesla/384.111/NVIDIA-Linux-x86_64-384.111.run

      説明

      NVIDIA ドライバーをアンインストールするには、インストールパッケージを使用する必要があります。

   3. 現在の NVIDIA ドライバーをアンインストールします。

      sudo chmod u+x NVIDIA-Linux-x86_64-384.111.run
      sudo sh ./NVIDIA-Linux-x86_64-384.111.run --uninstall -a -s -q

4. カーネルをアップグレードします。

5. GPU インスタンスを再起動します。

   sudo reboot

6. GPU ノードに再度ログインし、対応する kernel-devel パッケージをインストールします。

   sudo yum install -y kernel-devel-$(uname -r)

7. NVIDIA の Web サイトにアクセスして、必要な NVIDIA ドライバーをダウンロードしてインストールします。この例では、バージョン 410.79 を使用します。

   sudo cd /tmp/
   sudo curl -O https://cn.download.nvidia.cn/tesla/410.79/NVIDIA-Linux-x86_64-410.79.run
   sudo chmod u+x NVIDIA-Linux-x86_64-410.79.run
   sudo sh ./NVIDIA-Linux-x86_64-410.79.run -a -s -q
   
   # warm up GPU
   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

8. /etc/rc.d/rc.local ファイルをチェックして、次の構成が含まれていることを確認します。含まれていない場合は、手動で追加します。

   sudo nvidia-smi -pm 1 || true
   sudo nvidia-smi -acp 0 || true
   sudo nvidia-smi --auto-boost-default=0 || true
   sudo nvidia-smi --auto-boost-permission=0 || true
   sudo nvidia-modprobe -u -c=0 -m || true

9. kubelet と Docker を再起動します。

   sudo service kubelet stop
   sudo service docker restart
   sudo service kubelet start

10. GPU ノードを再度スケジュール可能に設定します。

    kubectl uncordon cn-beijing.i-2ze19qyi8votgjz12345
    
    node/cn-beijing.i-2ze19qyi8votgjz12345 already uncordoned

11. GPU ノードのデバイスプラグイン Pod でドライバーのバージョンを確認します。

    kubectl exec -n kube-system -t nvidia-device-plugin-cn-beijing.i-2ze19qyi8votgjz12345 nvidia-smi
    Thu Jan 17 00:33:27 2019
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 410.79       Driver Version: 410.79       CUDA Version: N/A      |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  Tesla P100-PCIE...  On   | 00000000:00:09.0 Off |                    0 |
    | N/A   27C    P0    28W / 250W |      0MiB / 16280MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
    
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID   Type   Process name                             Usage      |
    |=============================================================================|
    |  No running processes found                                                 |
    +-----------------------------------------------------------------------------+

    説明

    docker ps コマンドを実行して、GPU ノードでコンテナーが起動していないことがわかった場合は、「GPU ノードでのコンテナー起動の問題を修正する」をご参照ください。

GPU ノードでのコンテナー起動の問題を修正する

sudo service kubelet stop
Redirecting to /bin/systemctl stop kubelet.service
sudo service docker stop
Redirecting to /bin/systemctl stop docker.service
sudo service docker start
Redirecting to /bin/systemctl start docker.service
sudo service kubelet start
Redirecting to /bin/systemctl start kubelet.service

sudo docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

sudo docker info | grep -i cgroup
Cgroup Driver: cgroupfs

この問題を解決するには、次の手順に従います。

1. /etc/docker/daemon.json ファイルをバックアップします。次に、次のコマンドを実行して /etc/docker/daemon.json を更新します。

   sudo cat >/etc/docker/daemon.json <<-EOF
   {
       "default-runtime": "nvidia",
       "runtimes": {
           "nvidia": {
               "path": "/usr/bin/nvidia-container-runtime",
               "runtimeArgs": []
           }
       },
       "exec-opts": ["native.cgroupdriver=systemd"],
       "log-driver": "json-file",
       "log-opts": {
           "max-size": "100m",
           "max-file": "10"
       },
       "oom-score-adjust": -1000,
       "storage-driver": "overlay2",
       "storage-opts": ["overlay2.override_kernel_check=true"],
       "live-restore": true
   }
   EOF

2. Docker と kubelet を再起動します。

   sudo service kubelet stop
   Redirecting to /bin/systemctl stop kubelet.service
   sudo service docker restart
   Redirecting to /bin/systemctl restart docker.service
   sudo service kubelet start
   Redirecting to /bin/systemctl start kubelet.service

3. Docker の Cgroup ドライバーが systemd であることを確認します。

   sudo docker info | grep -i cgroup
   Cgroup Driver: systemd

ECS ベアメタルインスタンスノードの追加に失敗した場合はどうすればよいですか?

ECS ベアメタルインスタンス (ecs.ebmgn7) は、マルチインスタンス GPU (MIG) をサポートしています。既存の MIG 設定がノードのデプロイメントに影響を与えないようにするため、このタイプのノードがクラスターに追加されるたびに、システムは既存の MIG 設定をリセットします。このリセット時間は可変です。リセットに時間がかかりすぎると、ノードを追加するスクリプトがタイムアウトし、操作が失敗する可能性があります。

このインスタンスファミリーのノードの追加に失敗した場合は、ノードのホストで次のコマンドを実行できます。

sudo cat /var/log/ack-deploy.log

command timeout: timeout 300 nvidia-smi --gpu-reset

このエラーが存在する場合、失敗は MIG のリセットが原因です。ノードを再度追加できます。詳細については、「既存のノードを追加する」をご参照ください。

Alibaba Cloud Linux 3 で GPU コンテナーを実行したときに「Failed to initialize NVML: Unknown Error」が発生した場合はどうすればよいですか?

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

XID 119 または XID 120 エラーが原因で GPU カードが使用できなくなった場合はどうすればよいですか?

クラスター内の障害のある GPU を手動で分離する方法

GPU 共有スケジューリングを使用すると、クラスター内の障害のある GPU が原因でジョブが失敗することがあります。ジョブが再起動した場合、同じ障害のある GPU にスケジュールされて再び失敗する可能性があります。繰り返しの失敗を防ぐために、障害のある GPU を手動でマークすることができます。スケジューラはマークされた GPU を使用しなくなり、障害分離が提供されます。

障害のある GPU をマークするには、次の例に示すように、特別な ConfigMap をクラスターに送信します。

apiVersion: v1
kind: ConfigMap
metadata:
  name: <node-name>-device-status   # <node-name> を実際のノード名に置き換えます。
  namespace: kube-system
data:
  devices: |
    - deviceId: 0          # nvidia-smi を実行して GPU の序数を取得します。
      deviceType: gpu
      healthy: false

ConfigMap は kube-system 名前空間にある必要があります。ConfigMap の名前は、障害のある GPU をホストするノードの名前に -device-status サフィックスを付けたものである必要があります。data フィールドでは、deviceId は nvidia-smi コマンドから取得される GPU の序数、deviceType は gpu、healthy は false です。構成を送信すると、スケジューラは対応する GPU を分離します。

GPU コンテナーでの "Failed to initialize NVML: Unknown Error" メッセージを解決する

sudo nvidia-smi

Failed to initialize NVML: Unknown Error

#!/bin/bash
set -e

export CONFIG=/etc/nvidia-container-runtime/config.toml
export CONTAINER_ROOT_PATH="/run/containerd/io.containerd.runtime.v2.task/k8s.io"

if [ -f $CONFIG ];then
    # nvidia-container-runtime 構成のログレベルを "info" から "error" に変更します。
	sed -i 's@^log-level = "info"@log-level = "error"@g' $CONFIG
    # コンテナーの log.json ファイルの内容をクリアします。
	find $CONTAINER_ROOT_PATH -mindepth 2 -maxdepth 2 -name log.json -type f -exec sh -c 'echo "" > "{}"' \;
fi