Container Service for Kubernetes:ACK Edge クラスターでの GPU 共有スケジューリング機能の使用

クラウドノードプール

1. [クラスター] ページで、対象のクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、[ノード] > [ノードプール] を選択します。

2. [ノードプール] ページの右上隅にある [ノードプールを作成] をクリックします。

3. [ノードプールの作成] ダイアログボックスでパラメーターを設定し、[注文の確認] をクリックします。 次の表で、主要なパラメーターについて説明します。 その他のパラメーターについては、「ノードプールの作成と管理」をご参照ください。

   重要

   ノードに GPU 共有ラベルを追加した後、kubectl label nodes または ACK コンソールのラベル管理機能を使用してラベル値を変更しないでください。これにより、スケジューリングの問題が発生する可能性があります。GPU 共有はノードプールレベルで設定してください。詳細については、「ノードプールの GPU スケジューリングポリシーを設定する」および「ラベル値を変更した場合に発生する可能性のある問題」をご参照ください。

   パラメーター	説明
   予想されるノード	初期ノード数。0 に設定すると、空のノードプールが作成されます。
   ノードラベル	「」アイコンをクリックし、[キー] を ack.node.gpu.schedule に設定し、[値] を cgpu に設定します。このラベルにより、GPU メモリの隔離とコンピューティング能力の共有を伴う GPU 共有が有効になります。ノード上の Pod は GPU メモリのみを要求し、複数の Pod が同じ GPU を共有できます。詳細については、「GPU スケジューリングポリシーを有効化するためのラベル」をご参照ください。

エッジノードプール

1. [クラスター] ページで、対象のクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、[ノード] > [ノードプール] を選択します。

2. [ノードプール] ページで、[ノードプールを作成] をクリックします。

3. [ノードプールを作成] ダイアログボックスで、パラメーターを設定し、[注文の確認] をクリックします。[ノードラベル] セクションで、 アイコンをクリックし、[キー] を ack.node.gpu.schedule に、[値] を share に設定します。このラベルは GPU 共有を有効にします。その他のパラメーターについては、「エッジノードプールの管理」をご参照ください。ノードラベルの詳細については、「GPU スケジューリングポリシーを有効にするためのラベル」をご参照ください。

クラウドノードプール

1. 現在の GPU メモリ割り当てを確認します。

   kubectl inspect cgpu

   想定される出力：

   NAME                     IPADDRESS    GPU0(Allocated/Total)  GPU1(Allocated/Total)  GPU Memory(GiB)
   cn-shanghai.192.168.0.4  192.168.0.4  0/7                    0/7                    0/14
   ---------------------------------------------------------------------
   Allocated/Total GPU Memory In Cluster:
   0/14 (0%)

2. 3 GiB の GPU メモリをリクエストするサンプルジョブをデプロイします。npxxxxxxxxxxxxxx をご利用のノードプール ID に置き換えてください。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: gpu-share-sample
   spec:
     parallelism: 1
     template:
       metadata:
         labels:
           app: gpu-share-sample
       spec:
         nodeSelector:
           alibabacloud.com/nodepool-id: npxxxxxxxxxxxxxx # ご利用のノードプール ID に置き換えます
         containers:
         - name: gpu-share-sample
           image: registry.cn-hangzhou.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5
           command:
           - python
           - tensorflow-sample-code/tfjob/docker/mnist/main.py
           - --max_steps=100000
           - --data_dir=tensorflow-sample-code/data
           resources:
             limits:
               aliyun.com/gpu-mem: 3 # リクエストする GPU メモリ (GiB)
           workingDir: /root
         restartPolicy: Never

   aliyun.com/gpu-mem フィールドは、GPU メモリの量を GiB 単位で指定します。例えば、3 は共有 GPU から 3 GiB の GPU メモリをリクエストします。

エッジノードプール

4 GiB の GPU メモリをリクエストするサンプルジョブをデプロイします。npxxxxxxxxxxxxxx をご利用のエッジノードプール ID に置き換えてください。

apiVersion: batch/v1
kind: Job
metadata:
  name: tensorflow-mnist-share
spec:
  parallelism: 1
  template:
    metadata:
      labels:
        app: tensorflow-mnist-share
    spec:
      nodeSelector:
        alibabacloud.com/nodepool-id: npxxxxxxxxxxxxxx # ご利用のエッジノードプール ID に置き換えます
      containers:
      - name: tensorflow-mnist-share
        image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5
        command:
        - python
        - tensorflow-sample-code/tfjob/docker/mnist/main.py
        - --max_steps=100000
        - --data_dir=tensorflow-sample-code/data
        resources:
          limits:
            aliyun.com/gpu-mem: 4 # リクエストする GPU メモリ (GiB)
        workingDir: /root
      restartPolicy: Never

クラウドノードプール

1. コントロールプレーンにログインします。

2. Pod の最後のログ行をプリントして、GPU メモリ隔離がアクティブであることを確認します。

   kubectl logs gpu-share-sample --tail=1

   想定される出力：

   2023-08-07 09:08:13.931003: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1326] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 2832 MB memory) -> physical GPU (device: 0, name: Tesla T4, pci bus id: 0000:00:07.0, compute capability: 7.5)

   この出力は、コンテナによって 2,832 MiB の GPU メモリがリクエストされたことを示しています。

3. コンテナ内で nvidia-smi を実行して、コンテナから見えるメモリを確認します。

   • `3043MiB / 3231MiB` — コンテナは GPU 全体のメモリではなく、3,231 MiB (約 3 GiB) のみを参照できます。これは GPU メモリ隔離が機能していることを確認するものです。

   kubectl exec -it gpu-share-sample nvidia-smi

   想定される出力：

   Mon Aug 7 08:52:18 2023
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 418.87.01    Driver Version: 418.87.01    CUDA Version: 10.1     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |===============================+======================+======================|
   |   0  Tesla T4            On   | 00000000:00:07.0 Off |                    0 |
   | N/A   41C    P0    26W /  70W |   3043MiB /  3231MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                       GPU Memory |
   |  GPU       PID   Type   Process name                             Usage      |
   |=============================================================================|
   +-----------------------------------------------------------------------------+

   主な考慮事項：

4. ノード上で nvidia-smi を実行して、合計 GPU メモリを確認します。

   • `15079MiB` — ノード上の合計 GPU メモリ (Tesla T4 全体)

   • `3053MiB / 15079MiB` — コンテナは合計 15,079 MiB のうち 3,053 MiB を占有しており、残りのメモリは他の Pod が同じ GPU を共有するために利用可能です。

   nvidia-smi

   想定される出力：

   Mon Aug  7 09:18:26 2023
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 418.87.01    Driver Version: 418.87.01    CUDA Version: 10.1     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |===============================+======================+======================|
   |   0  Tesla T4            On   | 00000000:00:07.0 Off |                    0 |
   | N/A   40C    P0    26W /  70W |   3053MiB / 15079MiB |      0%      Default |
   +-------------------------------+----------------------+----------------------+
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                       GPU Memory |
   |  GPU       PID   Type   Process name                             Usage      |
   |=============================================================================|
   |    0      8796      C   python3                                     3043MiB |
   +-----------------------------------------------------------------------------+

   主な考慮事項：

エッジノードプール

1. [クラスター] ページで、対象のクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、[ワークロード] > [Pod] を選択します。

2. ご利用の Pod (例：`tensorflow-mnist-multigpu-*`) の [操作] 列で、[ターミナル] をクリックして以下を実行します。

   • `16384MiB` — Pod は GPU 全体のメモリ (V100 SXM2, 16 GiB) を参照できます。エッジノードプールは GPU 共有をサポートしますが、GPU メモリ隔離はサポートしないため、Pod のビューはリクエストした 4 GiB に制限されません。

   • Pod の実際の GPU メモリ使用量は、GPU 共有コンポーネントによって自動的に設定される環境変数によって管理されます：`` ALIYUN_COM_GPU_MEM_CONTAINER=4 # Pod に割り当てられた GPU メモリ (GiB) ALIYUN_COM_GPU_MEM_DEV=16 # 物理 GPU の合計メモリ (GiB) ``

   • 割り当てられた GPU メモリと合計 GPU メモリの比率は次のとおりです：4 / 16 = 0.25 (25%)

   nvidia-smi

   想定される出力：

   Wed Jun 14 06:45:56 2023
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 515.105.01   Driver Version: 515.105.01   CUDA Version: 11.7     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  Tesla V100-SXM2...  On   | 00000000:00:09.0 Off |                    0 |
   | N/A   35C    P0    59W / 300W |    334MiB / 16384MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   +-----------------------------------------------------------------------------+

   主な考慮事項：