Container Service for Kubernetes:GPU リソースのモニタリングのベストプラクティス

重要事項

• GPU モニタリングメトリックは 15 秒間隔で収集されるため、Grafana ダッシュボードでわずかなデータ遅延が発生する可能性があります。その結果、ダッシュボードではノードに利用可能な GPU メモリがないと表示されていても、Pod が正常にスケジュールされることがあります。これは、Pod がタスクを完了し、15 秒の収集間隔 (2 回のスクレイプの間) 内に GPU リソースを解放し、次のメトリック更新の前にスケジューラが保留中の Pod をそのノードに配置できる場合に発生する可能性があります。

• モニタリングダッシュボードは、Pod の resources.limits を介してリクエストされた GPU リソースのみをモニターします。詳細については、「Pod とコンテナーのリソース管理」をご参照ください。

  次の方法で GPU リソースを使用すると、モニタリングダッシュボードのデータが不正確になる場合があります。

  • ノード上で直接 GPU アプリケーションを実行する。

  • docker run コマンドで直接起動されたコンテナーで GPU アプリケーションを実行する。

  • Pod の env セクションで NVIDIA_VISIBLE_DEVICES=all または NVIDIA_VISIBLE_DEVICES=<GPU ID> 環境変数を直接設定し、GPU プログラムを実行して Pod の GPU リソースをリクエストする。

  • Pod の securityContext で privileged: true を構成し、GPU プログラムを実行する。

  • NVIDIA_VISIBLE_DEVICES 環境変数が設定されていない Pod で GPU プログラムを実行するが、Pod が使用するコンテナイメージにはデフォルトで NVIDIA_VISIBLE_DEVICES=all が構成されている。

• 割り当てられた GPU メモリと使用されている GPU メモリは必ずしも同じではありません。たとえば、GPU カードの合計 GPU メモリが 16 GiB であるとします。そのうち 5 GiB を、起動コマンドが sleep 1000 である Pod に割り当てます。この場合、Pod は Running 状態ですが、1000 秒間は GPU を使用しません。その結果、5 GiB の GPU メモリが割り当てられますが、使用される GPU メモリは 0 GiB になります。

手順 1: ノードプールを作成する

GPU モニタリングダッシュボードには、GPU リソースをカード全体として、または特定の量の GPU メモリ (オプションで計算能力も) でリクエストする Pod のメトリックが表示されます。

この例では、クラスターに 3 つのノードプールを作成して、さまざまな GPU リクエストモデルの Pod スケジューリングとリソース使用量を示します。ノードプールの作成に関する詳細な手順については、「ノードプールを作成する」をご参照ください。ノードプールの構成は次のとおりです。

手順 2: GPU アプリケーションをデプロイする

ノードプールを作成した後、ノードで GPU テストジョブを実行して、GPU メトリックが正しく収集されていることを確認します。各ジョブに必要なラベルとスケジューリングの関係については、「GPU ノードタイプとスケジューリングラベル」をご参照ください。3 つのジョブの構成は次のとおりです。

1. ジョブのマニフェストファイルを作成します。

   • tensorflow-benchmark-exclusive.yaml という名前のファイルを次の YAML コンテンツで作成します。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-exclusive
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-exclusive
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 nvidia.com/gpu: 1 # GPU を申請します。
             workingDir: /root
           restartPolicy: Never

   • tensorflow-benchmark-share-mem.yaml という名前のファイルを次の YAML コンテンツで作成します。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 # 10 GiB の GPU メモリを申請します。
             workingDir: /root
           restartPolicy: Never

   • tensorflow-benchmark-share-mem-core.yaml という名前のファイルを次の YAML コンテンツで作成します。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem-core
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem-core
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 # 10 GiB の GPU メモリを申請します。
                 aliyun.com/gpu-core.percentage: 30  # GPU の計算能力の 30% を申請します。
             workingDir: /root
           restartPolicy: Never

2. 次のコマンドを実行してジョブをデプロイします。

   kubectl apply -f tensorflow-benchmark-exclusive.yaml
   kubectl apply -f tensorflow-benchmark-share-mem.yaml
   kubectl apply -f tensorflow-benchmark-share-mem-core.yaml

3. 次のコマンドを実行して Pod のステータスを確認します。

   kubectl get pod

   期待される出力:

   NAME                                        READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-exclusive-7dff2        1/1     Running   0          3m13s
   tensorflow-benchmark-share-mem-core-k24gz   1/1     Running   0          4m22s
   tensorflow-benchmark-share-mem-shmpj        1/1     Running   0          3m46s

   出力は、すべての Pod が Running 状態であることを示しており、ジョブが正常にデプロイされたことを意味します。

手順 3: GPU モニタリングダッシュボードを表示する