Container Service for Kubernetes:クラスター GPU リソースモニタリングのベストプラクティス

注意事項

• GPU メトリックは 15 秒間隔で収集されます。これにより、Grafana モニタリングダッシュボードに表示されるデータに遅延が生じる場合があります。その結果、ダッシュボードではノードに利用可能な GPU メモリがないと表示されていても、Pod がそのノードに正常にスケジューリングされることがあります。これは、実行中の Pod がスクレイピングの間 (15 秒のウィンドウ内) に GPU リソースを解放し、スケジューラーが次のメトリック収集の前に保留中の Pod をノードに配置した場合に発生する可能性があります。

• モニタリングダッシュボードは、Pod 仕様の resources.limits フィールドでリクエストされた GPU リソースのみを追跡します。詳細については、「コンテナのリソース管理」をご参照ください。

  以下のいずれかの方法で GPU リソースを使用する場合、モニタリングダッシュボードのデータが不正確になる可能性があります：

  • ノード上で GPU アプリケーションを直接実行する。

  • docker run コマンドを使用してコンテナを起動し、GPU アプリケーションを実行する。

  • Pod の env セクションで NVIDIA_VISIBLE_DEVICES 環境変数を設定 (例：NVIDIA_VISIBLE_DEVICES=all または NVIDIA_VISIBLE_DEVICES=<GPU ID>) して GPU リソースをリクエストし、その後 GPU プログラムを実行する。

  • Pod の securityContext で privileged: true を設定し、その Pod 内で GPU プログラムを実行する。

  • NVIDIA_VISIBLE_DEVICES 環境変数が設定されていない Pod で GPU プログラムを実行するが、その Pod のコンテナイメージがデフォルトで NVIDIA_VISIBLE_DEVICES=all を設定している。

• GPU カードに割り当てられた GPU メモリは、必ずしも使用済み GPU メモリと同じではありません。たとえば、カードの合計 GPU メモリが 16 GiB で、そのうち 5 GiB を Pod に割り当てるとします。Pod の起動コマンドが sleep 1000 の場合、Pod は実行中の状態になりますが、1,000 秒間 GPU を使用しません。この場合、割り当てられた GPU メモリは 5 GiB ですが、使用済み GPU メモリは 0 GiB となります。

手順1：ノードプールの作成

GPU モニタリングダッシュボードでは、フルカード、または GPU メモリ単位で GPU リソースをリクエストする Pod のメトリックを表示できます。これには、コンピューティング性能のリクエストも含まれます。

この例では、クラスターに 3 つのノードプールを作成し、異なる GPU リクエストモードでの Pod のスケジューリングとリソース使用状況を示します。ノードプールの作成に関する詳細な手順については、「ノードプールの作成」をご参照ください。ノードプールの設定は次のとおりです：

手順2：GPU アプリケーションのデプロイ

ノードプールを作成した後、ノードで GPU テスト Job を実行して、GPU メトリックが正しく収集されることを確認します。各 Job の label とスケジューリング関係の詳細については、「スケジューリングの有効化」をご参照ください。3 つの Job の詳細は次のとおりです：

1. Job マニフェストファイルを作成します。

   • 次の YAML コンテンツを含む tensorflow-benchmark-exclusive.yaml という名前のファイルを作成します。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-exclusive
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-exclusive
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 nvidia.com/gpu: 1 # GPU カードを 1 枚リクエストします。
             workingDir: /root
           restartPolicy: Never

   • 次の YAML コンテンツを含む tensorflow-benchmark-share-mem.yaml という名前のファイルを作成します。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 # 10 GiB の GPU メモリをリクエストします。
             workingDir: /root
           restartPolicy: Never

   • 次の YAML コンテンツを含む tensorflow-benchmark-share-mem-core.yaml という名前のファイルを作成します。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem-core
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem-core
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 # 10 GiB の GPU メモリをリクエストします。
                 aliyun.com/gpu-core.percentage: 30  # カード 1 枚のコンピューティング性能の 30% をリクエストします。
             workingDir: /root
           restartPolicy: Never

2. 次のコマンドを実行して Job をデプロイします：

   kubectl apply -f tensorflow-benchmark-exclusive.yaml
   kubectl apply -f tensorflow-benchmark-share-mem.yaml
   kubectl apply -f tensorflow-benchmark-share-mem-core.yaml

3. 次のコマンドを実行して Pod のステータスを確認します：

   kubectl get pod

   実行結果の例：

   NAME                                        READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-exclusive-7dff2        1/1     Running   0          3m13s
   tensorflow-benchmark-share-mem-core-k24gz   1/1     Running   0          4m22s
   tensorflow-benchmark-share-mem-shmpj        1/1     Running   0          3m46s

   出力から、すべての Pod が Running 状態であり、Job が正常にデプロイされたことがわかります。

手順3：GPU ダッシュボードの表示