Container Service for Kubernetes：監控叢集GPU資源最佳實務

注意事項

• 當前GPU監控指標的採集間隔為15秒，這可能導致Grafana監控儀錶盤展示的資料存在一定延遲。因此可能會出現在監控顯示節點無可用顯存，但實際Pod還能調度到該節點上。出現該現象可能是在兩次監控採集之間（15 秒內）有Pod完成任務並釋放GPU資源，調度器感知後，將處於Pending的Pod調度到這個節點上。

• 監控大盤只支援監控通過在Pod中配置resources.limits的方式申請的GPU資源。更多資訊，請參見為Pod和容器管理資源。

  節點使用GPU資源時存在以下情況，可能會導致監控大盤的資料不準確：

  • 直接在節點上運行GPU應用。

  • 通過docker run命令直接啟動容器運行GPU應用。

  • 在Pod的env中直接添加環境變數NVIDIA_VISIBLE_DEVICES=all或NVIDIA_VISIBLE_DEVICES=<GPU ID>等，通過環境變數NVIDIA_VISIBLE_DEVICES直接為Pod申請GPU資源，並且運行了GPU程式。

  • 在Pod的securityContext中配置privileged: true，並且運行了GPU程式。

  • 在Pod中未設定環境變數NVIDIA_VISIBLE_DEVICES，但Pod所使用的鏡像在製作時，預設配置環境變數NVIDIA_VISIBLE_DEVICES=all，並且運行了GPU程式。

• GPU卡已指派的顯存和已使用的顯存不一定相同。例如某一張GPU卡共有16 GiB顯存，為某個Pod分配了5 GiB顯存，但Pod的啟動命令為sleep 1000，即Pod處於Running但需要經過1000秒後才會使用GPU，因此存在GPU卡已指派的顯存為5 GiB，但已使用的顯存為0 GiB的情況。

步驟一：建立節點池

Pod按整張卡方式或顯存維度申請GPU資源（包括申請GPU算力資源），GPU監控大盤均可以展示其相關指標。

本樣本將在叢集中建立三個節點池，展示不同GPU資源申請模式下的Pod調度與資源佔用情況。關於建立節點池的具體步驟，請參見建立節點池。節點池部分資訊如下：

步驟二：部署GPU應用

節點池建立完成後，為了驗證節點GPU相關指標是否正常，需要在節點上運行一些GPU測試工作。可參見開啟調度功能瞭解各任務所需匹配標籤及調度關係。三個任務的部分資訊如下：

1. 建立Job檔案。

   • 使用以下YAML內容，建立tensorflow-benchmark-exclusive.yaml檔案。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-exclusive
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-exclusive
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 nvidia.com/gpu: 1 #申請1張GPU卡。
             workingDir: /root
           restartPolicy: Never

   • 使用以下YAML內容，建立tensorflow-benchmark-share-mem.yaml檔案。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 #申請10 GiB顯存。
             workingDir: /root
           restartPolicy: Never

   • 使用以下YAML內容，建立tensorflow-benchmark-share-mem-core.yaml檔案。

     apiVersion: batch/v1
     kind: Job
     metadata:
       name: tensorflow-benchmark-share-mem-core
     spec:
       parallelism: 1
       template:
         metadata:
           labels:
             app: tensorflow-benchmark-share-mem-core
         spec:
           containers:
           - name: tensorflow-benchmark
             image: registry.cn-beijing.aliyuncs.com/ai-samples/gpushare-sample:benchmark-tensorflow-2.2.3
             command:
             - bash
             - run.sh
             - --num_batches=5000000
             - --batch_size=8
             resources:
               limits:
                 aliyun.com/gpu-mem: 10 #申請10 GiB顯存。
                 aliyun.com/gpu-core.percentage: 30  #申請1張卡的30%算力。
             workingDir: /root
           restartPolicy: Never

2. 執行以下命令，部署Job任務。

   kubectl apply -f tensorflow-benchmark-exclusive.yaml
   kubectl apply -f tensorflow-benchmark-share-mem.yaml
   kubectl apply -f tensorflow-benchmark-share-mem-core.yaml

3. 執行以下命令，查看Pod的運行狀態。

   kubectl get pod

   預期輸出：

   NAME                                        READY   STATUS    RESTARTS   AGE
   tensorflow-benchmark-exclusive-7dff2        1/1     Running   0          3m13s
   tensorflow-benchmark-share-mem-core-k24gz   1/1     Running   0          4m22s
   tensorflow-benchmark-share-mem-shmpj        1/1     Running   0          3m46s

   由預期輸出得到，Pod均處於Running狀態，表示Job任務部署成功。

步驟三：查看GPU監控大盤