Container Compute Service：在GPU-HPN節點上使用GPU共用調度

資源配置及QoS

GPU共用資源使用Kubernetes的requests/limits約束來描述資源，支援以百分比的形式分別配置算力和顯存。同時也支援limits大於requests的資源描述形式，因此可能會出現多個Pod同時爭搶GPU資源的情況。ACS定義了GPU共用資源的QoS（服務品質），當節點中有多個Pod同時使用GPU資源時，Pod會排隊並可能觸發搶佔。樣本如下：

...
resources:
  requests:  # 控制節點上可調度的Pod數量
    alibabacloud.com/gpu-core.percentage: 10         # Pod需要使用的算力百分比。
    alibabacloud.com/gpu-memory.percentage: 10       # Pod需要使用的顯存百分比。
  limits:    # 控制運行時可以使用的資源上限，具體效果請參見配置說明。
    alibabacloud.com/gpu-core.percentage: 100        # 算力用量上限
    alibabacloud.com/gpu-memory.percentage: 100      # 顯存用量上限，超用會有CUDA OOM報錯
...

與作業系統的進程管理機制類似，GPU共用模組會將Pod劃分為三種類型，分別為“休眠”、“就緒”、“運行”，各狀態的轉換過程如圖所示。

• Pod在啟動後首先會被標記為“休眠”狀態。

• 當Pod嘗試使用GPU資源時，會被標記為“就緒”狀態，GPU共用模組會按一定優先策略為Pod分配GPU資源。

• 當Pod分配到GPU後，會被標記為“運行”狀態。

• 若所有資源分派後，仍有Pod處於“就緒”狀態，則會觸發搶佔機制，以保障Pod之間的資源公平性。

• Pod被搶佔時，佔用GPU資源的進程會被kill，重新回到“休眠”狀態。

資源共用模型

GPU共用調度基於共用模型，支援在一張GPU卡上同時運行多個Pod。目前ACS支援以下共用模型：

步驟一：為GPU-HPN節點配置標籤 

1. 查看GPU-HPN節點。

   重要

   開啟前需要確保節點上不存在聲明GPU獨佔資源的Pod，否則需要先將Pod刪除才能開啟。若Pod僅申請了CPU和記憶體資源則不需要刪除。

   kubectl get node -l alibabacloud.com/node-type=reserved

   預期輸出：

   NAME                     STATUS   ROLES   AGE   VERSION
   cn-wulanchabu-c.cr-xxx   Ready    agent   59d   v1.28.3-aliyun

2. 為節點cn-wulanchabu-c.cr-xxx增加標籤alibabacloud.com/gpu-share-policy=share-pool，開啟GPU共用調度功能。

   $ kubectl label node cn-wulanchabu-c.cr-xxx alibabacloud.com/gpu-share-policy=share-pool

步驟二：查看對應節點的開啟狀態

等待節點功能開啟完成，查看節點開啟狀態。在capacity欄位中可以看到GPU共用資源，且conditions中的GPUSharePolicyValid提示為True，表示開啟成功。

$ kubectl get node cn-wulanchabu-c.cr-xxx -o yaml

GPU共用策略生效後，節點狀態會更新為以下形式。預期輸出：

# 具體以實際情況為準
apiVersion: v1
kind: Node
spec: 
  # ...
status:
  allocatable:
    # GPU共用資源描述
    alibabacloud.com/gpu-core.percentage: "1600"
    alibabacloud.com/gpu-memory.percentage: "1600"
    # 功能開啟後，預留CPU、記憶體和儲存資源給GPU共用模組使用
    cpu: "144"
    memory: 1640Gi
    nvidia.com/gpu: "16"
    ephemeral-storage: 4608Gi
  capacity:
    # GPU共用資源描述
    alibabacloud.com/gpu-core.percentage: "1600"
    alibabacloud.com/gpu-memory.percentage: "1600"
    cpu: "176"
    memory: 1800Gi
    nvidia.com/gpu: "16"
    ephemeral-storage: 6Ti
  conditions:
  # 提示GPU Share策略配置正確性
  - lastHeartbeatTime: "2025-01-07T04:13:04Z"
    lastTransitionTime: "2025-01-07T04:13:04Z"
    message: gpu share policy is valid.
    reason: Valied
    status: "True"
    type: GPUSharePolicyValid
  # 提示當前節點生效的GPU Share策略
  - lastHeartbeatTime: "2025-01-07T04:13:04Z"
    lastTransitionTime: "2025-01-07T04:13:04Z"
    message: gpu share policy is share-pool.
    reason: share-pool
    status: "True"
    type: GPUSharePolicy

關於GPU共用資源各配置項的說明，請參見節點配置說明。

步驟三：使用GPU共用資源規格部署Pod

1. 建立gpu-share-demo.yaml，配置使用與節點相同的共用模型share-pool。

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       alibabacloud.com/compute-class: "gpu-hpn"
       # 指定Pod的GPU共用模型為share-pool，與節點配置一致
       alibabacloud.com/gpu-share-policy: "share-pool" # static
     name: gpu-share-demo
     namespace: default
   spec:
     containers:
     - name: demo
       image: registry-cn-wulanchabu-vpc.ack.aliyuncs.com/acs/stress:v1.0.4
       args:
         - '1000h'
       command:
         - sleep
       # 資源描述中填寫GPU共用資源gpu-core.percentage和gpu-memory.percentage
       # request和limit效果詳見配置說明
       resources:
         limits:
           cpu: '5'
           memory: 50Gi
           alibabacloud.com/gpu-core.percentage: 100
           alibabacloud.com/gpu-memory.percentage: 100
         requests:
           cpu: '5'
           memory: 50Gi
           alibabacloud.com/gpu-core.percentage: 10
           alibabacloud.com/gpu-memory.percentage: 10

2. 部署樣本Pod。

   kubectl apply -f gpu-share-demo.yaml

步驟四：查看Pod的GPU共用資源使用方式

登入容器，查看Pod的GPU共用資源使用方式。

kubectl exec -it pod gpu-share-demo -- /bin/bash

您可使用nvidia-smi等命令，查看容器GPU資源分派和使用方式，具體情況以實際輸出為準。

（可選）步驟五：關閉節點GPU共用調度策略

1. 刪除使用GPU共用功能的Pod。

   $ kubectl delete pod gpu-share-demo

2. 關閉節點的GPU共用調度功能。

   $ kubectl label node cn-wulanchabu-c.cr-xxx alibabacloud.com/gpu-share-policy=none

3. 再次查看節點策略配置狀態。

   $ kubectl get node cn-wulanchabu-c.cr-xxx -o yaml

   預期輸出：

   apiVersion: v1
   kind: Node
   spec: 
     # ...
   status:
     allocatable:
       # 功能關閉後，預留CPU和記憶體資源恢複原值
       cpu: "176"
       memory: 1800Gi
       nvidia.com/gpu: "16"
       ephemeral-storage: 4608Gi
     capacity:
       cpu: "176"
       memory: 1800Gi
       nvidia.com/gpu: "16"
       ephemeral-storage: 6Ti
     conditions:
     # 提示GPU Share策略配置正確性
     - lastHeartbeatTime: "2025-01-07T04:13:04Z"
       lastTransitionTime: "2025-01-07T04:13:04Z"
       message: gpu share policy config is valid.
       reason: Valid
       status: "True"
       type: GPUSharePolicyValid
     # 提示當前節點生效的GPU Share策略
     - lastHeartbeatTime: "2025-01-07T04:13:04Z"
       lastTransitionTime: "2025-01-07T04:13:04Z"
       message: gpu share policy is none.
       reason: none
       status: "False"
       type: GPUSharePolicy

節點配置說明

apiVersion: v1
kind: Node
metadata:
  labels:
    # 功能開啟，使用share-pool策略，取值中可指定其他策略
    alibabacloud.com/gpu-share-policy: share-pool

apiVersion: v1
kind: Node
...
metadata:
  annotations:
    alibabacloud.com/gpu-share-qos-config: '{"preemptEnabled": true, "podMaxDurationMinutes": 120, "reservedEphemeralStorage": "1.5Ti"}'
...

Pod配置說明

功能開啟後，在Pod中配置GPU共用資源標籤即可使用該功能。

apiVersion: v1
kind: Pod
metadata:
  labels:
    # 僅支援gpu-hpn計算類
    alibabacloud.com/compute-class: "gpu-hpn"
    # 指定Pod的GPU共用模型為share-pool，與節點配置一致
    alibabacloud.com/gpu-share-policy: "share-pool"
  name: gpu-share-demo
  namespace: default
spec:
  containers:
  - name: demo
    image: registry-cn-wulanchabu-vpc.ack.aliyuncs.com/acs/stress:v1.0.4
    args:
      - '1000h'
    command:
      - sleep
    resources:
      limits:
        cpu: '5'
        memory: 50Gi
        alibabacloud.com/gpu-core.percentage: 100
        alibabacloud.com/gpu-memory.percentage: 100
      requests:
        cpu: '5'
        memory: 50Gi
        alibabacloud.com/gpu-core.percentage: 10
        alibabacloud.com/gpu-memory.percentage: 10

配置項說明如下：

若節點無空閑GPU資源，就緒隊列中的Pod會如何表現？

當GPU共用Pod等待資源時，會定時列印提示資訊，範例如下。

You have been waiting for ${1} seconds. Approximate position: ${2}

其中${1}參數表示已經等待的時間，${2}參數表示當前在“就緒隊列”中的順位。

GPU共用模式特有的Pod監控指標有哪些？

對於使用了GPU共用資源的Pod，可以通過以下指標查看Pod使用GPU共用資源的情況。

DCGM_FI_POOLING_STATUS{NodeName="cn-wulanchabu-c.cr-xxx",pod="gpu-share-demo",namespace="default"} 1

DCGM_FI_POOLING_POSITION{NodeName="cn-wulanchabu-c.cr-xxx",pod="gpu-share-demo",namespace="default"} 1

Pod使用GPU共用調度時，GPU利用率資料指標有什麼區別？

Pod的GPU利用率指標與之前一致，但對於使用了GPU共用調度情境的Pod，指標的標籤及含義有以下區別。

• ACS提供的Pod監控資料中，GPU算力利用率、顯存用量等指標為基於整卡的絕對值，與GPU獨佔情境一致。

• 在Pod內通過nvidia-smi等命令看到的顯存用量為絕對值，與GPU獨佔情境一致；但算力利用率為相對值，其分母為Pod的limit。

• Pod GPU利用率指標中的編號標籤等裝置資訊對應節點上的真實編號，並不都是從0開始編號。

• 對於share-pool類型的共用模式，由於Pod會在所有GPU裝置內彈性使用不同的卡裝置，所以指標中的裝置號可能會發生變化。

叢集內僅開啟了一部分GPU共用調度，如何避免GPU獨佔Pod調度衝突

ACS叢集預設調度器會自動匹配Pod和Node類型，避免調度衝突。

若您使用了自訂調度器，由於節點容量中同時存在GPU裝置資源和GPU共用資源，可能會導致GPU獨佔Pod調度到GPU共用節點上，您可選擇以下兩種方案：

• 方案一：編寫調度器外掛程式，自動感知ACS Node的配置標籤和condition協議，過濾類型不符合的Node。更多資訊，請參見K8s調度器架構介紹。

• 方案二：利用K8s的label或taint機制，在開啟GPU共用調度的Node上增加label或taint，為GPU獨佔和共用Pod分別配置不同的親和性策略。

GPU共用Pod被搶佔時，有哪些提示資訊可以查看

對於share-pool類型的共用模式，當觸發搶佔時，Pod會有Event和Condition提示。Event為非結構化的資料格式，若您需要讀取結構化的資料內容，可以在對應Condition中的reason和status中擷取，具體如下。

# 表示當前Pod的GPU資源被搶佔，觸發搶佔的Pod名稱是<new-pod-name>。
Warning  GPUSharePreempted  5m15s  gpushare   GPU is preempted by <new-pod-name>.
# 表示當前Pod搶佔了其他Pod的GPU資源，被搶佔的Pod名稱是<old-pod-name>。
Warning  GPUSharePreempt    3m47s  gpushare   GPU is preempted from <old-pod-name>.

- type: Interruption.GPUShareReclaim # 表示GPU共用Pod搶佔的事件類型
  status: "True" # True表示發生了搶佔或者被搶佔的行為
  reason: GPUSharePreempt # GPUSharePreempt表示搶佔了其他Pod，GPUSharePreempted表示被其他pod搶佔
  message: GPU is preempted from <old-pod-name>. # 與event類似的提示資訊
  lastTransitionTime: "2025-04-22T08:12:09Z" # 發生搶佔行為的時間
  lastProbeTime: "2025-04-22T08:12:09Z"

Notebook情境中如何在節點上運行更多的Pod

對於開啟GPU共用功能的Pod，ACS還支援為Pod的CPU、記憶體配置request小於limit的規格，便於充分利用節點資源。需要注意的是，當節點提交的Pod資源limit總量超過節點資源規格(node allocatable)時，Pod在使用CPU和記憶體資源時會互相競爭，您可以結合節點資源使用率資料分析CPU和記憶體的資源競爭情況，詳見ACS GPU-HPN節點層級監控指標。對於Pod來說，CPU資源競爭會體現在Pod的CPU Steal Time上，記憶體資源競爭時會觸發整機OOM導致部分Pod被Kill終止，建議您結合應用特性合理規劃Pod優先順序和資源規格，避免資源競爭導致Pod服務品質受到影響。