Container Service for Kubernetes：將 OSS 資料按需預填充到高效能儲存卷

功能實現

該功能基於 Kubernetes 的 Volume Populators 特性實現，由 ACK 的 storage-operator 進行管理。當建立引用自訂資源 OSSVolumePopulator (OSSVP) 的 PVC 時，storage-operator會攔截該請求並執行資料填充操作。

根據目標儲存卷的類型，填充操作分為以下模式。

模式	適用儲存類型	說明
bmcpfs-dataflow 原生資料流動模式	CPFS智算版	storage-operator 調用 CPFS 自身的資料流動能力進行資料填充。 此模式不佔用叢集計算資源，效率更高。
generic 通用 Pod 填充模式	其他類型儲存，如雲端硬碟、CPFS通用版等	storage-operator 在 ack-volume-populator 命名空間建立臨時 Pod，負責掛載建立儲存卷，並將指定 OSS 資料下載至卷內。填充完成後，該Pod 被銷毀。 此模式將佔用叢集計算資源。

資料填充成功後，PVC 狀態會從 Pending 變為 Bound，此時業務 Pod 便可以掛載該 PVC 並訪問已預熱的資料。

典型應用情境

該功能主要支援以下兩種典型應用情境。

操作流程

兩種模式下，使用 VolumePopulator 功能的核心步驟相似。

環境準備：在storage-operator中開啟Feature Gate VolumePopulator。 開啟VolumePopulator後，將預設建立ack-volume-populator命名空間，用於運行資料預填充期間產生的臨時PVC與Pod。 許可權配置：為資料填充任務授予訪問 OSS 的許可權：bmcpfs-dataflow 模式需要為 OSS Bucket 打上特定標籤；generic 模式需要配置 RRSA 或 AccessKey。 定義資料來源 (OSSVP)：建立一個 OSSVolumePopulator對象，定義從拉取資料的OSS Bucket路徑和填充模式。 建立儲存卷並發起預熱 (PVC)：建立一個PVC對象，指定StorageClass，並使用 dataSourceRef 欄位指向此前建立的 OSSVP。此操作將啟動資料預熱流程（啟動時機取決於 StorageClass 的 volumeBindingMode）。 驗證與使用：PVC 狀態變為 Bound 後，建立業務工作負載（Pod、Deployment 等）掛載此 PVC 進行高速資料讀寫。 資料預熱是儲存卷建立時的一次性操作。建立後，OSS 來源資料的任何修改都不會同步到該儲存卷中。 資源回收：任務結束後，刪除 PVC。若 StorageClass 的 reclaimPolicy 為 Delete，關聯的高效能儲存資源（如 CPFS FileSet、雲端硬碟）將被自動刪除並停止計費，OSS 中的來源資料不受影響。

情境一：預熱資料至CPFS 智算版共用卷

本方案面向模型訓練、推理等唯讀、高吞吐情境，利用CPFS 智算版的資料流動能力，將 OSS 中的模型按需預熱到 CPFS 智算版儲存卷，供多個 GPU 任務高速讀取。

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: qwen3-32b
  # 需要與業務應用和 PVC 處於同一命名空間
  namespace: bmcpfs-dataflow-demo 
spec:
  bucket: <your-bucket-name>
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /Qwen3-32B/
  # 專用於 CPFS 智算版儲存卷，利用其資料流動能力
  mode: bmcpfs-dataflow
  
  # 以下為 bmcpfs-dataflow 模式的可選進階配置
  # 本實踐推薦使用預設配置，此處僅為展示，若無特殊需求可忽略
  # bmcpfsDataflow:
    # 資料流動的最大吞吐 (MB/s)，可選值為 600, 1200, 1500。預設為 600
    # throughput: 1200
    # 是否啟用加密傳輸，預設為空白（不啟用）
    # sourceSecurityType: SSL
    # 資料預熱模式。預設為 metadataAndData，實現資料完全預熱
    # 如需僅預熱中繼資料，可設定為 metadata
    # dataType: metadataAndData

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: bmcpfs-dataflow-demo
parameters:
  bmcpfsId: bmcpfs-29000z8xz3xxxxxxxxxxx
  vpcMountTarget: cpfs-29000z8xz3xxxxxxxxxxx-vpc-xxxxxx.cn-wulanchabu.cpfs.aliyuncs.com
  mountpointAutoSwitch: "true"
provisioner: bmcpfsplugin.csi.alibabacloud.com
# 關鍵：確保 PVC 刪除後，CPFS 上的 FileSet 和資料能被自動清理
reclaimPolicy: Delete
# 建議設定為 Immediate，以便 PVC 建立後立即開始資料預熱
volumeBindingMode: Immediate

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  accessModes:
    - ReadOnlyMany
  dataSourceRef:
    apiGroup: storage.alibabacloud.com
    kind: OSSVolumePopulator
    # 引用上面建立的 OSSVP 名稱
    name: qwen3-32b
  resources:
    requests:
      # 必須不低於 OSSVP 指向資料來源的資料量
      storage: 80Gi
  storageClassName: bmcpfs-dataflow-demo
  volumeMode: Filesystem

kubectl -n bmcpfs-dataflow-demo describe ossvp qwen3-32b

5. 建立工作負載並使用資料

待 PVC 變為 Bound 後，建立工作負載掛載該 PVC。

本樣本使用 GPU 資源。如僅需驗證資料，可建立一個 CPU Pod，使用 kubectl exec 命令登入容器進行檢查。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-qwen3-32b
  template:
    metadata:
      labels:
        app: demo-apply-qwen3-32b
      # 使用 ACS HPN 機型，掛載 CPFS 儲存卷
      # alibabacloud.com/compute-class: "gpu-hpn"
    spec:
      # 使用 ACS HPN 機型，掛載 CPFS 儲存卷
      # nodeSelector: 
      #   alibabacloud.com/node-type: reserved
      # tolerations:
      # - key: "virtual-kubelet.io/provider" 
      #   operator: "Exists"
      #   effect: "NoSchedule"
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            # 指定已建立的 PVC
            claimName: qwen3-32b
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command: ["sh", "-c", "python3 -m sglang.launch_server --model-path /models/Qwen3-32B --tp 2"]
          image: registry.cn-beijing.aliyuncs.com/tool-sys/ossfs-public:demo-env-python3.12.7-sglang0.5.5
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          resources:
            limits:
              nvidia.com/gpu: "2"
            requests:
              nvidia.com/gpu: "2"
          volumeMounts:
            - mountPath: /models/Qwen3-32B
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

資源釋放指引

AI 訓推任務完成後，請及時釋放為其建立的 CPFS 智算版共用卷及相關工作負載。

待釋放資源：

• 使用共用卷的工作負載（本例中為 StatefulSet）

• 用於資料預熱的PVC

• 由 PVC 自動建立的後端儲存資源（CPFS 智算版 FileSet）

釋放流程：

1. 刪除工作負載

   刪除正在使用該儲存卷的 StatefulSet，以解除對 PVC 的佔用。

   kubectl delete statefulset demo-apply-qwen3-32b -n bmcpfs-dataflow-demo

2. 刪除PVC

   StorageClass 配置了 reclaimPolicy: Delete，此操作將自動觸發後端 CPFS FileSet 的自動刪除，從而釋放儲存空間並停止計費。

   kubectl delete pvc qwen3-32b -n bmcpfs-dataflow-demo

3. 驗證資源釋放：

   • 驗證 CPFS智算版檔案系統：訪問NAS控制台，選擇檔案系統>檔案系統列表，確認該 PVC 關聯的 FileSet 已被刪除，且檔案系統的已用容量有所回落。

   • 驗證 OSS 來源資料：該操作不會改動 OSS 的來源資料。為進行驗證，可訪問OSS管理主控台，確認資料集依然完整。

準備工作

• 在storage-operator中額外開啟VolumePopulatorPodHandler。

  開啟後，系統會自動為相關組件和建立的臨時 Pod 授予必要的 RBAC 許可權。請在開啟前評估此操作可能帶來的安全風險。

  關於自動設定的 RBAC 許可權

  • 為 storage-operator 授予在 ack-volume-populator 命名空間下的 Pod 操作許可權

    - apiGroups: [""]
      resources: [pods]
      verbs: [get, list, watch, create, delete]

  • 為臨時任務 Pod 授予叢集層級的存取權限

    - apiGroups: [""]
      resources: [events]
      verbs: [create, patch, get, list]
    - apiGroups: [volumepopulators.storage.alibabacloud.com]
      resources: [ossvolumepopulators]
      verbs: [get, list, watch]

• 已安裝 Argo Workflows組件。

  展開查看具體步驟

  1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

  2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，單擊組件管理。

  3. 在組件管理頁面，定位Argo Workflows，按照頁面提示完成組件的安裝。

     安裝後，您可以在叢集管理頁左側導覽列，選擇應用 > Helm，查看ack-workflow的狀態。當顯示為已部署時，表明安裝成功。

• 情境樣本使用Serverless算力（ECI）運行資料預填充任務和工作流程，還需安裝ack-virtual-node組件。如使用非Serverless算力驗證，可刪除資源中相關的labels alibabacloud.com/eci: "true" 配置。

1. 為資料預熱任務授權訪問 OSS

generic 模式下的資料預熱任務會以一個臨時 Pod 的形式運行在 ack-volume-populator 命名空間中。需為該 Pod 授予訪問來源資料所在 OSS Bucket 的許可權。

• RRSA方式：為 Pod 動態授予臨時、自動輪換的 RAM 角色，實現應用層級的精微調權限隔離，安全性較高。

• AccessKey方式：將靜態、長期的金鑰儲存區在 Secret 中。配置簡單，但安全性較低。

2. 建立 OSSVolumePopulator (OSSVP)

在業務應用和PVC所在的命名空間建立OSSVolumePopulator 資源，定義資料來源，並指定 mode 為 generic 及授權方式。

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: generic-demo
  # 需要與業務和 PVC 處於同一命名空間
  namespace: argo 
spec:
  bucket: my-test-bucket
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /many-files/
  # 通用模式，適用於任意後端儲存卷
  mode: generic
  generic:
    # 為資料填充任務 Pod 追加 Labels，可用於指定調度到 ECI Pod
    labels:
      alibabacloud.com/eci: "true"
    # 為資料填充任務 Pod 追加 Annotation，可用於配置 ECI 規格
    annotations:
      k8s.aliyun.com/eci-use-specs: "2-4Gi"
    # secretRef 與 rrsaConfigs 配置二選一
    # secretRef: oss-secret
    rrsaConfigs:
      # RRSA 授權使用的 RAM 角色 ARN
      roleArn: "acs:ram::1234567*****:role/oss-populator"
      # 叢集的 OIDC Provider ARN
      oidcProviderArn: "acs:ram::1234567*****:oidc-provider/my-oidc-provider"
    # 為資料填充任務 Pod 配置親和性，以指定調度到特定節點
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
            - matchExpressions:
                - key: "disktype"
                  operator: NotIn
                  values:
                    - "hdd"
    # 為資料填充任務 Pod 配置容忍度
    tolerations:
      - key: "virtual-kubelet.io/provider"
        operator: Equal
        value: "alibabacloud"
        effect: NoSchedule
    # 最大輸送量 (單位：MB/s)
    # throughput: 1000

參數說明：

3. 準備 StorageClass

此情境需要一個用於動態建立雲端硬碟的 StorageClass。ACK提供預設StorageClass，也支援手動建立StorageClass。

• 本樣本使用alicloud-disk-essd，其reclaimPolicy為Delete，volumeBindingMode為Immediate，適用於使用 Serverless 算力等無需關心節點可用性區域的情境。

• 如需使用非 Serverless 算力運行工作流程，建議使用 volumeBindingMode 為 WaitForFirstConsumer 的StorageClass（如 alicloud-disk-topology-alltype），以確保雲端硬碟與業務 Pod 建立在同一可用性區域，避免因可用性區域不匹配導致的調度失敗。

4. 建立 Argo Workflow

以下 Workflow 樣本中使用 ephemeral 類型的 volumeClaimTemplate ，為每個並行任務動態建立一個已預填充好初始資料的獨立雲端硬碟。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: parallel-data-process-with-ossvp-
  namespace: argo
spec:
  # 定義輸入參數
  arguments:
    parameters:
      - name: number
        value: 2

  entrypoint: main
  # 定義 Workflow 中為每個並發複本建立的儲存聲明模版
  volumes:
    - name: scratch-volume
      # 聲明為臨時儲存卷，Workflow 結束後自動刪除
      ephemeral:
        volumeClaimTemplate:
          metadata:
            labels:
              diskType: scratch-volume
          spec:
            accessModes: [ "ReadWriteOnce" ]
            # 若使用非 Serverless 算力，可替換為 alicloud-disk-topology-alltype
            storageClassName: "alicloud-disk-essd"
            resources:
              requests:
                # 必須不低於 OSSVP 指向資料來源的資料量
                storage: 20Gi
            # 引用 OSSVP 作為資料來源
            dataSourceRef:
              apiGroup: storage.alibabacloud.com
              kind: OSSVolumePopulator
              name: generic-demo

  templates:
    - name: main
      dag:
        tasks:
          # 並存執行多個 echo 任務
          - name: echo-task
            template: echo-template
            arguments:
              parameters:
                - name: index
                  value: "{{item}}"
            withSequence:
              count: "{{workflow.parameters.number}}"

    - name: echo-template
      metadata:
        labels:
          # 使用 ECI 運行任務
          alibabacloud.com/eci: "true" 
      container:
        image: mirrors-ssl.aliyuncs.com/busybox:latest
        command:
          - sh
          - -c
        args:
          - |
            echo "子任務啟動，編號: {{inputs.parameters.index}}"
            echo "建立一個新的記錄檔..."
            touch /scratch-volume/"{{inputs.parameters.index}}-logs"
            echo "列出從 OSSVP 建立的磁碟中的內容："
            ls /scratch-volume
            echo "子任務完成，編號: {{inputs.parameters.index}}"
        volumeMounts:
        - name: scratch-volume
          mountPath: /scratch-volume
        resources:
          limits:
            cpu: '4'
            memory: 16Gi
          requests:
            cpu: '4'
            memory: 16Gi
      inputs:
        parameters:
          - name: index

Workflow 建立完成後，查看任意任務 Pod 的日誌，確認已正常讀取預填充的資料。

實際生產環境中，也可通過 Argo Workflows 的 Artifact 功能將最終的計算結果持久化儲存在 OSS中。

# 將 <your-workflow-pod-name> 替換為實際 Pod 名稱
kubectl -n argo logs <your-workflow-pod-name>

預期輸出如下：

子任務啟動，編號: 1
建立一個新的記錄檔...
列出從 OSSVP 建立的磁碟中的內容：
1-logs
lost+found
results-2025-04-16T07:48:00Z
...
子任務完成，編號: 1

結果分析：

• 1-logs：任務中新寫入的檔案，驗證儲存卷可讀寫，且不同並行任務間的儲存隔離。

• results-2025-04-16T07:48:00Z 等檔案：即從 OSS 預填充到雲端硬碟中的資料，表明資料預熱功能正常。

• lost+found：檔案系統格式化後自動產生的目錄，可忽略。

資源釋放指引

批處理任務完成後，請及時釋放由 Argo Workflow 動態建立的雲端硬碟隔離卷及相關工作流程。

待釋放的資源：

• Argo Workflow 執行個體

• 由 Workflow 自動建立的臨時PVC

• 由 PVC 自動建立的後端儲存資源（雲端硬碟）。

釋放流程：

1. 刪除 Argo Workflow：

   對於本情境，通常只需刪除 Workflow 資源。工作流程中使用 ephemeral 臨時卷聲明，刪除 Workflow 會自動串聯刪除其建立的所有 PVC。 StorageClass 配置了 reclaimPolicy: Delete，將進一步觸發後端雲端硬碟的自動刪除，從而釋放資源並停止計費。

   # 將 <workflow-name> 替換為 Workflow 實際名稱
   kubectl -n argo delete workflow <workflow-name>

2. 驗證資源釋放：

   • 驗證 PVC：執行 kubectl -n argo get pvc，確認與該工作流程相關的 PVC 均已被刪除。

   • 驗證雲端硬碟資源：訪問ECS控制台-Block Storage-雲端硬碟，在雲端硬碟列表中確認沒有因該工作流程產生的雲端硬碟資源殘留。

   • 驗證 OSS 來源資料：該操作不會改動 OSS 的來源資料。為進行驗證，可訪問OSS管理主控台，確認資料集依然完整。

預熱完成後，更新了 OSS 上的源檔案，儲存卷裡的資料會同步更新嗎？

不會。資料預熱是在儲存卷建立時的一次性操作，卷建立成功並填充完畢後，其內容與 OSS 來源資料解耦。後續對 OSS 的任何更改都不會同步到已建立的卷上。

為什麼建立的 PVC 一直處於 Pending 狀態？

Pending 是資料預熱過程中的正常狀態。若長時間未變為 Bound，請按以下步驟排查。

1. kubectl describe pvc <pvc-name> -n <namespace>：查看 PVC 的 Events 中是否有 Populator 相關的錯誤資訊。

2. kubectl describe ossvp <ossvp-name> -n <namespace>：查看 OSSVP 的 Status 和 Events，確認填充任務的狀態、進度或失敗原因。

3. 若使用 generic 模式，檢查 ack-volume-populator 命名空間下是否有失敗的 Pod，並查看其日誌，常見原因包括 OSS 許可權不足、網路不通、儲存空間不足等。