容器服务 Kubernetes 版 ACK：将 OSS 数据按需预填充到高性能存储卷

功能实现

该功能基于 Kubernetes 的 Volume Populators 特性实现，由 ACK 的 storage-operator 进行管理。当创建引用自定义资源 OSSVolumePopulator (OSSVP) 的 PVC 时，storage-operator会拦截该请求并执行数据填充操作。

根据目标存储卷的类型，填充操作分为以下模式。

模式	适用存储类型	说明
bmcpfs-dataflow 原生数据流动模式	CPFS智算版	storage-operator 调用 CPFS 自身的数据流动能力进行数据填充。 此模式不占用集群计算资源，效率更高。
generic 通用 Pod 填充模式	其他类型存储，如云盘、CPFS通用版等	storage-operator 在 ack-volume-populator 命名空间创建临时 Pod，负责挂载新建存储卷，并将指定 OSS 数据下载至卷内。填充完成后，该Pod 被销毁。 此模式将占用集群计算资源。

数据填充成功后，PVC 状态会从 Pending 变为 Bound，此时业务 Pod 便可以挂载该 PVC 并访问已预热的数据。

典型应用场景

该功能主要支持以下两种典型应用场景。

操作流程

两种模式下，使用 VolumePopulator 功能的核心步骤相似。

环境准备：在storage-operator中开启Feature Gate VolumePopulator。 开启VolumePopulator后，将默认创建ack-volume-populator命名空间，用于运行数据预填充期间产生的临时PVC与Pod。 权限配置：为数据填充任务授予访问 OSS 的权限：bmcpfs-dataflow 模式需要为 OSS Bucket 打上特定标签；generic 模式需要配置 RRSA 或 AccessKey。 定义数据源 (OSSVP)：创建一个 OSSVolumePopulator对象，定义从拉取数据的OSS Bucket路径和填充模式。 创建存储卷并发起预热 (PVC)：创建一个PVC对象，指定StorageClass，并使用 dataSourceRef 字段指向此前创建的 OSSVP。此操作将启动数据预热流程（启动时机取决于 StorageClass 的 volumeBindingMode）。 验证与使用：PVC 状态变为 Bound 后，创建业务工作负载（Pod、Deployment 等）挂载此 PVC 进行高速数据读写。 数据预热是存储卷创建时的一次性操作。创建后，OSS 源数据的任何修改都不会同步到该存储卷中。 资源回收：任务结束后，删除 PVC。若 StorageClass 的 reclaimPolicy 为 Delete，关联的高性能存储资源（如 CPFS FileSet、云盘）将被自动删除并停止计费，OSS 中的源数据不受影响。

场景一：预热数据至CPFS 智算版共享卷

本方案面向模型训练、推理等只读、高吞吐场景，利用CPFS 智算版的数据流动能力，将 OSS 中的模型按需预热到 CPFS 智算版存储卷，供多个 GPU 任务高速读取。

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: qwen3-32b
  # 需要与业务应用和 PVC 处于同一命名空间
  namespace: bmcpfs-dataflow-demo 
spec:
  bucket: <your-bucket-name>
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /Qwen3-32B/
  # 专用于 CPFS 智算版存储卷，利用其数据流动能力
  mode: bmcpfs-dataflow
  
  # 以下为 bmcpfs-dataflow 模式的可选高级配置
  # 本实践推荐使用默认配置，此处仅为展示，若无特殊需求可忽略
  # bmcpfsDataflow:
    # 数据流动的最大吞吐 (MB/s)，可选值为 600, 1200, 1500。默认为 600
    # throughput: 1200
    # 是否启用加密传输，默认为空（不启用）
    # sourceSecurityType: SSL
    # 数据预热模式。默认为 metadataAndData，实现数据完全预热
    # 如需仅预热元数据，可设置为 metadata
    # dataType: metadataAndData

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: bmcpfs-dataflow-demo
parameters:
  bmcpfsId: bmcpfs-29000z8xz3xxxxxxxxxxx
  vpcMountTarget: cpfs-29000z8xz3xxxxxxxxxxx-vpc-xxxxxx.cn-wulanchabu.cpfs.aliyuncs.com
  mountpointAutoSwitch: "true"
provisioner: bmcpfsplugin.csi.alibabacloud.com
# 关键：确保 PVC 删除后，CPFS 上的 FileSet 和数据能被自动清理
reclaimPolicy: Delete
# 建议设置为 Immediate，以便 PVC 创建后立即开始数据预热
volumeBindingMode: Immediate

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  accessModes:
    - ReadOnlyMany
  dataSourceRef:
    apiGroup: storage.alibabacloud.com
    kind: OSSVolumePopulator
    # 引用上面创建的 OSSVP 名称
    name: qwen3-32b
  resources:
    requests:
      # 必须不低于 OSSVP 指向数据源的数据量
      storage: 80Gi
  storageClassName: bmcpfs-dataflow-demo
  volumeMode: Filesystem

kubectl -n bmcpfs-dataflow-demo describe ossvp qwen3-32b

5. 创建工作负载并使用数据

待 PVC 变为 Bound 后，创建工作负载挂载该 PVC。

本示例使用 GPU 资源。如仅需验证数据，可创建一个 CPU Pod，使用 kubectl exec 命令登录容器进行检查。

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-qwen3-32b
  template:
    metadata:
      labels:
        app: demo-apply-qwen3-32b
      # 使用 ACS HPN 机型，挂载 CPFS 存储卷
      # alibabacloud.com/compute-class: "gpu-hpn"
    spec:
      # 使用 ACS HPN 机型，挂载 CPFS 存储卷
      # nodeSelector: 
      #   alibabacloud.com/node-type: reserved
      # tolerations:
      # - key: "virtual-kubelet.io/provider" 
      #   operator: "Exists"
      #   effect: "NoSchedule"
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            # 指定已创建的 PVC
            claimName: qwen3-32b
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command: ["sh", "-c", "python3 -m sglang.launch_server --model-path /models/Qwen3-32B --tp 2"]
          image: registry.cn-beijing.aliyuncs.com/tool-sys/ossfs-public:demo-env-python3.12.7-sglang0.5.5
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          resources:
            limits:
              nvidia.com/gpu: "2"
            requests:
              nvidia.com/gpu: "2"
          volumeMounts:
            - mountPath: /models/Qwen3-32B
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

资源释放指引

AI 训推任务完成后，请及时释放为其创建的 CPFS 智算版共享卷及相关工作负载。

待释放资源：

• 使用共享卷的工作负载（本例中为 StatefulSet）

• 用于数据预热的PVC

• 由 PVC 自动创建的后端存储资源（CPFS 智算版 FileSet）

释放流程：

1. 删除工作负载

   删除正在使用该存储卷的 StatefulSet，以解除对 PVC 的占用。

   kubectl delete statefulset demo-apply-qwen3-32b -n bmcpfs-dataflow-demo

2. 删除PVC

   StorageClass 配置了 reclaimPolicy: Delete，此操作将自动触发后端 CPFS FileSet 的自动删除，从而释放存储空间并停止计费。

   kubectl delete pvc qwen3-32b -n bmcpfs-dataflow-demo

3. 验证资源释放：

   • 验证 CPFS智算版文件系统：访问NAS控制台，选择文件系统>文件系统列表，确认该 PVC 关联的 FileSet 已被删除，且文件系统的已用容量有所回落。

   • 验证 OSS 源数据：该操作不会改动 OSS 的源数据。为进行验证，可访问OSS管理控制台，确认数据集依然完整。

准备工作

• 在storage-operator中额外开启VolumePopulatorPodHandler。

  开启后，系统会自动为相关组件和创建的临时 Pod 授予必要的 RBAC 权限。请在开启前评估此操作可能带来的安全风险。

  关于自动配置的 RBAC 权限

  • 为 storage-operator 授予在 ack-volume-populator 命名空间下的 Pod 操作权限

    - apiGroups: [""]
      resources: [pods]
      verbs: [get, list, watch, create, delete]

  • 为临时任务 Pod 授予集群级别的访问权限

    - apiGroups: [""]
      resources: [events]
      verbs: [create, patch, get, list]
    - apiGroups: [volumepopulators.storage.alibabacloud.com]
      resources: [ossvolumepopulators]
      verbs: [get, list, watch]

• 已安装 Argo Workflows组件。

  展开查看具体步骤

  1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

  2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，单击组件管理。

  3. 在组件管理页面，定位Argo Workflows，按照页面提示完成组件的安装。

     安装后，您可以在集群管理页左侧导航栏，选择应用 > Helm，查看ack-workflow的状态。当显示为已部署时，表明安装成功。

• 场景示例使用Serverless算力（ECI）运行数据预填充任务和工作流，还需安装ack-virtual-node组件。如使用非Serverless算力验证，可删除资源中相关的labels alibabacloud.com/eci: "true" 配置。

1. 为数据预热任务授权访问 OSS

generic 模式下的数据预热任务会以一个临时 Pod 的形式运行在 ack-volume-populator 命名空间中。需为该 Pod 授予访问源数据所在 OSS Bucket 的权限。

• RRSA方式：为 Pod 动态授予临时、自动轮换的 RAM 角色，实现应用级别的精细化权限隔离，安全性较高。

• AccessKey方式：将静态、长期的密钥存储在 Secret 中。配置简单，但安全性较低。

2. 创建 OSSVolumePopulator (OSSVP)

在业务应用和PVC所在的命名空间创建OSSVolumePopulator 资源，定义数据源，并指定 mode 为 generic 及授权方式。

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: generic-demo
  # 需要与业务和 PVC 处于同一命名空间
  namespace: argo 
spec:
  bucket: my-test-bucket
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /many-files/
  # 通用模式，适用于任意后端存储卷
  mode: generic
  generic:
    # 为数据填充任务 Pod 追加 Labels，可用于指定调度到 ECI Pod
    labels:
      alibabacloud.com/eci: "true"
    # 为数据填充任务 Pod 追加 Annotation，可用于配置 ECI 规格
    annotations:
      k8s.aliyun.com/eci-use-specs: "2-4Gi"
    # secretRef 与 rrsaConfigs 配置二选一
    # secretRef: oss-secret
    rrsaConfigs:
      # RRSA 授权使用的 RAM 角色 ARN
      roleArn: "acs:ram::1234567*****:role/oss-populator"
      # 集群的 OIDC Provider ARN
      oidcProviderArn: "acs:ram::1234567*****:oidc-provider/my-oidc-provider"
    # 为数据填充任务 Pod 配置亲和性，以指定调度到特定节点
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
            - matchExpressions:
                - key: "disktype"
                  operator: NotIn
                  values:
                    - "hdd"
    # 为数据填充任务 Pod 配置容忍度
    tolerations:
      - key: "virtual-kubelet.io/provider"
        operator: Equal
        value: "alibabacloud"
        effect: NoSchedule
    # 最大吞吐量 (单位：MB/s)
    # throughput: 1000

参数说明：

3. 准备 StorageClass

此场景需要一个用于动态创建云盘的 StorageClass。ACK提供默认StorageClass，也支持手动创建StorageClass。

• 本示例使用alicloud-disk-essd，其reclaimPolicy为Delete，volumeBindingMode为Immediate，适用于使用 Serverless 算力等无需关心节点可用区的场景。

• 如需使用非 Serverless 算力运行工作流，建议使用 volumeBindingMode 为 WaitForFirstConsumer 的StorageClass（如 alicloud-disk-topology-alltype），以确保云盘与业务 Pod 创建在同一可用区，避免因可用区不匹配导致的调度失败。

4. 创建 Argo Workflow

以下 Workflow 示例中使用 ephemeral 类型的 volumeClaimTemplate ，为每个并行任务动态创建一个已预填充好初始数据的独立云盘。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: parallel-data-process-with-ossvp-
  namespace: argo
spec:
  # 定义输入参数
  arguments:
    parameters:
      - name: number
        value: 2

  entrypoint: main
  # 定义 Workflow 中为每个并发副本创建的存储声明模版
  volumes:
    - name: scratch-volume
      # 声明为临时存储卷，Workflow 结束后自动删除
      ephemeral:
        volumeClaimTemplate:
          metadata:
            labels:
              diskType: scratch-volume
          spec:
            accessModes: [ "ReadWriteOnce" ]
            # 若使用非 Serverless 算力，可替换为 alicloud-disk-topology-alltype
            storageClassName: "alicloud-disk-essd"
            resources:
              requests:
                # 必须不低于 OSSVP 指向数据源的数据量
                storage: 20Gi
            # 引用 OSSVP 作为数据源
            dataSourceRef:
              apiGroup: storage.alibabacloud.com
              kind: OSSVolumePopulator
              name: generic-demo

  templates:
    - name: main
      dag:
        tasks:
          # 并行执行多个 echo 任务
          - name: echo-task
            template: echo-template
            arguments:
              parameters:
                - name: index
                  value: "{{item}}"
            withSequence:
              count: "{{workflow.parameters.number}}"

    - name: echo-template
      metadata:
        labels:
          # 使用 ECI 运行任务
          alibabacloud.com/eci: "true" 
      container:
        image: mirrors-ssl.aliyuncs.com/busybox:latest
        command:
          - sh
          - -c
        args:
          - |
            echo "子任务启动，编号: {{inputs.parameters.index}}"
            echo "创建一个新的日志文件..."
            touch /scratch-volume/"{{inputs.parameters.index}}-logs"
            echo "列出从 OSSVP 创建的磁盘中的内容："
            ls /scratch-volume
            echo "子任务完成，编号: {{inputs.parameters.index}}"
        volumeMounts:
        - name: scratch-volume
          mountPath: /scratch-volume
        resources:
          limits:
            cpu: '4'
            memory: 16Gi
          requests:
            cpu: '4'
            memory: 16Gi
      inputs:
        parameters:
          - name: index

Workflow 创建完成后，查看任意任务 Pod 的日志，确认已正常读取预填充的数据。

实际生产环境中，也可通过 Argo Workflows 的 Artifact 功能将最终的计算结果持久化存储在 OSS中。

# 将 <your-workflow-pod-name> 替换为实际 Pod 名称
kubectl -n argo logs <your-workflow-pod-name>

预期输出如下：

子任务启动，编号: 1
创建一个新的日志文件...
列出从 OSSVP 创建的磁盘中的内容：
1-logs
lost+found
results-2025-04-16T07:48:00Z
...
子任务完成，编号: 1

结果分析：

• 1-logs：任务中新写入的文件，验证存储卷可读写，且不同并行任务间的存储隔离。

• results-2025-04-16T07:48:00Z 等文件：即从 OSS 预填充到云盘中的数据，表明数据预热功能正常。

• lost+found：文件系统格式化后自动生成的目录，可忽略。

资源释放指引

批处理任务完成后，请及时释放由 Argo Workflow 动态创建的云盘隔离卷及相关工作流。

待释放的资源：

• Argo Workflow 实例

• 由 Workflow 自动创建的临时PVC

• 由 PVC 自动创建的后端存储资源（云盘）。

释放流程：

1. 删除 Argo Workflow：

   对于本场景，通常只需删除 Workflow 资源。工作流中使用 ephemeral 临时卷声明，删除 Workflow 会自动级联删除其创建的所有 PVC。 StorageClass 配置了 reclaimPolicy: Delete，将进一步触发后端云盘的自动删除，从而释放资源并停止计费。

   # 将 <workflow-name> 替换为 Workflow 实际名称
   kubectl -n argo delete workflow <workflow-name>

2. 验证资源释放：

   • 验证 PVC：执行 kubectl -n argo get pvc，确认与该工作流相关的 PVC 均已被删除。

   • 验证云盘资源：访问ECS控制台-块存储-云盘，在云盘列表中确认没有因该工作流产生的云盘资源残留。

   • 验证 OSS 源数据：该操作不会改动 OSS 的源数据。为进行验证，可访问OSS管理控制台，确认数据集依然完整。

预热完成后，更新了 OSS 上的源文件，存储卷里的数据会同步更新吗？

不会。数据预热是在存储卷创建时的一次性操作，卷创建成功并填充完毕后，其内容与 OSS 源数据解耦。后续对 OSS 的任何更改都不会同步到已创建的卷上。

为什么创建的 PVC 一直处于 Pending 状态？

Pending 是数据预热过程中的正常状态。若长时间未变为 Bound，请按以下步骤排查。

1. kubectl describe pvc <pvc-name> -n <namespace>：查看 PVC 的 Events 中是否有 Populator 相关的错误信息。

2. kubectl describe ossvp <ossvp-name> -n <namespace>：查看 OSSVP 的 Status 和 Events，确认填充任务的状态、进度或失败原因。

3. 若使用 generic 模式，检查 ack-volume-populator 命名空间下是否有失败的 Pod，并查看其日志，常见原因包括 OSS 权限不足、网络不通、存储空间不足等。