容器服务 Kubernetes 版 ACK：使用ossfs 2.0存储卷加速大模型服务部署

1. 创建PV和PVC

以下 YAML 使用 RRSA 授权方式，将 OSS Bucket 挂载为 Kubernetes 静态存储卷。详见使用ossfs 2.0静态存储卷。

otherOpts中配置的-o memory_data_cache_size=16g参数主要用于阶段二：部署模型服务，对当前的模型下载任务无性能影响。

apiVersion: v1
kind: PersistentVolume
metadata:
  # PV名称
  name: deepseek-r1
spec:
  capacity:
    # 定义存储卷容量 (此值仅用于匹配PVC)
    storage: 20Gi  
  # 访问模式
  accessModes:  
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  csi:
    # 使用ossfs 2.0客户端时固定为此值
    driver: ossplugin.csi.alibabacloud.com
    # 与PV名称（metadata.name）保持一致
    volumeHandle: deepseek-r1
    volumeAttributes:
      fuseType: ossfs2
      # OSS Bucket名称
      bucket: oss-models 
      # 挂载Bucket的根目录或指定子目录
      path: /models/DeepSeek-R1-0528
      # OSS Bucket所在地域的Endpoint
      url: "http://oss-cn-hangzhou-internal.aliyuncs.com"  
      # ossfs 2.0客户端配置参数，memory_data_cache_size参数对模型下载场景无影响
      # 该参数用于后续模型部署阶段使用
      otherOpts: "-o memory_data_cache_size=16g"
      authType: "rrsa"
      # 此前创建或修改的RAM角色
      roleName: "demo-role-for-rrsa"  
---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  # PVC名称
  name: deepseek-r1
  namespace: default
spec:
  # 以下配置需要与PV一致
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 20Gi
  storageClassName: ""
  # 待绑定的PV
  volumeName: deepseek-r1 

2. 创建Job下载模型

以下Job使用ModelScope官方镜像，通过 ossfs 2.0 将模型文件直接写入挂载的 OSS 目录，避免本地磁盘中转。

• Job镜像为ModelScope社区的Python 3.11 CPU环境镜像。可按需在ModelScope社区获取其他镜像。

• ECS 节点与 OSS 同地域时，默认通过内网进行传输，带宽充足。ossfs 2.0 利用多线程顺序写入机制，可将数据流持续写入 OSS，实测写入吞吐可达 20 Gbps（OSS 默认配置的上行带宽上限）。

  关于支持内网传输的地域，请参见ModelScope社区。

• 使用ACS实例运行Job下载模型，还需在YAML中将环境变量INTRA_CLOUD_ACCELERATION_REGION配置为当前地域。

apiVersion: batch/v1
kind: Job
metadata:
  name: download-deepseek-r1
spec:
  template:
    spec:
      containers:
      - name: downloader
        image: modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py311-torch2.3.1-1.33.0
        command: ["modelscope", "download"]
        # 若使用ACS实例运行Job下载模型，需配置env：
        #env:
        #  - name: INTRA_CLOUD_ACCELERATION_REGION
        #    value: cn-wulanchabu
        args:
          - "--model"
          - "deepseek-ai/DeepSeek-R1-0528"
          - "--local_dir"
          - "/mnt/oss"
          - "--max-workers=32"
        volumeMounts:
        - name: model-storage
          mountPath: /mnt/oss
      volumes:
      - name: model-storage
        persistentVolumeClaim:
          # 引用已创建的 PVC
          claimName: deepseek-r1  
      # Job 完成后不重启
      restartPolicy: Never  
  # 不重试（成功或失败均只运行一次）
  backoffLimit: 0  

部署场景

当前 AI 模型种类丰富，文件格式多样，常见的包括 safetensors（安全高效）、PyTorch（通用性强）、GGUF（适用于本地推理）等。为充分发挥OSS上模型的加载性能，建议根据实际部署架构合理配置 ossfs 2.0。

在基于 GPU 数量划分的典型部署场景下，ossfs 2.0配置建议如下：

• 单 GPU 部署场景

  对于单卡 GPU 的模型部署，ossfs 2.0 默认挂载配置已具备良好的加载性能。

• 单机多 GPU 并发部署场景

  在单机多卡并发加载同一模型时，多个进程会同时读取同一模型文件的不同分片，易导致带宽放大问题。为解决此问题，ossfs 2.0 支持通过 --memory_data_cache_size 挂载选项开启固定大小的内存缓存机制。启用后，模型文件仅从 OSS 下载一次，多进程共享本地缓存数据，能显著降低网络负载与加载延迟。

  说明

  ossfs 2.0 当前提供的内存缓存模式主要用于优化多进程并发访问同一文件时的带宽放大问题，进程内的缓存数据将在最后一个文件句柄关闭后同步释放。该模式不影响读取数据后加载到操作系统PageCache的缓存数据，这部分数据缓存行为和标准模式一致。详细说明参见挂载选项说明。

通过合理配置 ossfs 2.0，可提升各类大模型在云端的加载效率与部署稳定性。更多信息，请参见部署safetensors模型和部署其他格式模型。

部署safetensors模型

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-deepseek-r1-with-prefetch
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-deepseek-r1-with-prefetch
  template:
    metadata:
      labels:
        app: demo-apply-deepseek-r1-with-prefetch
    spec:
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            # 引用此前创建的 PVC
            claimName: deepseek-r1  
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command:
            - sh
            - -c
            # --tp为模型TP切分的数量，tp值非1时对应部署场景中的单机多 GPU 并发部署
            - "python3 -m sglang.launch_server --model-path /models/DeepSeek-R1-0528 --tp 8"
          env:
          # 定义模型文件所在的目录路径。若未配置或目录不存在，脚本将跳过数据预热
          - name: MODEL_DIR
            value: /models/DeepSeek-R1-0528
          # 定义预热脚本的并发数，默认为 4
          - name: PRELOADER_CONC
            value: "4"
          image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/ossfs-public:demo-env-python3.12.7-sglang0.5.5-cuda12.8
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          lifecycle:
            postStart:
              exec:
                command: ["/bin/sh", "-c", "CONC=${PRELOADER_CONC:-4}; if [ -d \"$MODEL_DIR\" ]; then find \"$MODEL_DIR\" -type f -print0 | xargs -0 -I {} -P \"$CONC\" sh -c 'cat \"{}\" > /dev/null'; fi"]
          resources:
            limits:
              nvidia.com/gpu: "8"
              # 需为Pod配置memory limit。请根据“模型文件总大小 + 服务进程开销 + 系统冗余”进行精确估算
              # memory: "800Gi"
            requests:
              nvidia.com/gpu: "8"
          volumeMounts:
            - mountPath: /models/DeepSeek-R1-0528
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-deepseek-r1
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-deepseek-r1
  template:
    metadata:
      labels:
        app: demo-apply-deepseek-r1
    spec:
      volumes:
        - name: model-storage
          persistentVolumeClaim:
             # 引用此前创建的 PVC
            claimName: deepseek-r1 
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command:
            - sh
            - -c
            # --tp为模型TP切分的数量，tp值非1时对应部署场景中的单机多 GPU 并发部署场景
            - "python3 -m sglang.launch_server --model-path /models/DeepSeek-R1-0528 --tp 8"
          image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/ossfs-public:demo-env-python3.12.7-sglang0.5.5-cuda12.8
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          resources:
            limits:
              nvidia.com/gpu: "8"
            requests:
              nvidia.com/gpu: "8"
          volumeMounts:
            - mountPath: /models/DeepSeek-R1-0528
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

部署其他格式模型