Container Service for Kubernetes：使用ossfs 2.0儲存卷加速大模型服務部署

1. 建立PV和PVC

以下 YAML 使用 RRSA 授權方式，將 OSS Bucket 掛載為 Kubernetes 靜態儲存卷。詳見使用ossfs 2.0靜態儲存卷。

otherOpts中配置的-o memory_data_cache_size=16g參數主要用於階段二：部署模型服務，對當前的模型下載任務無效能影響。

apiVersion: v1
kind: PersistentVolume
metadata:
  # PV名稱
  name: deepseek-r1
spec:
  capacity:
    # 定義儲存卷容量 (此值僅用於匹配PVC)
    storage: 20Gi  
  # 訪問模式
  accessModes:  
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  csi:
    # 使用ossfs 2.0用戶端時固定為此值
    driver: ossplugin.csi.alibabacloud.com
    # 與PV名稱（metadata.name）保持一致
    volumeHandle: deepseek-r1
    volumeAttributes:
      fuseType: ossfs2
      # OSS Bucket名稱
      bucket: oss-models 
      # 掛載Bucket的根目錄或指定子目錄
      path: /models/DeepSeek-R1-0528
      # OSS Bucket所在地區的Endpoint
      url: "http://oss-cn-hangzhou-internal.aliyuncs.com"  
      # ossfs 2.0用戶端配置參數，memory_data_cache_size參數對模型下載情境無影響
      # 該參數用於後續模型部署階段使用
      otherOpts: "-o memory_data_cache_size=16g"
      authType: "rrsa"
      # 此前建立或修改的RAM角色
      roleName: "demo-role-for-rrsa"  
---
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  # PVC名稱
  name: deepseek-r1
  namespace: default
spec:
  # 以下配置需要與PV一致
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 20Gi
  storageClassName: ""
  # 待綁定的PV
  volumeName: deepseek-r1 

2. 建立Job下載模型

以下Job使用ModelScope官方鏡像，通過 ossfs 2.0 將模型檔案直接寫入掛載的 OSS 目錄，避免本地磁碟中轉。

• Job鏡像為ModelScope社區的Python 3.11 CPU環境鏡像。可按需在ModelScope社區擷取其他鏡像。

• ECS 節點與 OSS 同地區時，預設通過內網進行傳輸，頻寬充足。ossfs 2.0 利用多線程順序寫入機制，可將資料流持續寫入 OSS，實測寫入吞吐可達 20 Gbps（OSS 預設配置的上行頻寬上限）

apiVersion: batch/v1
kind: Job
metadata:
  name: download-deepseek-r1
spec:
  template:
    spec:
      containers:
      - name: downloader
        image: modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py311-torch2.3.1-1.33.0
        command: ["modelscope", "download"]
        args:
          - "--model"
          - "deepseek-ai/DeepSeek-R1-0528"
          - "--local_dir"
          - "/mnt/oss"
          - "--max-workers=32"
        volumeMounts:
        - name: model-storage
          mountPath: /mnt/oss
      volumes:
      - name: model-storage
        persistentVolumeClaim:
          # 引用已建立的 PVC
          claimName: deepseek-r1  
      # Job 完成後不重啟
      restartPolicy: Never  
  # 不重試（成功或失敗均只運行一次）
  backoffLimit: 0  

部署情境

當前 AI 模型種類豐富，檔案格式多樣，常見的包括 safetensors（安全高效）、PyTorch（通用性強）、GGUF（適用於本地推理）等。為充分發揮OSS上模型的載入效能，建議根據實際部署架構合理配置 ossfs 2.0。

在基於 GPU 數量劃分的典型部署情境下，ossfs 2.0配置建議如下：

• 單 GPU 部署情境

  對於單卡 GPU 的模型部署，ossfs 2.0 預設掛載配置已具備良好的載入效能。

• 單機多 GPU 並發部署情境

  在單機多卡並發載入同一模型時，多個進程會同時讀取同一模型檔案的不同分區，易導致頻寬放大問題。為解決此問題，ossfs 2.0 支援通過 --memory_data_cache_size 掛載選項開啟固定大小的記憶體緩衝機制。啟用後，模型檔案僅從 OSS 下載一次，多進程共用本機快取資料，能顯著降低網路負載與載入延遲。

  說明

  ossfs 2.0 當前提供的記憶體緩衝模式主要用於最佳化多進程並發訪問同一檔案時的頻寬放大問題，進程內的快取資料將在最後一個檔案控制代碼關閉後同步釋放。該模式不影響讀取資料後載入到作業系統PageCache的快取資料，這部分資料緩衝行為和標準模式一致。詳細說明參見掛載選項說明。

通過合理配置 ossfs 2.0，可提升各類大模型在雲端的載入效率與部署穩定性。更多資訊，請參見部署safetensors模型和部署其他格式模型。

部署safetensors模型

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-deepseek-r1-with-prefetch
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-deepseek-r1-with-prefetch
  template:
    metadata:
      labels:
        app: demo-apply-deepseek-r1-with-prefetch
    spec:
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            # 引用此前建立的 PVC
            claimName: deepseek-r1  
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command:
            - sh
            - -c
            # --tp為模型TP切分的數量，tp值非1時對應部署情境中的單機多 GPU 並發部署
            - "python3 -m sglang.launch_server --model-path /models/DeepSeek-R1-0528 --tp 8"
          env:
          # 定義模型檔案所在的目錄路徑。若未配置或目錄不存在，指令碼將跳過資料預熱
          - name: MODEL_DIR
            value: /models/DeepSeek-R1-0528
          # 定義預熱指令碼的並發數，預設為 4
          - name: PRELOADER_CONC
            value: "4"
          image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/ossfs-public:demo-env-python3.12.7-sglang0.5.5-cuda12.8
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          lifecycle:
            postStart:
              exec:
                command: ["/bin/sh", "-c", "CONC=${PRELOADER_CONC:-4}; if [ -d \"$MODEL_DIR\" ]; then find \"$MODEL_DIR\" -type f -print0 | xargs -0 -I {} -P \"$CONC\" sh -c 'cat \"{}\" > /dev/null'; fi"]
          resources:
            limits:
              nvidia.com/gpu: "8"
              # 需為Pod配置memory limit。請根據“模型檔案總大小 + 服務進程開銷 + 系統冗餘”進行精確估算
              # memory: "800Gi"
            requests:
              nvidia.com/gpu: "8"
          volumeMounts:
            - mountPath: /models/DeepSeek-R1-0528
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-deepseek-r1
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-deepseek-r1
  template:
    metadata:
      labels:
        app: demo-apply-deepseek-r1
    spec:
      volumes:
        - name: model-storage
          persistentVolumeClaim:
             # 引用此前建立的 PVC
            claimName: deepseek-r1 
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command:
            - sh
            - -c
            # --tp為模型TP切分的數量，tp值非1時對應部署情境中的單機多 GPU 並發部署情境
            - "python3 -m sglang.launch_server --model-path /models/DeepSeek-R1-0528 --tp 8"
          image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/ossfs-public:demo-env-python3.12.7-sglang0.5.5-cuda12.8
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          resources:
            limits:
              nvidia.com/gpu: "8"
            requests:
              nvidia.com/gpu: "8"
          volumeMounts:
            - mountPath: /models/DeepSeek-R1-0528
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

部署其他格式模型