Container Service for Kubernetes：基於ACK多機分布式部署DeepSeek滿血版推理部署實戰

1.1 模型切分

DeepSeek-R1模型共有671B參數，單張GPU顯存只有96GB，無法載入全部模型，因此需要將模型切分。本文採用了TP=8，PP=2的切分方式，模型切分示意圖如下。模型並行（PP=2）將模型切分為兩個階段，每個階段運行在一個GPU節點上。例如有一個模型 M，我們可以將其切分為M1和M2，M1在第一個GPU上處理輸入，完成後將中間結果傳遞給M2，M2在第二個GPU上進行後續操作。資料並行（TP=8）在模型的每個階段內（例如M1和M2），將計算操作分配到8個GPU上進行。在 M1階段，當輸入資料傳入時，這些資料將被分割為8份，並分別在8個GPU上同時處理。每個GPU處理一小部分資料，計算擷取的結果然後合并。

本文選擇vllm + ray的方式分布式部署DeepSeek-R1模型，整體部署架構如下所示。兩個vLLM Pod部署在兩台ECS上，每個vLLM Pod有8張GPU。兩個Pod一個作為Ray head節點，一個作為Ray worker節點。

1.2 模型下載

1.3 模型部署

1. 安裝LeaderWorkerSet。

   登入Container Service管理主控台，在左側導覽列選擇叢集列表。單擊目的地組群名稱，進入叢集詳情頁面，使用Helm為目的地組群安裝lws。您無需為組件配置應用程式名稱和命名空間，單擊下一步後會出現一個請確認的彈框，單擊是，即可使用預設的應用程式名稱（lws）和命名空間（lws-system）。然後選擇Chart 版本為最新版本，單擊確定即可完成lws的安裝。

2. 模型部署。

   以下是vLLM分布式部署架構圖。

   arena模型部署樣本

   1. 執行以下命令部署服務。

      arena serve distributed \
              --name=vllm-dist \
              --version=v1 \
              --restful-port=8080 \
              --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.10.0 \
              --readiness-probe-action="tcpSocket" \
              --readiness-probe-action-option="port: 8080" \
              --readiness-probe-option="initialDelaySeconds: 30" \
              --readiness-probe-option="periodSeconds: 30" \
              --share-memory=30Gi \
              --data=llm-model:/models/DeepSeek-R1 \
              --leader-num=1 \
              --leader-gpus=8 \
              --leader-command="bash /vllm-workspace/examples/online_serving/multi-node-serving.sh leader --ray_cluster_size=\$(LWS_GROUP_SIZE); python3 -m vllm.entrypoints.openai.api_server --model /models/DeepSeek-R1 --port 8080 --trust-remote-code --served-model-name deepseek-r1 --gpu-memory-utilization 0.95 --tensor-parallel-size 8 --pipeline-parallel-size 2 --enforce-eager" \
              --worker-num=1 \
              --worker-gpus=8 \
              --worker-command="bash /vllm-workspace/examples/online_serving/multi-node-serving.sh worker --ray_address=\$(LWS_LEADER_ADDRESS)" 

      展開查看參數解釋

      參數	是否必選	說明
      --name	是	提交的推理服務名稱，全域唯一。
      --image	是	推理服務的鏡像地址。
      --restful-port	是	服務連接埠。
      --version	否	服務版本，預設為當前日期。
      --readiness-probe-*	否	為服務配置就緒檢測，僅當服務就緒後才可對外提供服務。
      --share-memory	否	設定共用記憶體。
      --leader-num	是	leader pod數量，當前只支援設定為1。
      --leader-gpus	否	每個leader pod使用的GPU數量。
      --leader-command	是	leader pod的啟動命令。
      --data	否	服務的模型地址，格式為<pvc-name>:<pod-path>。如上文命令llm-model:/mnt/models，即將llm-model PVC掛載到容器/mnt/models目錄下。

      預期輸出如下所示。

      configmap/vllm-dist-v1-cm created
      service/vllm-dist-v1 created
      leaderworkerset.leaderworkerset.x-k8s.io/vllm-dist-v1-distributed-serving created
      INFO[0002] The Job vllm-dist has been submitted successfully
      INFO[0002] You can run `arena serve get vllm-dist --type distributed-serving -n default` to check the job status

   2. 執行下列命令，查看驗證推理服務的部署情況。

      arena serve get vllm-dist

      預期輸出如下所示。

      Name:       vllm-dist
      Namespace:  default
      Type:       Distributed
      Version:    v1
      Desired:    1
      Available:  1
      Age:        3m
      Address:    192.168.138.65
      Port:       RESTFUL:8080
      GPU:        16
      
      Instances:
        NAME                                  STATUS   AGE  READY  RESTARTS  GPU  NODE
        ----                                  ------   ---  -----  --------  ---  ----
        vllm-dist-v1-distributed-serving-0    Running  3m   1/1    0         8    cn-beijing.10.x.x.x
        vllm-dist-v1-distributed-serving-0-1  Running  3m   1/1    0         8    cn-beijing.10.x.x.x

   kubectl模型部署樣本

   1. 執行以下DeepSeek_R1.yaml檔案部署模型服務。

      apiVersion: leaderworkerset.x-k8s.io/v1
      kind: LeaderWorkerSet
      metadata:
        name: vllm-dist
      spec:
        replicas: 1
        leaderWorkerTemplate:
          size: 2
          restartPolicy: RecreateGroupOnPodRestart
          leaderTemplate:
            metadata:
              labels:
                role: leader
            spec:
              volumes:
                - name: model
                  persistentVolumeClaim:
                    claimName: llm-model
                - name: dshm
                  emptyDir:
                    medium: Memory
                    sizeLimit: 15Gi
              containers:
                - name: vllm-leader
                  image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.10.0
                  command:
                    - sh
                    - -c
                    - >-
                      bash /vllm-workspace/examples/online_serving/multi-node-serving.sh leader --ray_cluster_size=$(LWS_GROUP_SIZE); 
                      python3 -m vllm.entrypoints.openai.api_server --model /models/DeepSeek-R1 --port 8080 --trust-remote-code --served-model-name deepseek-r1 --gpu-memory-utilization 0.95 --tensor-parallel-size 8 --pipeline-parallel-size 2 --enforce-eager
                  resources:
                    limits:
                      nvidia.com/gpu: "8"
                    requests:
                      nvidia.com/gpu: "8"
                  ports:
                    - containerPort: 8080
                  readinessProbe:
                    initialDelaySeconds: 30
                    periodSeconds: 30
                    tcpSocket:
                      port: 8080
                  volumeMounts:
                    - mountPath: /models/DeepSeek-R1
                      name: model
                    - mountPath: /dev/shm
                      name: dshm
          workerTemplate:
            spec:
              volumes:
                - name: model
                  persistentVolumeClaim:
                    claimName: llm-model
                - name: dshm
                  emptyDir:
                    medium: Memory
                    sizeLimit: 15Gi
              containers:
                - name: vllm-worker
                  image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.10.0
                  command:
                    - sh
                    - -c
                    - "bash /vllm-workspace/examples/online_serving/multi-node-serving.sh worker --ray_address=$(LWS_LEADER_ADDRESS)"
                  resources:
                    limits:
                      nvidia.com/gpu: "8"
                    requests:
                      nvidia.com/gpu: "8"
                  ports:
                    - containerPort: 8080
                  volumeMounts:
                    - mountPath: /models/DeepSeek-R1
                      name: model
                    - mountPath: /dev/shm
                      name: dshm
      ---
      apiVersion: v1
      kind: Service
      metadata:
        name: vllm-dist-v1
      spec:
        type: ClusterIP
        ports:
        - port: 8080
          protocol: TCP
          targetPort: 8080
        selector:
          leaderworkerset.sigs.k8s.io/name: vllm-dist
          role: leader

      kubectl create -f DeepSeek_R1.yaml

   2. 執行下列命令，查看驗證推理服務的部署情況。

      kubectl get po |grep vllm-dist

      預期輸出如下所示。

      NAME            READY   STATUS    RESTARTS   AGE
      vllm-dist-0     1/1     Running   0          20m
      vllm-dist-0-1   1/1     Running   0          20m

3. 建立本地連接埠轉寄發送模型推理請求。

   1. 使用kubectl port-forward在推理服務與本地環境間建立連接埠轉寄。

      說明

      請注意kubectl port-forward建立的連接埠轉寄不具備生產層級的可靠性、安全性和擴充性，因此僅適用於開發和調試目的，不適合在生產環境使用。更多關於Kubernetes叢集內生產可用的網路方案的資訊，請參見Ingress管理。

      kubectl port-forward svc/vllm-dist-v1 8080:8080

   2. 發送模型推理請求。

      curl http://localhost:8080/v1/completions -H "Content-Type: application/json" -d '{
          "model": "deepseek-r1",
          "prompt": "San Francisco is a",
          "max_tokens": 10,
          "temperature": 0.6
      }'

      預期輸出如下所示。

      {"id":"cmpl-15977abb0adc44d9aa03628abe9fcc81","object":"text_completion","created":1739346042,"model":"ds","choices":[{"index":0,"text":" city that needs no introduction. Known for its iconic","logprobs":null,"finish_reason":"length","stop_reason":null,"prompt_logprobs":null}],"usage":{"prompt_tokens":5,"total_tokens":15,"completion_tokens":10,"prompt_tokens_details":null}}

2.1. 配置DeepSeek模型

1. 登入Dify應用。登入後點擊頭像，選擇設定。點擊左側模型供應商，在右側找到OpenAI-API-compatible，點擊添加模型。

2. 模型參數配置如下所示。

   參數名稱	設定	備忘
   模型名稱	deepseek-r1	不可修改。
   API Key	如api-deepseek-r1	可自行設定。
   API endpoint URL	http://vllm-dist-v1.default:8080/v1	不可修改。值為第二步部署的本地DeepSeek服務名稱。

   

2.2. 建立聊天助手應用

建立一個通用型AI問答助手。依次單擊工作室>建立空白應用，並為AI問答助手輸入名稱和描述，其他參數保持預設即可。

2.3. 驗證AI問答助手

1. 現在您可以在頁面右側與DeepSeek進行對話。

   

2. 如果您想將配置完成的DeepSeek問答助手整合到您的個人生產環境。具體操作，請參見應用到生產環境。