Container Service for Kubernetes：在ACK異構機密計算叢集中安全部署vLLM推理服務

基於ACK-CAI，可在ACK異構機密計算叢集中部署vLLM模型推理服務，實現模型和資料的安全隔離與加密保護。優勢如下。

• 硬體級安全隔離：利用Intel® TDX與NVIDIA GPU TEE技術構建硬體級可信執行環境（TEE），保障計算中模型與資料的機密性和完整性。

• 可信的密鑰分發：通過遠程證明機制嚴格校正運行環境。驗證通過後，獨立的Trustee服務才向可信環境分發模型解密密鑰。

• 端到端資料加密：通過可信網關（TNG）建立用戶端到服務端的加密通道，保護推理請求與響應資料在傳輸過程中的安全。

• 對應用無侵入：基於Kubernetes Webhook自動為Pod注入安全性群組件，僅需通過Annotation即可為應用開啟安全能力，無需修改業務代碼或鏡像。

工作原理

ACK-CAI通過動態注入一組名為Trustiflux的Sidecar容器，為業務Pod提供透明的機密計算能力。其核心安全機制基於遠程證明，確保模型和資料僅在可信的環境中被訪問。

流程與環境指引

部署並訪問一個安全的vLLM推理服務，主要分為以下階段。

步驟一：準備加密模型

本小節使用加密工具處理模型資料，並將其上傳到Object Storage Service中，為後續的密態分發做準備。

執行環境：為實現安全隔離，需準備一台臨時ECS執行個體用於下載、加密和上傳模型。建議與OSS Bucket處於相同地區，以便通過內網高速上傳加密後的模型資料。

模型檔案較大，過程耗時較長。如需快速體驗方案，跳過本小節，可選擇加密模型樣本檔案進行試用，直接進入步驟二：部署Trustee遠程證明服務。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

步驟二：部署Trustee遠程證明服務

遵循零信任原則，任何機密計算環境在獲得訪問敏感性資料（如模型解密密鑰）的許可權前，都必須通過驗證。此步驟將部署獨立的Trustee服務，以對模型及推理服務的運行環境進行驗證，確保僅在確認環境可信時才會注入模型解密密鑰，以及在用戶端側發起推理請求時驗證確認環境可信。

執行環境：一台專用的、部署在ACK叢集之外的獨立伺服器，如ECS執行個體或雲下自有伺服器。

步驟三：配置ACK機密計算叢集

本小節為運行機密計算任務搭建一個具備硬體級安全隔離能力的底層基礎設施：建立一個ACK叢集，並為其添加具備Intel TDX和NVIDIA TEE能力的ecs.gn8v-tee執行個體作為工作節點。

執行環境：ECS、ACK控制台（用於建立叢集、節點池和ECS執行個體）以及建立好的 ecs.gn8v-tee執行個體的Shell環境（用於安裝驅動）。

1. 已在華北2（北京）地區建立一個ACK託管叢集Pro版，請參見建立ACK託管叢集。

2. 為叢集建立一個節點池，用於管理機密計算執行個體，請參見建立和管理節點池。

   • 交換器：選擇華北2（北京）可用性區域L下的虛擬交換器。

   • 擴縮容模式：保持預設配置，不開啟自動Auto Scaling。

   • 執行個體規格：ecs.gn8v-tee.4xlarge及以上規格。

   • 作業系統：Alibaba Cloud Linux 3.2104 LTS 64位。

   • 系統硬碟：100GiB以上。

   • 期望節點數：節點池初始節點數量，保持預設配置，為0。

   • 節點標籤（Labels）：添加標籤（鍵：ack.aliyun.com/nvidia-driver-version，值：550.144.03），指定NVIDIA驅動版本。

3. 建立EGS機密計算執行個體作為叢集節點，請參見自訂購買執行個體。

   • 地區：華北2（北京）。

   • 網路和可用性區域：VPC與叢集VPC保持一致，可用性區域L。

   • 執行個體規格：ecs.gn8v-tee.4xlarge及以上規格。

     gn8v-tee規格已預設開啟CPU和GPU機密計算特性，無需額外選中機密虛擬機器。

   • 鏡像：Alibaba Cloud Linux 3.2104 LTS 64位。

4. 登入已建立的EGS執行個體，安裝NVIDIA驅動和CUDA工具包，請參見步驟一：安裝NVIDIA驅動和CUDA工具包。

5. 將EGS執行個體添加到此前建立的節點池中，選擇添加方式為手動添加，請參見添加已有節點。

步驟四：部署ACK-CAI組件

基於ACK-CAI組件，可在叢集中啟用對應用無侵入的機密計算能力。該組件包含一個Webhook控制器，能夠根據Pod的Annotation，自動為其注入實現遠程證明、模型解密和安全通訊所需的Sidecar容器。

執行環境：ACK控制台。

1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇應用 > Helm。

3. 單擊建立，按照頁面提示安裝最新版本的ACK-CAI。

   安裝完成後，可在Helm Chart列表查看部署狀態。

步驟五：部署vLLM模型推理服務

在基礎環境和安全性群組件就緒後，本小節使用Helm部署vLLM服務，並通過添加特定Annotation來聲明該應用需要由ACK-CAI進行安全增強。

執行環境：一台已配置好kubectl和helm且能訪問叢集的機器。可直接使用在Workbench或CloudShell。

1. 建立一個空的Helm Chart目錄。

   mkdir -p ack-cai-vllm-demo
   cd ack-cai-vllm-demo

2. 初始化一個部署vLLM服務的Helm Chart。

   此Helm Chart將vLLM推理服務強制調度到機密計算GPU節點上，通過CSI外掛程式將OSS作為模型儲存。

   展開查看Helm Chart初始化指令碼

   # 建立模板檔案
   mkdir -p ./templates
   cat <<EOF >templates/vllm.yaml
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-oss
     namespace: {{ .Release.Namespace }}
     labels:
       alicloud-pvname: pv-oss
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: pv-oss
       volumeAttributes:
         bucket: {{ .Values.oss.bucket }}
         path: {{ .Values.oss.path }}
         url: {{ .Values.oss.url }}
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
       nodePublishSecretRef:
         name: oss-secret
         namespace: {{ .Release.Namespace }}
   
   ---
   
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: {{ .Release.Namespace }}
   stringData:
     akId: {{ .Values.oss.akId }}
     akSecret: {{ .Values.oss.akSecret }}
   
   ---
   
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss
     namespace: {{ .Release.Namespace }}
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss
   
   ---
   
   apiVersion: v1
   kind: Service
   metadata:
     name: cai-vllm-svc
     namespace: {{ .Release.Namespace }}
     {{- if .Values.loadbalancer}}
     {{- if .Values.loadbalancer.aclId }}
     annotations:
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status: "on"
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id: {{ .Values.loadbalancer.aclId }}
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type: "white"
     {{- end }}
     {{- end }}
     labels:
       app: cai-vllm
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
     selector:
       app: cai-vllm
     type: LoadBalancer
   
   ---
   
   apiVersion: v1
   kind: Pod
   metadata:
     name: cai-vllm
     namespace: {{ .Release.Namespace }}
     labels:
       app: cai-vllm
       trustiflux.alibaba.com/confidential-computing-mode: "ACK-CAI"
     annotations:
       trustiflux.alibaba.com/ack-cai-options: |
   {{ .Values.caiOptions | indent 6 }}
   spec:
     affinity:
       nodeAffinity:
         requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: node.kubernetes.io/instance-type
               operator: In
               values:
                 - ecs.gn8v-tee.4xlarge
                 - ecs.gn8v-tee.6xlarge
                 - ecs.gn8v-tee-8x.16xlarge
                 - ecs.gn8v-tee-8x.48xlarge
     containers:
       - name: inference-service
         image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04
         command:
           - bash
         args: ["-c", "vllm serve /tmp/model --port 8080 --host 0.0.0.0 --served-model-name qwen2.5-3b-instruct --device cuda --dtype auto"]
         ports:
           - containerPort: 8080
         resources:
           limits:
             nvidia.com/gpu: 1  # 為該容器申請1張GPU卡
         volumeMounts:
           - name: pvc-oss
             mountPath: "/tmp/model"
   
     volumes:
       - name: pvc-oss
         persistentVolumeClaim:
           claimName: pvc-oss
   
   EOF
   
   # 建立Helm Chart描述檔案
   cat <<EOF > ./Chart.yaml
   apiVersion: v2
   name: vllm
   description: A test based on vllm for ack-cai
   type: application
   version: 0.1.0
   appVersion: "0.1.0"
   EOF
   
   # 建立空的Helm Chart變數檔案values.yaml
   touch values.yaml
   
   
   

3. 編輯values.yaml檔案，填入環境資訊。

   請將<trustee-ip>替換為Trustee地址，並替換實際的OSS參數資訊。

   caiOptions: |
     {
         "cipher-text-volume": "pvc-oss",
         "model-decryption-key-id" : "kbs:///default/aliyun/model-decryption-key",
         "trustee-address": "http://<trustee-ip>:8081/api"
     }
   oss:
     bucket: "conf-ai"                          # 替換為存放模型密文的OSS Bucket名稱
     path: "/qwen2.5-3b-gocryptfs/"             # 替換為模型密文檔案在OSS Bucket內的路徑
     url: "https://oss-cn-beijing-internal.aliyuncs.com"   # 替換為OSS Endpoint
     akId: "xxxxx"                              # 替換為阿里雲AK ID
     akSecret: "xxxxx"                          # 替換為阿里雲AK Secret

4. 部署vLLM服務。

   helm install vllm . -n default

5. 檢查Pod中是否成功注入了CAI組件的Sidecar容器。

   kubectl get pod cai-vllm -n default -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}'

   預期輸出中，展示如下5個容器，表明注入成功。等待容器均由PodInitializing變為Running時表明服務啟動完成。

   cai-sidecar-attestation-agent   Running
   cai-sidecar-confidential-data-hub       Running
   cai-sidecar-tng Running
   cai-sidecar-cachefs     Running
   inference-service       Running

6. 擷取並記錄vLLM服務的訪問地址。

   kubectl get service cai-vllm-svc -o jsonpath='http://{.status.loadBalancer.ingress[0].ip}:{.spec.ports[0].port}{"\n"}'

   預期輸出中將返回一個類似格式的URL（<vllm-ip>:<port>）：

   http://182.XX.XX.225:8080

步驟六：安全訪問推理服務

除服務端安全防護外，還需建立從用戶端到服務端的端到端加密通訊鏈路，保障推理資料在傳輸過程中的安全。此小節在用戶端啟動一個TNG安全網關，建立一個本地代理，自動加密所有發往vLLM服務的請求，並解密收到的響應。

執行環境：用戶端環境，即任何需要調用vLLM推理服務的機器。

1. 在用戶端中啟動TNG網關，建立安全通訊通道。

   TNG網關會在用戶端建立一個本地代理，用於加密發往服務端的請求。

   請將<IP>替換為Trustee地址。

   docker run -d \
       --network=host \
       confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.4 \
       tng launch --config-content '
         {
           "add_ingress": [
             {
               "http_proxy": {
                 "proxy_listen": {
                   "host": "0.0.0.0",
                   "port": 41000
                 }
               },
               "encap_in_http": {},
               "verify": {
    "as_addr": "http://<trustee-ip>:8081/api/attestation-service/",
                 "policy_ids": [
                   "default"
                 ]
               }
             }
           ]
         }
   '

2. 通過TNG代理訪問vLLM服務。

   將<vllm-ip>:<port>替換為此前擷取的vLLM服務的訪問地址。

   # 設定http_proxy環境變數
   export http_proxy=http://127.0.0.1:41000
   
   # 發送curl請求
   curl http://<vllm-ip>:<port>/v1/completions \
     -H "Content-type: application/json" \
     -d '{
       "model": "qwen2.5-3b-instruct",
       "prompt": "San Francisco is a",
       "max_tokens": 7,
       "temperature": 0
       }'

參考資訊

{
  "cipher-text-volume": "pvc-oss",
  "model-decryption-key-id": "kbs:///default/aliyun/model-decryption-key",
  "trustee-address": "http://<trustee-ip>:8081/api",
  "aa-version": "1.3.1",
  "cdh-version": "1.3.1",
  "tng-version": "2.2.4",
  "cachefs-version": "1.0.7-2.6.1",
  "tdx-ra-enable": true,
  "gpu-ra-enable": true,
  "tng-http-secure-ports": [
    {
      "port": 8080
    }
  ]
}

"tng-http-secure-ports": [
  {
    "port": 8080,
    "allow-insecure-request-regexes": [
      "/api/builtin/.*"
    ]
  }
]