Container Service for Kubernetes:ACK ヘテロジニアス機密コンピューティングクラスターにおける vLLM 推論サービスのセキュアなデプロイ

ACK-CAI を使用して、ACK ヘテロジニアス機密コンピューティングクラスターに vLLM モデル推論サービスをデプロイできます。これにより、モデルとデータのセキュアな隔離と暗号化保護が保証されます。利点は次のとおりです。

• ハードウェアレベルのセキュリティ隔離：Intel® TDX と NVIDIA GPU TEE テクノロジーを使用して、ハードウェアレベルの信頼できる実行環境 (TEE) を構築します。これにより、計算中のモデルとデータの機密性と完全性が保証されます。

• 信頼できる鍵配布：リモートアテステーションメカニズムを使用して、ランタイム環境を厳密に検証します。検証が成功すると、専用の Trustee サービスがモデル復号鍵を信頼できる環境に配布します。

• エンドツーエンドのデータ暗号化：Trusted Network Gateway (TNG) を使用して、クライアントとサーバー間の暗号化チャネルを確立します。これにより、送信中の推論リクエストと応答データのセキュリティが保護されます。

• アプリケーションへの非侵入型：Kubernetes Webhook に基づいて、セキュリティコンポーネントを Pod に自動的に挿入します。ビジネスコードやイメージを変更することなく、アノテーションを使用してアプリケーションのセキュリティ機能を有効にするだけです。

仕組み

ACK-CAI は、Trustiflux という名前の一連の Sidecar コンテナを動的に挿入することにより、アプリケーション Pod に透明な機密コンピューティング機能を提供します。そのコアセキュリティメカニズムはリモートアテステーションに依存しており、モデルとデータが信頼できる環境でのみアクセスされることを保証します。

プロセスと環境ガイド

セキュアな vLLM 推論サービスのデプロイとアクセスには、以下の段階が含まれます。

ステップ 1：暗号化モデルの準備

このセクションでは、暗号化ツールを使用してモデルデータを処理し、Object Storage Service (OSS) にアップロードして、後続の暗号化配布に備えます。

実行環境：セキュアな隔離を実現するために、モデルのダウンロード、暗号化、アップロードを行うための一時的な Elastic Compute Service (ECS) インスタンスを準備します。プライベートネットワーク経由で暗号化モデルデータを高速にアップロードするために、ECS インスタンスが OSS バケット と同じリージョンにあることを推奨します。

モデルファイルはサイズが大きく、プロセスに時間がかかります。ソリューションを迅速に体験するには、このセクションをスキップしてください。暗号化モデルのサンプルファイル を試用し、直接 ステップ 2：Trustee リモートアテステーションサービスのデプロイ に進むことができます。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

ステップ 2：Trustee リモートアテステーションサービスのデプロイ

ゼロトラストの原則に従い、どの機密コンピューティング環境も、モデル復号鍵などの機密データへのアクセス権限を得る前に検証に合格する必要があります。このステップでは、モデルと推論サービスのランタイム環境を検証するための専用の Trustee サービスをデプロイします。これにより、環境が信頼できると確認された場合にのみモデル復号鍵が挿入され、クライアント側が推論リクエストを開始する際に環境の信頼性が検証されます。

実行環境：ACK クラスターの外部にデプロイされた専用のスタンドアロンサーバー。例えば、ECS インスタンスやオンプレミスのプライベートサーバーなど。

ステップ 3：ACK 機密コンピューティングクラスターの設定

このセクションでは、機密コンピューティングタスクを実行するためのハードウェアレベルのセキュリティ隔離機能を備えた基盤インフラストラクチャを構築します。これには、ACK クラスターの作成と、Intel TDX および NVIDIA TEE 機能を備えた ecs.gn8v-tee インスタンスをワーカーノードとして追加することが含まれます。

実行環境：ECS、ACK コンソール (クラスター、ノードプール、ECS インスタンスの作成用)、および作成された ecs.gn8v-tee インスタンスのシェル環境 (ドライバーのインストール用)。

1. 中国 (北京) リージョンに ACK マネージドクラスター Pro 版 を作成します。詳細については、「ACK マネージドクラスターの作成」をご参照ください。

2. クラスターのノードプールを作成して、機密コンピューティングインスタンスを管理します。詳細については、「ノードプールの作成と管理」をご参照ください。

   • vSwitch：中国 (北京) ゾーン L の vSwitch を選択します。

   • スケーリングモード：デフォルト設定を維持します。自動弾性スケーリングを有効にしないでください。

   • インスタンスタイプ：ecs.gn8v-tee.4xlarge 以上。

   • オペレーティングシステム：Alibaba Cloud Linux 3.2104 LTS 64 ビット。

   • システムディスク：100 GiB 以上。

   • 想定ノード数：ノードプールの初期ノード数。デフォルト設定の 0 を維持します。

   • ノードラベル (Labels)：NVIDIA ドライバーのバージョンを指定するためにラベル (キー：ack.aliyun.com/nvidia-driver-version、値：550.144.03) を追加します。

3. EGS 機密コンピューティングインスタンスをクラスターノードとして作成します。詳細については、「インスタンスのカスタム購入」をご参照ください。

   • リージョン：中国 (北京)。

   • ネットワークとゾーン：クラスター VPC と一致する VPC、ゾーン L。

   • インスタンスタイプ：ecs.gn8v-tee.4xlarge 以上。

     gn8v-tee インスタンスタイプは、CPU と GPU の機密コンピューティング機能がデフォルトで有効になっています。追加で機密仮想マシンを選択する必要はありません。

   • イメージ：Alibaba Cloud Linux 3.2104 LTS 64 ビット。

4. 作成した EGS インスタンスにログインし、NVIDIA ドライバーと CUDA ツールキットをインストールします。詳細については、「ステップ 1：NVIDIA ドライバーと CUDA ツールキットのインストール」をご参照ください。

5. EGS インスタンスを以前に作成したノードプールに追加します。方法として手動追加を選択します。詳細については、「既存ノードの追加」をご参照ください。

ステップ 4：ACK-CAI コンポーネントのデプロイ

ACK-CAI コンポーネントに基づいて、クラスター内のアプリケーションに非侵入型の機密コンピューティング機能を有効にします。このコンポーネントには、Pod のアノテーションに基づいて Sidecar コンテナを自動的に挿入する Webhook コントローラーが含まれています。これらの Sidecar コンテナは、リモートアテステーション、モデル復号、およびセキュアな通信を提供します。

実行環境：ACK コンソール。

1. Container Service for Kubernetes コンソール にログインします。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。

2. クラスターリスト ページで、対象クラスターの名前をクリックします。左側のナビゲーションウィンドウで、アプリケーション > Helm をクリックします。

3. デプロイ をクリックし、画面の指示に従って最新バージョンの ACK-CAI をインストールします。

   インストールが完了したら、Helm チャートリストでデプロイステータスを確認します。

ステップ 5：vLLM モデル推論サービスのデプロイ

基本的な環境とセキュリティコンポーネントの準備が整ったら、このセクションでは Helm を使用して vLLM サービスをデプロイします。特定のアノテーションを追加して、アプリケーションが ACK-CAI によるセキュリティ強化を必要とすることを宣言します。

実行環境：kubectl と Helm が設定され、クラスターにアクセスできるマシン。ワークベンチまたは CloudShell で直接使用します。

1. 空の Helm チャートディレクトリを作成します。

   mkdir -p ack-cai-vllm-demo
   cd ack-cai-vllm-demo

2. vLLM サービスをデプロイするための Helm チャートを初期化します。

   この Helm チャートは、vLLM 推論サービスを機密コンピューティング GPU ノードに強制的にスケジュールし、CSI プラグインを使用してモデルを OSS に保存します。

   クリックして Helm チャート初期化スクリプトを展開

   # テンプレートファイルを作成
   mkdir -p ./templates
   cat <<EOF >templates/vllm.yaml
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-oss
     namespace: {{ .Release.Namespace }}
     labels:
       alicloud-pvname: pv-oss
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: pv-oss
       volumeAttributes:
         bucket: {{ .Values.oss.bucket }}
         path: {{ .Values.oss.path }}
         url: {{ .Values.oss.url }}
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
       nodePublishSecretRef:
         name: oss-secret
         namespace: {{ .Release.Namespace }}
   
   ---
   
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: {{ .Release.Namespace }}
   stringData:
     akId: {{ .Values.oss.akId }}
     akSecret: {{ .Values.oss.akSecret }}
   
   ---
   
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss
     namespace: {{ .Release.Namespace }}
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss
   
   ---
   
   apiVersion: v1
   kind: Service
   metadata:
     name: cai-vllm-svc
     namespace: {{ .Release.Namespace }}
     {{- if .Values.loadbalancer}}
     {{- if .Values.loadbalancer.aclId }}
     annotations:
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status: "on"
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id: {{ .Values.loadbalancer.aclId }}
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type: "white"
     {{- end }}
     {{- end }}
     labels:
       app: cai-vllm
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
     selector:
       app: cai-vllm
     type: LoadBalancer
   
   ---
   
   apiVersion: v1
   kind: Pod
   metadata:
     name: cai-vllm
     namespace: {{ .Release.Namespace }}
     labels:
       app: cai-vllm
       trustiflux.alibaba.com/confidential-computing-mode: "ACK-CAI"
     annotations:
       trustiflux.alibaba.com/ack-cai-options: |
   {{ .Values.caiOptions | indent 6 }}
   spec:
     affinity:
       nodeAffinity:
         requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: node.kubernetes.io/instance-type
               operator: In
               values:
                 - ecs.gn8v-tee.4xlarge
                 - ecs.gn8v-tee.6xlarge
                 - ecs.gn8v-tee-8x.16xlarge
                 - ecs.gn8v-tee-8x.48xlarge
     containers:
       - name: inference-service
         image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04
         command:
           - bash
         args: ["-c", "vllm serve /tmp/model --port 8080 --host 0.0.0.0 --served-model-name qwen2.5-3b-instruct --device cuda --dtype auto"]
         ports:
           - containerPort: 8080
         resources:
           limits:
             nvidia.com/gpu: 1  # このコンテナに 1 つの GPU カードをリクエスト
         volumeMounts:
           - name: pvc-oss
             mountPath: "/tmp/model"
   
     volumes:
       - name: pvc-oss
         persistentVolumeClaim:
           claimName: pvc-oss
   
   EOF
   
   # Helm チャートの説明ファイルを作成
   cat <<EOF > ./Chart.yaml
   apiVersion: v2
   name: vllm
   description: A test based on vllm for ack-cai
   type: application
   version: 0.1.0
   appVersion: "0.1.0"
   EOF
   
   # 空の Helm チャート変数ファイル values.yaml を作成
   touch values.yaml
   
   
   

3. values.yaml ファイルを編集し、環境コンテキストを入力します。

   <trustee-ip> を Trustee のアドレスに置き換え、実際の OSS パラメーター情報を置き換えます。

   caiOptions: |
     {
         "cipher-text-volume": "pvc-oss",
         "model-decryption-key-id" : "kbs:///default/aliyun/model-decryption-key",
         "trustee-address": "http://<trustee-ip>:8081/api"
     }
   oss:
     bucket: "conf-ai"                          # 暗号化モデルが保存されている OSS バケット名に置き換えます
     path: "/qwen2.5-3b-gocryptfs/"             # OSS バケット内の暗号化モデルファイルのパスに置き換えます
     url: "https://oss-cn-beijing-internal.aliyuncs.com"   # OSS エンドポイントに置き換えます
     akId: "xxxxx"                              # Alibaba Cloud AK ID に置き換えます
     akSecret: "xxxxx"                          # Alibaba Cloud AK Secret に置き換えます

4. vLLM サービスをデプロイします。

   helm install vllm . -n default

5. CAI コンポーネントの Sidecar コンテナが Pod に正常に挿入されたか確認します。

   kubectl get pod cai-vllm -n default -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}'

   期待される出力では、以下の 5 つのコンテナが表示され、挿入が成功したことを示します。すべてのコンテナが PodInitializing から Running に変わるまで待ちます。これはサービスが開始されたことを示します。

   cai-sidecar-attestation-agent   Running
   cai-sidecar-confidential-data-hub       Running
   cai-sidecar-tng Running
   cai-sidecar-cachefs     Running
   inference-service       Running

6. vLLM サービスのアクセスアドレスを取得し、記録します。

   kubectl get service cai-vllm-svc -o jsonpath='http://{.status.loadBalancer.ingress[0].ip}:{.spec.ports[0].port}{"\n"}'

   期待される出力は、同様の形式の URL (<vllm-ip>:<port>) を返します。

   http://182.XX.XX.225:8080

ステップ 6：推論サービスへのセキュアなアクセス

サーバー側のセキュリティ保護に加えて、クライアントからサーバーへのエンドツーエンドの暗号化通信リンクを確立します。これにより、送信中の推論データのセキュリティが保証されます。このセクションでは、クライアントで TNG セキュリティゲートウェイを起動し、vLLM サービスに送信されるすべてのリクエストを自動的に暗号化し、受信した応答を復号するローカルプロキシを作成します。

実行環境：クライアント環境。vLLM 推論サービスを呼び出す必要がある任意のマシン。

1. クライアントで TNG ゲートウェイを起動し、安全な通信チャネルを確立します。

   TNG ゲートウェイは、クライアントにローカルプロキシを作成し、サーバーに送信されるリクエストを暗号化します。

   <IP> を Trustee のアドレスに置き換えます。

   docker run -d \
       --network=host \
       confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.4 \
       tng launch --config-content '
         {
           "add_ingress": [
             {
               "http_proxy": {
                 "proxy_listen": {
                   "host": "0.0.0.0",
                   "port": 41000
                 }
               },
               "encap_in_http": {},
               "verify": {
    "as_addr": "http://<trustee-ip>:8081/api/attestation-service/",
                 "policy_ids": [
                   "default"
                 ]
               }
             }
           ]
         }
   '

2. TNG プロキシを介して vLLM サービスにアクセスします。

   <vllm-ip>:<port> を以前に取得した vLLM サービスのアクセスアドレスに置き換えます。

   # http_proxy 環境変数を設定します
   export http_proxy=http://127.0.0.1:41000
   
   # curl リクエストを送信します
   curl http://<vllm-ip>:<port>/v1/completions \
     -H "Content-type: application/json" \
     -d '{
       "model": "qwen2.5-3b-instruct",
       "prompt": "San Francisco is a",
       "max_tokens": 7,
       "temperature": 0
       }'

参考情報

{
  "cipher-text-volume": "pvc-oss",
  "model-decryption-key-id": "kbs:///default/aliyun/model-decryption-key",
  "trustee-address": "http://<trustee-ip>:8081/api",
  "aa-version": "1.3.1",
  "cdh-version": "1.3.1",
  "tng-version": "2.2.4",
  "cachefs-version": "1.0.7-2.6.1",
  "tdx-ra-enable": true,
  "gpu-ra-enable": true,
  "tng-http-secure-ports": [
    {
      "port": 8080
    }
  ]
}

"tng-http-secure-ports": [
  {
    "port": 8080,
    "allow-insecure-request-regexes": [
      "/api/builtin/.*"
    ]
  }
]