Container Service for Kubernetes:ACK 異種コンフィデンシャルコンピューティングクラスターで vLLM 推論サービスを安全にデプロイする

ACK-CAI を使用すると、vLLM 推論サービスを ACK 異種コンフィデンシャルコンピューティングクラスターにデプロイできます。これにより、モデルとデータに対して安全な分離と暗号化による保護が提供されます。主な利点は次のとおりです。

• ハードウェアレベルのセキュリティ分離: Intel® TDX と NVIDIA GPU TEE を使用してハードウェアベースの TEE を構築し、計算中のモデルとデータの機密性と完全性を確保します。

• 信頼できる鍵配布: リモートアテステーションメカニズムを使用して、実行環境の完全性を厳密に検証します。検証が成功した後にのみ、別のトラスティサービスがモデル復号鍵を信頼できる環境にリリースします。

• エンドツーエンドのデータ暗号化: Trusted Network Gateway (TNG) を介してクライアントからサーバーへの暗号化チャネルを確立し、送信中の推論リクエストとレスポンスを保護します。

• アプリケーションへの非侵入: Kubernetes Webhook を使用して、セキュリティコンポーネントをポッドに自動的にインジェクトします。ビジネスコードやコンテナイメージを変更することなく、単純なアノテーションでアプリケーションのコンフィデンシャルコンピューティング機能を有効にできます。

仕組み

ACK-CAI は、Trustiflux と呼ばれる一連のサイドカーコンテナをアプリケーションポッドに動的にインジェクトすることにより、透明なコンフィデンシャルコンピューティング機能を有効にします。コアセキュリティメカニズムはリモートアテステーションに基づいており、モデルとデータが検証済みの信頼できる環境内でのみアクセスされることを保証します。

プロセスと環境ガイド

安全な vLLM 推論サービスのデプロイとアクセスには、以下の段階が含まれます。

ステップ 1: 暗号化モデルの準備

このステップでは、モデルデータを暗号化し、安全な配布の準備として OSS にアップロードする方法について説明します。

実行環境: セキュリティを確保するため、これらの手順は一時的な隔離された ECS インスタンスで実行してください。最適なパフォーマンスを得るには、このインスタンスを OSS バケット と同じリージョンに配置して、高速な内部ネットワークアップロードを活用することをお勧めします。

モデルファイルはサイズが大きく、このプロセスには時間がかかる場合があります。ソリューションを迅速にテストするには、このステップをスキップできます。サンプル暗号化モデルファイル を使用し、ステップ 2: Trustee リモートアテステーションサービスのデプロイ に進んでください。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

ステップ 2: Trustee リモートアテステーションサービスのデプロイ

ゼロトラストの原則に従い、コンフィデンシャルコンピューティング環境は、モデル復号鍵などの機密データにアクセスする前に検証される必要があります。

このステップでデプロイするスタンドアロンの Trustee サービスは、この検証プロセスの中央機関として機能します。その役割は次のとおりです。

• モデルと推論サービスの実行環境を検証します。

• モデル復号鍵が検証済みの信頼できる環境にのみリリースされることを保証します。

• クライアントが推論リクエストを開始する際にサービスの信頼性を確認できるようにします。

実行環境: ACK クラスターの外部にデプロイされた専用の別サーバー (ECS インスタンスやオンプレミスサーバーなど)。

ステップ 3: ACK コンフィデンシャルコンピューティングクラスターの構成

このステップでは、基盤となるインフラストラクチャを構築します。ワーカーノードとして Intel TDX と NVIDIA TEE の両方の機能を提供する ecs.gn8v-tee インスタンスを持つ ACK クラスターです。

実行環境: ECS および ACK コンソール (クラスター、ノードプール、ECS インスタンスの作成用)、および作成された ecs.gn8v-tee インスタンスのシェル環境 (ドライバーのインストール用)。

1. 中国 (北京) リージョンに「ACK マネージド Pro クラスターを作成する」をご参照ください。

2. コンフィデンシャルコンピューティングインスタンスを管理するために、クラスターの「ノードプールを作成する」をご参照ください。

   • vSwitch: 中国 (北京) リージョンのゾーン L にある vSwitch を選択します。

   • スケーリングモード: デフォルトの構成を維持します。自動スケーリングを有効にしないでください。

   • インスタンスタイプ: ecs.gn8v-tee.4xlarge またはそれ以上の仕様。

   • オペレーティングシステム: Alibaba Cloud Linux 3.2104 LTS 64 ビット。

   • システムディスク: 100 GiB 以上。

   • 期待されるノード数: ノードプールの初期ノード数。デフォルト構成の 0 を維持します。

   • ノードラベル: NVIDIA ドライバーのバージョンを指定するためにラベル (キー: ack.aliyun.com/nvidia-driver-version, 値: 550.144.03) を追加します。

3. クラスターノードとして機能する Elastic GPU Service (EGS) コンフィデンシャルコンピューティングインスタンスを作成します。詳細については、「カスタム起動タブでインスタンスを作成する」をご参照ください。

   • リージョン: 中国 (北京)。

   • ネットワークとゾーン: VPC はクラスターの VPC と同じでなければなりません。この例では、ゾーン L のものを使用します。

   • インスタンス: ecs.gn8v-tee.4xlarge またはそれ以上の仕様。

     gn8v-tee インスタンスタイプは、CPU および GPU コンフィデンシャルコンピューティング機能がデフォルトで有効になっています。コンフィデンシャル VM を選択する必要はありません。

   • イメージ: Alibaba Cloud Linux 3.2104 LTS 64 ビット。

4. 作成した EGS インスタンスにログオンし、「NVIDIA ドライバーと CUDA ツールキットをインストールする」をご参照ください。

5. EGS インスタンスを作成したノードプールに追加します。インスタンスを追加する方法として [手動] を選択します。詳細については、「既存のノードを追加する」をご参照ください。

ステップ 4: ACK-CAI コンポーネントのデプロイ

ACK-CAI コンポーネントには、アノテーションに基づいて必要なサイドカーコンテナをポッドに自動的にインジェクトする Webhook コントローラーが含まれています。これらのサイドカーは、リモートアテステーション、モデル復号、および安全な通信を処理します。

実行環境: ACK コンソール。

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、目的のクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] > [Helm] を選択します。

3. [デプロイ] をクリックし、ack-cai の最新バージョンをインストールします。

   [パラメーター] ステップで、YAML テンプレートの tag を 1.1.1 に変更します。

   Helm チャートリストでデプロイステータスを表示できます。

ステップ 5: vLLM 推論サービスのデプロイ

Helm を使用して vLLM サービスをデプロイし、特定のアノテーションを追加してコンフィデンシャルコンピューティング保護を有効にします。

実行環境: kubectl と Helm が構成され、クラスターにアクセスできるマシン。Workbench または CloudShell を使用できます。

1. Helm チャート用の新しいフォルダを作成します。

   mkdir -p ack-cai-vllm-demo
   cd ack-cai-vllm-demo

2. vLLM サービスをデプロイするための Helm チャートを初期化します。

   この Helm チャートは、vLLM 推論サービスをノードアフィニティで構成し、コンフィデンシャルコンピューティング GPU アクセラレーションノードでのみ実行されるようにします。また、CSI プラグインを使用して、モデルストレージ用の OSS バケットをマウントします。

   Helm チャート初期化スクリプトを表示するには展開してください

   values.yaml# テンプレートファイルを作成
   mkdir -p ./templates
   cat <<EOF >templates/vllm.yaml
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-oss
     namespace: {{ .Release.Namespace }}
     labels:
       alicloud-pvname: pv-oss
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: pv-oss
       volumeAttributes:
         bucket: {{ .Values.oss.bucket }}
         path: {{ .Values.oss.path }}
         url: {{ .Values.oss.url }}
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
       nodePublishSecretRef:
         name: oss-secret
         namespace: {{ .Release.Namespace }}
   
   ---
   
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: {{ .Release.Namespace }}
   stringData:
     akId: {{ .Values.oss.akId }}
     akSecret: {{ .Values.oss.akSecret }}
   
   ---
   
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss
     namespace: {{ .Release.Namespace }}
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss
   
   ---
   
   apiVersion: v1
   kind: Service
   metadata:
     name: cai-vllm-svc
     namespace: {{ .Release.Namespace }}
     {{- if .Values.loadbalancer}}
     {{- if .Values.loadbalancer.aclId }}
     annotations:
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status: "on"
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id: {{ .Values.loadbalancer.aclId }}
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type: "white"
     {{- end }}
     {{- end }}
     labels:
       app: cai-vllm
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
     selector:
       app: cai-vllm
     type: LoadBalancer
   
   ---
   
   apiVersion: v1
   kind: Pod
   metadata:
     name: cai-vllm
     namespace: {{ .Release.Namespace }}
     labels:
       app: cai-vllm
       trustiflux.alibaba.com/confidential-computing-mode: "ACK-CAI"
     annotations:
       trustiflux.alibaba.com/ack-cai-options: |
   {{ .Values.caiOptions | indent 6 }}
   spec:
     affinity:
       nodeAffinity:
         requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: node.kubernetes.io/instance-type
               operator: In
               values:
                 - ecs.gn8v-tee.4xlarge
                 - ecs.gn8v-tee.6xlarge
                 - ecs.gn8v-tee-8x.16xlarge
                 - ecs.gn8v-tee-8x.48xlarge
     containers:
       - name: inference-service
         image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04
         command:
           - bash
         args: ["-c", "vllm serve /tmp/model --port 8080 --host 0.0.0.0 --served-model-name qwen2.5-3b-instruct --device cuda --dtype auto"]
         ports:
           - containerPort: 8080
         resources:
           limits:
             nvidia.com/gpu: 1  # このコンテナーに 1 つの GPU をリクエストします
         volumeMounts:
           - name: pvc-oss
             mountPath: "/tmp/model"
   
     volumes:
       - name: pvc-oss
         persistentVolumeClaim:
           claimName: pvc-oss
   
   EOF
   
   # Helm チャート記述ファイルを作成
   cat <<EOF > ./Chart.yaml
   apiVersion: v2
   name: vllm
   description: A test based on vllm for ack-cai
   type: application
   version: 0.1.0
   appVersion: "0.1.0"
   EOF
   
   # Helm チャート用の変数ファイル <code data-tag="code" id="ef7b35f304kct">values.yaml

3. values.yaml ファイルを編集して、環境固有の情報を指定します。

   <trustee-ip> を Trustee アドレスに置き換え、OSS 構成を実際の値に置き換えてください。

   caiOptions: |
     {
         "cipher-text-volume": "pvc-oss",
         "model-decryption-key-id" : "kbs:///default/aliyun/model-decryption-key",
         "trustee-address": "http://<trustee-ip>:8081/api"
     }
   oss:
     bucket: "conf-ai"                          # 暗号化モデルを格納する OSS バケットの名前に置き換えます。
     path: "/qwen2.5-3b-gocryptfs/"             # OSS バケット内の暗号化モデルファイルへのパスに置き換えます。
     url: "https://oss-cn-beijing-internal.aliyuncs.com"   # OSS エンドポイントに置き換えます。
     akId: "xxxxx"                              # Alibaba Cloud AccessKey ID に置き換えます。
     akSecret: "xxxxx"                          # Alibaba Cloud AccessKey シークレットに置き換えます。

4. Helm を使用して vLLM サービスをデプロイします。

   helm install vllm . -n default

5. CAI コンポーネントのサイドカーコンテナがポッドに正常にインジェクトされたことを確認します。

   kubectl get pod cai-vllm -n default -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}'

   期待される出力は次の 5 つのコンテナを示しており、インジェクションが成功したことを意味します。すべてのコンテナが PodInitializing から Running に変わるのを待ちます。これは、サービスが開始されたことを示します。

   cai-sidecar-attestation-agent   Running
   cai-sidecar-confidential-data-hub       Running
   cai-sidecar-tng Running
   cai-sidecar-cachefs     Running
   inference-service       Running

6. vLLM サービスのエンドポイントを取得して記録します。

   kubectl get service cai-vllm-svc -o jsonpath='http://{.status.loadBalancer.ingress[0].ip}:{.spec.ports[0].port}{"\n"}'

   期待される出力は、<vllm-ip>:<port> の形式の URL です。

   http://182.XX.XX.225:8080

ステップ 6: 推論サービスへの安全なアクセス

エンドツーエンドのセキュリティを確保するには、TNG クライアントゲートウェイを使用してリクエストをプロキシする必要があります。プロキシは、vLLM サービスに送信されるすべてのリクエストを自動的に暗号化し、レスポンスを復号します。

実行環境: 推論サービスを呼び出すクライアントマシン。

1. クライアントで TNG ゲートウェイを開始して、安全な通信チャネルを確立します。

   TNG ゲートウェイは、クライアントにローカルプロキシを作成して、サーバーに送信されるリクエストを暗号化します。

   <IP> を Trustee アドレスに置き換えてください。

   docker run -d \
       --network=host \
       confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.4 \
       tng launch --config-content '
         {
           "add_ingress": [
             {
               "http_proxy": {
                 "proxy_listen": {
                   "host": "0.0.0.0",
                   "port": 41000
                 }
               },
               "encap_in_http": {},
               "verify": {
    "as_addr": "http://<trustee-ip>:8081/api/attestation-service/",
                 "policy_ids": [
                   "default"
                 ]
               }
             }
           ]
         }
   '

2. TNG プロキシを介して vLLM サービスにアクセスします。

   <vllm-ip>:<port> を、以前に取得した vLLM サービスのエンドポイントに置き換えてください。

   # http_proxy 環境変数を設定
   export http_proxy=http://127.0.0.1:41000
   
   # curl リクエストを送信
   curl http://<vllm-ip>:<port>/v1/completions \
     -H "Content-type: application/json" \
     -d '{
       "model": "qwen2.5-3b-instruct",
       "prompt": "San Francisco is a",
       "max_tokens": 7,
       "temperature": 0
       }'

リファレンス

{
  "cipher-text-volume": "pvc-oss",
  "model-decryption-key-id": "kbs:///default/aliyun/model-decryption-key",
  "trustee-address": "http://<trustee-ip>:8081/api",
  "aa-version": "1.3.1",
  "cdh-version": "1.3.1",
  "tng-version": "2.2.4",
  "cachefs-version": "1.0.7-2.6.1",
  "tdx-ra-enable": true,
  "gpu-ra-enable": true,
  "tng-http-secure-ports": [
    {
      "port": 8080
    }
  ]
}

"tng-http-secure-ports": [
  {
    "port": 8080,
    "allow-insecure-request-regexes": [
      "/api/builtin/.*"
    ]
  }
]