Container Service for Kubernetes：Secara aman menerapkan layanan inferensi vLLM dalam kluster komputasi rahasia heterogen ACK

ACK-CAI memungkinkan Anda menerapkan layanan inferensi vLLM dalam kluster komputasi rahasia heterogen ACK, memberikan isolasi aman dan perlindungan terenkripsi untuk model dan data Anda. Keuntungan utama:

• Isolasi keamanan tingkat perangkat keras: Membangun TEE berbasis perangkat keras menggunakan Intel® TDX dan NVIDIA GPU TEE, memastikan kerahasiaan dan integritas model serta data selama komputasi.

• Distribusi kunci tepercaya: Menggunakan mekanisme verifikasi jarak jauh untuk secara ketat memverifikasi integritas lingkungan eksekusi. Hanya setelah verifikasi berhasil, layanan trustee terpisah akan melepaskan kunci dekripsi model ke lingkungan tepercaya.

• Enkripsi data ujung ke ujung: Membangun saluran terenkripsi dari klien ke server melalui Gateway Jaringan Tepercaya (TNG), melindungi permintaan dan tanggapan inferensi selama transmisi.

• Tidak mengganggu aplikasi: Secara otomatis menyuntikkan komponen keamanan ke dalam pod menggunakan webhook Kubernetes. Anda dapat mengaktifkan kemampuan komputasi rahasia untuk aplikasi Anda dengan anotasi sederhana tanpa memerlukan perubahan pada kode bisnis atau gambar kontainer.

Cara kerjanya

ACK-CAI memungkinkan kemampuan komputasi rahasia transparan dengan menyuntikkan secara dinamis serangkaian kontainer sidecar bernama Trustiflux ke dalam pod aplikasi Anda. Mekanisme keamanan inti didasarkan pada verifikasi jarak jauh, yang memastikan bahwa model dan data hanya diakses dalam lingkungan tepercaya yang diverifikasi.

Proses dan panduan lingkungan

Menerapkan dan mengakses layanan inferensi vLLM yang aman melibatkan tahapan berikut:

Langkah 1: Persiapkan model terenkripsi

Langkah ini mencakup cara mengenkripsi data model Anda dan mengunggahnya ke OSS sebagai persiapan untuk distribusi yang aman.

Lingkungan eksekusi: Untuk memastikan keamanan, lakukan langkah-langkah ini pada instans ECS sementara dan terisolasi. Untuk performa optimal, instans ini harus berada di wilayah yang sama dengan bucket OSS Anda untuk memanfaatkan unggahan jaringan internal berkecepatan tinggi.

File model besar, dan proses ini bisa memakan waktu lama. Untuk menguji solusi dengan cepat, Anda dapat melewati langkah ini. Gunakan file model terenkripsi contoh dan lanjutkan ke Langkah 2: Terapkan layanan verifikasi jarak jauh trustee.

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

Langkah 2: Terapkan layanan verifikasi jarak jauh trustee

Mengikuti prinsip Zero Trust, lingkungan komputasi rahasia apa pun harus diverifikasi sebelum dapat mengakses data sensitif, seperti kunci dekripsi model.

Layanan trustee mandiri, yang akan Anda terapkan dalam langkah ini, bertindak sebagai otoritas pusat untuk proses verifikasi ini. Ini bertanggung jawab untuk:

• Memverifikasi lingkungan eksekusi model dan layanan inferensi.

• Memastikan bahwa kunci dekripsi model dirilis hanya ke lingkungan tepercaya yang diverifikasi.

• Mengizinkan klien untuk mengonfirmasi keandalan layanan saat memulai permintaan inferensi.

Lingkungan eksekusi: Server khusus yang diterapkan di luar kluster ACK, seperti instans ECS atau server lokal.

Langkah 3: Konfigurasikan kluster komputasi rahasia ACK

Dalam langkah ini, Anda akan membangun infrastruktur dasar: kluster ACK dengan instans ecs.gn8v-tee yang menyediakan kemampuan komputasi rahasia Intel TDX dan NVIDIA TEE sebagai node pekerja.

Lingkungan eksekusi: Konsol ECS dan ACK (untuk membuat kluster, kelompok node, dan instans ECS), serta lingkungan shell dari instans ecs.gn8v-tee yang dibuat (untuk menginstal driver).

1. Buat kluster ACK Pro yang dikelola di wilayah China (Beijing).

2. Buat kelompok node untuk kluster untuk mengelola instans komputasi rahasia.

   • vSwitch: Pilih vSwitch virtual di Zona L wilayah China (Beijing).

   • Scaling Mode: Pertahankan konfigurasi default. Jangan aktifkan penskalaan otomatis.

   • Instance Type: ecs.gn8v-tee.4xlarge atau spesifikasi lebih tinggi.

   • Operating System: Alibaba Cloud Linux 3.2104 LTS 64-bit.

   • System Disk: 100 GiB atau lebih besar.

   • Expected Nodes: Jumlah awal node dalam kelompok node. Pertahankan konfigurasi default yaitu 0.

   • Node Labels: Tambahkan label (Key: ack.aliyun.com/nvidia-driver-version, Value: 550.144.03) untuk menentukan versi driver NVIDIA.

3. Buat instans Layanan GPU Elastis (EGS) komputasi rahasia untuk berfungsi sebagai node kluster. Lihat Buat instans pada tab Peluncuran Kustom.

   • Region: China (Beijing).

   • Network and Zone: VPC harus sama dengan VPC kluster. Contoh ini menggunakan salah satu di Zona L.

   • Instance: ecs.gn8v-tee.4xlarge atau spesifikasi lebih tinggi.

     Tipe instans gn8v-tee memiliki fitur komputasi rahasia CPU dan GPU yang diaktifkan secara default. Anda tidak perlu memilih VM rahasia.

   • Image: Alibaba Cloud Linux 3.2104 LTS 64-bit.

4. Masuk ke instans EGS yang dibuat dan instal driver NVIDIA dan toolkit CUDA.

5. Tambahkan instans EGS ke kelompok node yang dibuat. Pilih Manual sebagai metode untuk menambahkan instans. Lihat Tambahkan node yang ada.

Langkah 4: Terapkan komponen ACK-CAI

Komponen ACK-CAI mencakup pengontrol webhook yang secara otomatis menyuntikkan kontainer sidecar yang diperlukan ke dalam pod berdasarkan anotasi mereka. Sidecar ini menangani verifikasi jarak jauh, dekripsi model, dan komunikasi aman.

Lingkungan eksekusi: Konsol ACK.

1. Masuk ke Konsol ACK. Di panel navigasi di sebelah kiri, klik Clusters.

2. Di halaman Clusters, temukan kluster yang Anda inginkan dan klik namanya. Di panel navigasi di sebelah kiri, pilih Applications > Helm.

3. Klik Deploy dan instal versi terbaru ack-cai.

   Di langkah Parameters, ubah tag menjadi 1.1.1 di template YAML.

   Sekarang Anda dapat melihat status penyebaran di daftar bagan Helm.

Langkah 5: Terapkan layanan inferensi vLLM

Terapkan layanan vLLM menggunakan Helm dan tambahkan anotasi tertentu untuk mengaktifkan perlindungan komputasi rahasia.

Lingkungan eksekusi: Mesin dengan kubectl dan Helm yang dikonfigurasi dan dapat mengakses kluster. Anda dapat menggunakan Workbench atau CloudShell.

1. Buat folder baru untuk bagan Helm.

   mkdir -p ack-cai-vllm-demo
   cd ack-cai-vllm-demo

2. Inisialisasi bagan Helm untuk menerapkan layanan vLLM.

   Bagan Helm ini mengonfigurasi layanan inferensi vLLM dengan afinitas node untuk memastikan hanya berjalan pada node komputasi rahasia yang dipercepat GPU. Ini juga menggunakan plugin CSI untuk memasang bucket OSS untuk penyimpanan model.

   Perluas untuk melihat skrip inisialisasi bagan Helm

   values.yaml# Buat file template
   mkdir -p ./templates
   cat <<EOF >templates/vllm.yaml
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-oss
     namespace: {{ .Release.Namespace }}
     labels:
       alicloud-pvname: pv-oss
   spec:
     capacity:
       storage: 5Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: pv-oss
       volumeAttributes:
         bucket: {{ .Values.oss.bucket }}
         path: {{ .Values.oss.path }}
         url: {{ .Values.oss.url }}
         otherOpts: "-o umask=022 -o max_stat_cache_size=0 -o allow_other"
       nodePublishSecretRef:
         name: oss-secret
         namespace: {{ .Release.Namespace }}
   
   ---
   
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: {{ .Release.Namespace }}
   stringData:
     akId: {{ .Values.oss.akId }}
     akSecret: {{ .Values.oss.akSecret }}
   
   ---
   
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-oss
     namespace: {{ .Release.Namespace }}
   spec:
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 5Gi
     selector:
       matchLabels:
         alicloud-pvname: pv-oss
   
   ---
   
   apiVersion: v1
   kind: Service
   metadata:
     name: cai-vllm-svc
     namespace: {{ .Release.Namespace }}
     {{- if .Values.loadbalancer}}
     {{- if .Values.loadbalancer.aclId }}
     annotations:
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-status: "on"
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-id: {{ .Values.loadbalancer.aclId }}
       service.beta.kubernetes.io/alibaba-cloud-loadbalancer-acl-type: "white"
     {{- end }}
     {{- end }}
     labels:
       app: cai-vllm
   spec:
     ports:
     - port: 8080
       protocol: TCP
       targetPort: 8080
     selector:
       app: cai-vllm
     type: LoadBalancer
   
   ---
   
   apiVersion: v1
   kind: Pod
   metadata:
     name: cai-vllm
     namespace: {{ .Release.Namespace }}
     labels:
       app: cai-vllm
       trustiflux.alibaba.com/confidential-computing-mode: "ACK-CAI"
     annotations:
       trustiflux.alibaba.com/ack-cai-options: |
   {{ .Values.caiOptions | indent 6 }}
   spec:
     affinity:
       nodeAffinity:
         requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: node.kubernetes.io/instance-type
               operator: In
               values:
                 - ecs.gn8v-tee.4xlarge
                 - ecs.gn8v-tee.6xlarge
                 - ecs.gn8v-tee-8x.16xlarge
                 - ecs.gn8v-tee-8x.48xlarge
     containers:
       - name: inference-service
         image: egslingjun-registry.cn-wulanchabu.cr.aliyuncs.com/egslingjun/llm-inference:vllm0.5.4-deepgpu-llm24.7-pytorch2.4.0-cuda12.4-ubuntu22.04
         command:
           - bash
         args: ["-c", "vllm serve /tmp/model --port 8080 --host 0.0.0.0 --served-model-name qwen2.5-3b-instruct --device cuda --dtype auto"]
         ports:
           - containerPort: 8080
         resources:
           limits:
             nvidia.com/gpu: 1  # Permintaan 1 GPU untuk kontainer ini
         volumeMounts:
           - name: pvc-oss
             mountPath: "/tmp/model"
   
     volumes:
       - name: pvc-oss
         persistentVolumeClaim:
           claimName: pvc-oss
   
   EOF
   
   # Buat file deskripsi bagan Helm
   cat <<EOF > ./Chart.yaml
   apiVersion: v2
   name: vllm
   description: Tes berbasis vllm untuk ack-cai
   type: application
   version: 0.1.0
   appVersion: "0.1.0"
   EOF
   
   # Buat file variabel untuk bagan Helm bernama <code data-tag="code" id="ef7b35f304kct">values.yaml

3. Edit file values.yaml untuk memberikan informasi spesifik lingkungan Anda.

   Ganti <trustee-ip> dengan alamat trustee dan ganti konfigurasi OSS dengan nilai aktual Anda.

   caiOptions: |
     {
         "cipher-text-volume": "pvc-oss",
         "model-decryption-key-id" : "kbs:///default/aliyun/model-decryption-key",
         "trustee-address": "http://<trustee-ip>:8081/api"
     }
   oss:
     bucket: "conf-ai"                          # Ganti dengan nama bucket OSS yang menyimpan model terenkripsi.
     path: "/qwen2.5-3b-gocryptfs/"             # Ganti dengan jalur ke file model terenkripsi di Bucket OSS.
     url: "https://oss-cn-beijing-internal.aliyuncs.com"   # Ganti dengan titik akhir OSS.
     akId: "xxxxx"                              # Ganti dengan ID AccessKey Alibaba Cloud Anda.
     akSecret: "xxxxx"                          # Ganti dengan Rahasia AccessKey Alibaba Cloud Anda.

4. Terapkan layanan vLLM menggunakan Helm.

   helm install vllm . -n default

5. Verifikasi bahwa kontainer sidecar komponen CAI telah berhasil disuntikkan ke dalam pod.

   kubectl get pod cai-vllm -n default -o jsonpath='{range .status.initContainerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}{range .status.containerStatuses[*]}{.name}{"\t"}{range .state.running}Running{end}{.state.*.reason}{"\n"}{end}'

   Output yang diharapkan menunjukkan lima kontainer berikut, artinya penyuntikan berhasil. Tunggu semua kontainer berubah dari PodInitializing menjadi Running. Ini menunjukkan bahwa layanan telah dimulai.

   cai-sidecar-attestation-agent   Running
   cai-sidecar-confidential-data-hub       Running
   cai-sidecar-tng Running
   cai-sidecar-cachefs     Running
   inference-service       Running

6. Dapatkan dan catat titik akhir layanan vLLM.

   kubectl get service cai-vllm-svc -o jsonpath='http://{.status.loadBalancer.ingress[0].ip}:{.spec.ports[0].port}{"\n"}'

   Output yang diharapkan adalah URL dalam format <vllm-ip>:<port>.

   http://182.XX.XX.225:8080

Langkah 6: Akses layanan inferensi secara aman

Untuk memastikan keamanan ujung ke ujung, Anda harus menggunakan gateway TNG klien untuk memproksi permintaan Anda. Proxy ini secara otomatis mengenkripsi semua permintaan yang dikirim ke layanan vLLM dan mendekripsi tanggapan.

Lingkungan eksekusi: Mesin klien tempat Anda ingin memanggil layanan inferensi.

1. Mulai gateway TNG di klien untuk membangun saluran komunikasi aman.

   Gateway TNG membuat proxy lokal di klien untuk mengenkripsi permintaan yang dikirim ke server.

   Ganti <IP> dengan alamat trustee.

   docker run -d \
       --network=host \
       confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.4 \
       tng launch --config-content '
         {
           "add_ingress": [
             {
               "http_proxy": {
                 "proxy_listen": {
                   "host": "0.0.0.0",
                   "port": 41000
                 }
               },
               "encap_in_http": {},
               "verify": {
    "as_addr": "http://<trustee-ip>:8081/api/attestation-service/",
                 "policy_ids": [
                   "default"
                 ]
               }
             }
           ]
         }
   '

2. Akses layanan vLLM melalui proxy TNG.

   Ganti <vllm-ip>:<port> dengan titik akhir layanan vLLM yang Anda peroleh sebelumnya.

   # Set variabel lingkungan http_proxy
   export http_proxy=http://127.0.0.1:41000
   
   # Kirim permintaan curl
   curl http://<vllm-ip>:<port>/v1/completions \
     -H "Content-type: application/json" \
     -d '{
       "model": "qwen2.5-3b-instruct",
       "prompt": "San Francisco is a",
       "max_tokens": 7,
       "temperature": 0
       }'

Referensi

{
  "cipher-text-volume": "pvc-oss",
  "model-decryption-key-id": "kbs:///default/aliyun/model-decryption-key",
  "trustee-address": "http://<trustee-ip>:8081/api",
  "aa-version": "1.3.1",
  "cdh-version": "1.3.1",
  "tng-version": "2.2.4",
  "cachefs-version": "1.0.7-2.6.1",
  "tdx-ra-enable": true,
  "gpu-ra-enable": true,
  "tng-http-secure-ports": [
    {
      "port": 8080
    }
  ]
}

"tng-http-secure-ports": [
  {
    "port": 8080,
    "allow-insecure-request-regexes": [
      "/api/builtin/.*"
    ]
  }
]