Elastic GPU Service：Membangun Lingkungan Inferensi LLM yang Aman pada Instans Komputasi Rahasia Heterogen

1. Unduh model

Sebelum menerapkan model ke cloud, Anda harus mengenkripsinya dan mengunggahnya ke penyimpanan cloud. Kunci dekripsi untuk model dikelola oleh KMS, yang dikontrol oleh layanan remote attestation. Anda harus melakukan enkripsi model dalam lingkungan lokal atau tepercaya. Contoh berikut menunjukkan cara menerapkan model besar Qwen2.5-3B-Instruct.

Contoh ini menggunakan alat modelscope untuk mengunduh model Qwen2.5-3B-Instruct. Ini memerlukan Python 3.9 atau lebih baru. Anda dapat menjalankan perintah berikut di terminal untuk mengunduh model.

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

Setelah perintah berhasil dijalankan, model akan diunduh ke direktori ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/.

2. Enkripsi model

Dua metode enkripsi berikut didukung. Topik ini menggunakan Gocryptfs sebagai contoh.

• Gocryptfs: Pola enkripsi berbasis AES-256-GCM yang sesuai dengan standar Gocryptfs open source.

• Sam: Format enkripsi model AI tepercaya dari Alibaba Cloud. Ini melindungi kerahasiaan model dan mencegah konten lisensi dirusak atau digunakan secara ilegal.

3. Unggah model

Persiapkan Bucket OSS di wilayah yang sama tempat Anda akan menerapkan instans heterogen. Unggah model terenkripsi ke Alibaba Cloud OSS. Ini memungkinkan Anda menarik dan menerapkan model dari instans heterogen nanti.

Ambil OSS sebagai contoh. Anda dapat membuat bucket dan direktori bernama qwen-encrypted, seperti oss://examplebucket/qwen-encrypted/. Untuk informasi lebih lanjut, lihat Memulai Cepat untuk Konsol. Karena ukuran file model besar, kami sarankan menggunakan ossbrowser untuk mengunggah model terenkripsi ke direktori ini.

1. Buat instans Alibaba Cloud KMS sebagai backend penyimpanan kunci

1. Buka Konsol Layanan Manajemen Kunci. Di panel navigasi di sebelah kiri, pilih Resources > Instance Management. Pada tab Software Key Management, buat dan aktifkan instans. Saat Anda mengaktifkan instans, pilih VPC yang sama dengan kluster ACK. Untuk informasi lebih lanjut, lihat Pembelian dan Aktivasi Instans KMS.

   Tunggu sekitar 10 menit untuk instans mulai.

2. Setelah instans mulai, di panel navigasi di sebelah kiri, pilih Resources > Key Management. Pada halaman Manajemen Kunci, buat kunci master pelanggan untuk instans. Untuk informasi lebih lanjut, lihat Langkah 1: Buat Kunci yang Dilindungi Perangkat Lunak.

3. Di panel navigasi di sebelah kiri, pilih Application Access > Access Points. Pada halaman Titik Akses, buat titik akses aplikasi untuk instans. Atur Cakupan ke instans KMS yang Anda buat. Untuk informasi lebih lanjut tentang konfigurasi lainnya, lihat Metode 1: Pembuatan Cepat.

   Setelah titik akses aplikasi dibuat, browser secara otomatis mengunduh file ClientKey***.zip. Setelah Anda mengekstrak file zip, itu berisi:

   • Application Identity Credential Content (ClientKeyContent): Nama file adalah clientKey_****.json secara default.

   • Credential Security Token (ClientKeyPassword): Nama file adalah clientKey_****_Password.txt secara default.

4. Pada halaman Resources > Instance Management, klik nama instans KMS. Di area Basic Information, klik Download di sebelah Instance CA Certificate untuk mengekspor file sertifikat kunci publik PrivateKmsCA_***.pem untuk instans KMS.

2. Buat kluster layanan ACK dan instal komponen csi-provisioner

1. Buka halaman Buat Kluster untuk membuat kluster ACK Serverless. Konfigurasi parameter kunci dijelaskan di bawah ini. Untuk informasi lebih lanjut tentang konfigurasi lainnya, lihat Buat Kluster.

   1. Konfigurasi Kluster: Konfigurasikan parameter berikut, lalu klik Berikutnya: Konfigurasi Komponen.

      Konfigurasi Utama	Deskripsi
      VPC	Pilih Use Existing dan pilih Configure SNAT For VPC. Jika tidak, Anda tidak dapat menarik gambar Trustee.
      VSwitch	Pastikan bahwa setidaknya dua switch virtual dibuat di VPC yang ada. Jika tidak, Anda tidak dapat mengekspos ALB publik.

   2. Konfigurasi Komponen: Konfigurasikan parameter berikut, lalu klik Next: Confirm Order.

      Konfigurasi Utama	Deskripsi
      Service Discovery	Pilih CoreDNS.
      Ingress	Pilih ALB Ingress. Untuk sumber instance gateway cloud-native ALB, pilih Create dan pilih dua switch virtual.

   3. Konfirmasi Pesanan: Konfirmasi informasi konfigurasi dan ketentuan layanan, lalu klik Create Cluster.

2. Setelah kluster dibuat, instal komponen csi-provisioner (dikelola). Untuk informasi lebih lanjut, lihat Kelola Komponen.

3. Terapkan layanan remote attestation Trustee di kluster ACK

1. Pertama, hubungkan ke kluster melalui Internet atau jaringan internal. Untuk informasi lebih lanjut, lihat Hubungkan ke Kluster.

2. Unggah kredensial identitas aplikasi (yang diunduh (clientKey_****.json), token keamanan kredensial (clientKey_****_Password.txt), dan sertifikat CA (PrivateKmsCA_***.pem) untuk instans KMS ke lingkungan yang terhubung ke kluster ACK Serverless. Kemudian, jalankan perintah berikut untuk menerapkan layanan remote attestation Trustee dan menggunakan Alibaba Cloud KMS sebagai backend penyimpanan kunci.

   # Instal plugin
   helm plugin install https://github.com/AliyunContainerService/helm-acr
   
   helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
   helm repo update
   
   export DEPLOY_RELEASE_NAME=trustee
   export DEPLOY_NAMESPACE=default
   export TRUSTEE_CHART_VERSION=1.0.0
   
   # Setel informasi wilayah kluster ACK, misalnya, cn-hangzhou
   export REGION_ID=cn-hangzhou
   
   # Informasi tentang instans KMS yang diekspor 
   # Ganti dengan ID instans KMS Anda
   export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
   # Ganti dengan jalur ke file kredensial identitas aplikasi instans KMS Anda 
   export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
   # Ganti dengan jalur ke file token keamanan kredensial instans KMS Anda 
   export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
   # Ganti dengan jalur ke file sertifikat CA instans KMS Anda
   export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
   
   helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
     --version ${TRUSTEE_CHART_VERSION} \
     --set regionId=${REGION_ID} \
     --set kbs.aliyunKms.enabled=true \
     --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
     --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
     --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
     --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
     --namespace ${DEPLOY_NAMESPACE}

   Catatan

   Perintah pertama untuk menginstal plugin (helm plugin install...) mungkin memerlukan waktu lama. Jika instalasi gagal, Anda dapat menjalankan perintah helm plugin uninstall cm-push untuk menghapus plugin, lalu jalankan perintah instalasi lagi.

   Berikut adalah contoh hasil yang dikembalikan:

   NAME: trustee
   LAST DEPLOYED: Tue Feb 25 18:55:33 2025
   NAMESPACE: default
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None

3. Jalankan perintah berikut di lingkungan yang terhubung ke kluster ACK Serverless untuk mendapatkan endpoint Trustee.

   export TRUSTEE_URL=http://$(kubectl get AlbConfig alb -o jsonpath='{.status.loadBalancer.dnsname}')/${DEPLOY_RELEASE_NAME}
   echo ${TRUSTEE_URL}

   Contoh hasil yang dikembalikan adalah http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/trustee.

4. Jalankan perintah berikut di lingkungan yang terhubung ke kluster ACK Serverless untuk menguji konektivitas layanan Trustee.

   cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
   {
       "version":"0.1.0",
       "tee": "tdx",
       "extra-params": "foo"
   }
   EOF

   Jika layanan Trustee berjalan normal, keluaran yang diharapkan adalah sebagai berikut:

   {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Buat rahasia untuk menyimpan kunci dekripsi model

Kunci dekripsi model yang dikelola oleh Trustee disimpan di KMS. Kunci hanya dapat diakses setelah layanan remote attestation memverifikasi lingkungan target.

Buka Konsol Layanan Manajemen Kunci. Di panel navigasi di sebelah kiri, pilih Resource > Secrets. Pada tab Generic Secrets, klik Create Generic Secret. Perhatikan konfigurasi utama berikut:

• Nama Rahasia: Masukkan nama kustom untuk rahasia. Nama ini digunakan sebagai indeks untuk kunci. Sebagai contoh, model-decryption-key.

• Setel Nilai Rahasia: Masukkan kunci yang digunakan untuk mengenkripsi model. Sebagai contoh, 0Bn4Q1wwY9fN3P. Gunakan kunci aktual Anda.

• Enkripsi CMK: Pilih kunci master yang Anda buat pada langkah sebelumnya.

1. Konfigurasikan izin akses ke OSS

Selama penerapan, instans perlu mengakses bucket OSS tempat teks sandi model disimpan dan mengakses Trustee untuk mendapatkan kunci dekripsi model. Oleh karena itu, Anda harus mengonfigurasi izin akses untuk instans ke layanan OSS dan Trustee.

1. Masuk ke Konsol OSS.

2. Klik Buckets, lalu klik nama bucket target.

3. Di panel navigasi di sebelah kiri, pilih Permission Control > Bucket Policy.

4. Pada tab Bucket Policy, klik Authorize. Di panel yang muncul, berikan izin Bucket ke alamat IP publik instans komputasi rahasia heterogen.

5. Klik OK.

2. Konfigurasikan izin akses ke Trustee

• Buka Konsol Application Load Balancer (ALB), pilih Access Control di sebelah kiri. Lalu klik Create ACL, dan tambahkan alamat IP atau blok CIDR yang perlu mengakses Trustee sebagai entri IP. Untuk informasi lebih lanjut, lihat Kontrol Akses.

  Anda harus menambahkan alamat atau rentang alamat berikut:

  • Alamat IP publik VPC yang terikat selama penerapan layanan heterogen.

  • Alamat IP keluar klien inferensi.

• Jalankan perintah berikut untuk mendapatkan ID instans ALB yang digunakan oleh instans Trustee di kluster.

  kubectl get ing --namespace ${DEPLOY_NAMESPACE} kbs-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

  Keluaran yang diharapkan adalah sebagai berikut:

  alb-llcdzbw0qivhk0****

• Di panel navigasi di sebelah kiri Konsol ALB, pilih ALB > Instances. Di wilayah tempat kluster berada, cari instans ALB yang Anda dapatkan pada langkah sebelumnya dan klik ID instans untuk pergi ke halaman detail instans. Di bagian bawah halaman, di area Instance Information, klik Disable Configuration Read-only Mode.

• Beralih ke tab Listener, klik Aktifkan di kolom Kontrol Akses instans pendengar target, dan konfigurasikan daftar putih dengan grup kebijakan kontrol akses yang Anda buat pada langkah sebelumnya.

1. Persiapkan file konfigurasi

1. Hubungkan secara jarak jauh ke instans heterogen. Untuk informasi lebih lanjut, lihat Masuk ke Instans Linux Menggunakan Workbench.

2. Jalankan perintah berikut untuk membuka file konfigurasi ~/cai.env.

   vi ~/cai.env

3. Tekan tombol i untuk masuk ke mode sisipan dan tempelkan informasi konfigurasi yang telah disiapkan ke dalam file.

   # Konfigurasi untuk dekripsi model
   TRUSTEE_URL="http://alb-xxxxxxxxx.cn-beijing.alb.aliyuncsslb.com/xxxx/" # URL layanan Trustee
   MODEL_KEY_ID="kbs:///default/aliyun/model-decryption-key" # ID sumber daya kunci dekripsi model yang dikonfigurasi di Trustee. Sebagai contoh, ID untuk rahasia bernama model-decryption-key adalah kbs:///default/aliyun/model-decryption-key
   
   # Konfigurasi untuk distribusi model terenkripsi
   MODEL_OSS_BUCKET_PATH="<bucket-name>:<model-path>" # Jalur teks sandi model yang disimpan di Alibaba Cloud OSS. Sebagai contoh, conf-ai:/qwen3-32b-gocryptfs/
   MODEL_OSS_ENDPOINT="https://oss-cn-beijing-internal.aliyuncs.com" # URL OSS tempat teks sandi model disimpan
   # MODEL_OSS_ACCESS_KEY_ID="" # ID AccessKey yang digunakan untuk mengakses bucket OSS.
   # MODEL_OSS_SECRET_ACCESS_KEY="" # Rahasia AccessKey yang digunakan untuk mengakses bucket OSS.
   # MODEL_OSS_SESSION_TOKEN="" # Token sesi yang digunakan untuk mengakses bucket OSS. Ini hanya diperlukan jika Anda menggunakan kredensial STS untuk mengakses OSS.
   MODEL_ENCRYPTION_METHOD="gocryptfs" # Metode enkripsi yang digunakan. Nilai valid: "gocryptfs" dan "sam". Nilai default: "gocryptfs".
   MODEL_MOUNT_POINT=/tmp/model # Titik pemasangan untuk model teks biasa yang didekripsi. Layanan inferensi model dapat memuat model dari jalur ini.
   
   # Konfigurasi untuk enkripsi komunikasi layanan model besar
   MODEL_SERVICE_PORT=8080 # Port TCP yang digunakan oleh layanan. Komunikasi pada port ini dienkripsi secara transparan.
   
   # Konfigurasi untuk percepatan distribusi model P2P. Anda dapat mengabaikan ini secara default.
   TRUSTEE_POLICY="default"
   # MODEL_SHARING_PEER="172.30.24.146 172.30.24.144"

4. Masukkan :wq dan tekan Enter untuk menyimpan file dan keluar dari editor.

2. Terapkan layanan inferensi

1. Konfigurasikan izin akses untuk lingkungan klien ke instans komputasi rahasia heterogen dan Trustee

Dalam topik ini, lingkungan klien mengakses layanan inferensi yang diterapkan di instans komputasi rahasia heterogen melalui alamat IP publiknya. Oleh karena itu, Anda harus menambahkan aturan ke grup keamanan instans komputasi rahasia heterogen untuk mengizinkan akses dari lingkungan klien. Selain itu, selama proses pembentukan saluran aman dengan server, Trustee diperlukan untuk remote attestation instans komputasi rahasia heterogen. Oleh karena itu, Anda juga harus menambahkan alamat IP publik lingkungan klien ke daftar kontrol akses Trustee. Prosedurnya adalah sebagai berikut:

1. Tambahkan aturan ke grup keamanan instans komputasi rahasia heterogen untuk mengizinkan akses dari klien. Untuk informasi lebih lanjut, lihat Kelola Aturan Grup Keamanan.

2. Tambahkan alamat IP publik lingkungan klien ke kontrol akses Trustee.

   Anda sudah membuat grup kebijakan kontrol akses dan menambahkannya ke daftar putih di Langkah 4: Konfigurasikan Izin Akses untuk Instans Heterogen ke OSS dan Trustee. Oleh karena itu, Anda tidak perlu membuat yang baru. Anda dapat menambahkan alamat IP publik klien ke grup kebijakan kontrol akses yang ada.

2. Terapkan klien Trusted Network Gateway pada instans klien

Trusted Network Gateway (TNG) adalah komponen jaringan yang dirancang untuk skenario komputasi rahasia. Ini dapat bertindak sebagai proses daemon yang bertanggung jawab untuk membentuk saluran komunikasi aman dan secara transparan mengenkripsi serta mendekripsi lalu lintas jaringan ke dan dari instans rahasia untuk mencapai keamanan data ujung ke ujung. Ini juga memungkinkan Anda mengontrol proses enkripsi dan dekripsi lalu lintas secara fleksibel berdasarkan kebutuhan tanpa memodifikasi aplikasi yang ada.

1. Masuk ke Instans Linux Menggunakan Workbench.

2. Terapkan Klien Trusted Network Gateway.

   Terapkan menggunakan docker

   1. Instal Docker pada instans klien. Untuk informasi lebih lanjut, lihat Instal dan Gunakan Docker dan Docker Compose.

   2. Jalankan perintah berikut untuk menerapkan klien Trusted Network Gateway menggunakan Docker.

      Penting

      Anda harus memodifikasi nilai bidang as_addr menjadi ${trsutee_url}/as/ berdasarkan layanan Trustee yang sebelumnya Anda terapkan.

      docker run --rm \
          --network=host \
          confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.1 \
          tng launch --config-content '
              {
                  "add_ingress": [
                      {
                          "http_proxy": {
                              "proxy_listen": {
                                  "host": "127.0.0.1",
                                  "port": 41000
                              }
                          },
                          "verify": {
                              "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                              "policy_ids": [
                                  "default"
                              ]
                          }
                      }
                  ]
              }
          '

   Terapkan menggunakan file binari

   1. Kunjungi TNG · GitHub untuk mendapatkan alamat unduhan paket instalasi binari yang sesuai dengan arsitektur instans klien.

   2. Jalankan perintah berikut untuk mengunduh file binari klien Trusted Network Gateway. Contoh berikut menggunakan tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz. Ganti dengan nama file aktual.

      wget https://github.com/inclavare-containers/TNG/releases/download/v2.2.1/tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz

   3. Jalankan perintah berikut untuk mengekstrak file binari terkompresi yang diunduh dan memberikan izin eksekusi ke file tersebut.

      tar -zxvf tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz
      chmod +x tng

   4. Jalankan perintah berikut untuk menjalankan klien Trusted Network Gateway.

      Penting

      Anda harus memodifikasi nilai bidang as_addr menjadi ${trsutee_url}/as/ berdasarkan layanan Trustee yang sebelumnya Anda terapkan.

      ./tng launch --config-content '
              {
                  "add_ingress": [
                      {
                          "http_proxy": {
                              "proxy_listen": {
                                  "host": "127.0.0.1",
                                  "port": 41000
                              }
                          },
                          "verify": {
                              "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                              "policy_ids": [
                                  "default"
                              ]
                          }
                      }
                  ]
              }
          '

3. Konfigurasikan layanan proxy HTTP untuk proses pada instans klien

Setelah penerapan berhasil, klien Trusted Network Gateway berjalan di latar depan dan membuat layanan proxy HTTP berbasis protokol HTTP CONNECT di 127.0.0.1:41000. Saat Anda menghubungkan aplikasi ke proxy ini, lalu lintas dienkripsi oleh klien Trusted Network Gateway dan dikirim ke layanan vLLM melalui saluran tepercaya.

Anda dapat mengonfigurasi layanan proxy HTTP untuk proses pada instans klien dengan dua cara berikut.

export http_proxy=http://127.0.0.1:41000
export https_proxy=http://127.0.0.1:41000
export ftp_proxy=http://127.0.0.1:41000
export rsync_proxy=http://127.0.0.1:41000

export all_proxy=http://127.0.0.1:41000

4. Akses layanan inferensi dari instans klien

Anda dapat mengakses layanan inferensi di instans komputasi rahasia heterogen dengan menjalankan perintah curl di lingkungan klien.

1. Buka jendela terminal baru untuk instans klien.

2. Jalankan perintah berikut untuk mengakses layanan inferensi.

   Catatan

   • Anda harus mengganti <heterogeneous_confidential_computing_instance_public_IP> dalam perintah berikut dengan alamat IP publik instans komputasi rahasia heterogen yang Anda buat di Langkah 3: Buat Instans Komputasi Rahasia Heterogen.

   • Perintah berikut menetapkan variabel lingkungan all_proxy='http://127.0.0.1:41000/' sebelum perintah curl dijalankan. Ini memastikan bahwa permintaan yang dikirim oleh perintah curl dienkripsi oleh klien Trusted Network Gateway dan dikirim melalui saluran aman.

   env all_proxy='http://127.0.0.1:41000/' \
       curl http://<heterogeneous_confidential_computing_instance_public_IP>:8080/v1/completions \
           -X POST \
           -H "Content-Type: application/json" \
           -d '{"model": "Qwen3-32B", "prompt": "Apakah Anda tahu buku Traction oleh Gino Wickman", "temperature": 0.0, "best_of": 1, "max_tokens": 132, "stream": false}'

   Keluaran sampel berikut menunjukkan bahwa permintaan yang dikirim oleh klien menggunakan perintah curl dienkripsi oleh klien Trusted Network Gateway dan kemudian dikirim melalui saluran aman. Layanan model bahasa besar yang diterapkan di instans heterogen berhasil diakses.