Platform For AI:Layanan inferensi rahasia

1. Siapkan model (opsional)

Gunakan ModelScope untuk mengunduh model Qwen2.5-3B-Instruct. Diperlukan Python 3.9 atau versi yang lebih baru.

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

Model diunduh ke direktori ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/.

2. Enkripsi model

Tersedia dua metode enkripsi. Contoh ini menggunakan Sam.

• Gocryptfs: Enkripsi AES-256-GCM yang kompatibel dengan standar open source Gocryptfs.

• Sam: Format enkripsi model AI tepercaya Alibaba Cloud yang mencegah penggunaan tidak sah dan perubahan lisensi.

3. Unggah model

Berbagai backend penyimpanan didukung untuk model terenkripsi. EAS memasang model yang telah didekripsi ke instans layanan selama penerapan. Untuk informasi lebih lanjut, lihat Pasang penyimpanan.

Contoh ini menggunakan Object Storage Service (OSS). Ikuti petunjuk di Panduan cepat Konsol untuk membuat bucket dan direktori bernama qwen-encrypted, misalnya oss://examplebucket/qwen-encrypted/. Untuk file model besar, gunakan ossbrowser untuk mengunggah model terenkripsi ke direktori tersebut.

Contoh model terenkripsi Sam setelah diunggah ditampilkan di bawah ini. Dengan Gocryptfs, nama file juga dienkripsi dan tampak sebagai teks acak.

4. Siapkan layanan attestation dan unggah kunci

Layanan attestation jarak jauh menyimpan kunci dekripsi dan hanya melepaskannya setelah lingkungan penerapan EAS lulus verifikasi kepercayaan.

Terapkan layanan attestation jarak jauh Trustee yang dikelola sendiri di ACK Serverless. Gunakan KMS untuk menyimpan kunci dekripsi secara aman.

1. Buat instans KMS sebagai backend penyimpanan kunci.

   1. Buka Konsol KMS. Di panel navigasi kiri, pilih Resource > Instances. Di tab Software Key Management, buat dan aktifkan instans. Saat mengaktifkan instans, pilih Virtual Private Cloud (VPC) yang sama dengan kluster ACK. Untuk informasi lebih lanjut, lihat Beli dan aktifkan instans KMS.

      Aktivasi memerlukan waktu sekitar 10 menit.

   2. Setelah instans diaktifkan, di panel navigasi kiri, pilih Resource > Keys. Di halaman Keys, buat customer master key (CMK) untuk instans tersebut. Untuk informasi lebih lanjut, lihat Langkah 1: Buat kunci software.

   3. Di panel navigasi kiri, pilih Application Access > Multi-Cloud Access (formerly AAP). Di tab Application Access, buat titik akses aplikasi untuk instans tersebut. Untuk Scope, pilih instans KMS yang telah Anda buat. Untuk detail konfigurasi lainnya, lihat Metode 1: Pembuatan cepat.

      Setelah titik akses aplikasi dibuat, browser Anda secara otomatis mengunduh file ClientKey*.zip. File ini berisi:

      • Credential (ClientKeyContent): Nama file default adalah clientKey_****.json.

      • Credential Password (ClientKeyPassword): Nama file default adalah clientKey_****_Password.txt.

   4. Buka halaman Resource > Instances dan klik nama instans KMS. Di halaman Details, klik Instance CA Certificate di samping tombol Download untuk mengekspor file sertifikat kunci publik PrivateKmsCA_***.pem.

2. Buat kluster ACK Serverless dan instal komponen csi-provisioner.

   1. Buka halaman Create cluster untuk membuat kluster ACK Serverless. Untuk informasi lebih lanjut, lihat Buat kluster. Parameter utama:

      1. Cluster configurations: Konfigurasikan parameter berikut dan klik Next: Component configurations.

         Parameter	Deskripsi
         VPC	Pilih Use Existing dan centang kotak Configure SNAT for VPC. Ini diperlukan untuk menarik image Trustee.
         vSwitch	Pastikan terdapat minimal dua vSwitch di VPC. Jika tidak, ALB yang menghadap publik tidak dapat diekspos.

      2. Component configurations: Konfigurasikan parameter berikut dan klik Next: Confirm configuration.

         Parameter	Deskripsi
         Service Discovery	Pilih CoreDNS.
         Ingress	Pilih ALB Ingress. Untuk sumber instans gerbang cloud-native ALB, pilih New, dan pilih dua vSwitch.

      3. Confirm configuration: Konfirmasi informasi konfigurasi dan ketentuan layanan, lalu klik Create Kubernetes Cluster.

   2. Setelah kluster dibuat, instal komponen csi-provisioner (Managed). Untuk informasi lebih lanjut, lihat Kelola komponen.

3. Terapkan layanan attestation jarak jauh Trustee di kluster ACK.

   1. Hubungkan ke kluster melalui jaringan publik atau jaringan internal. Untuk informasi lebih lanjut, lihat Hubungkan ke kluster.

   2. Unggah kredensial identitas aplikasi KMS yang telah diunduh (clientKey_****.json), kata sandi kredensial (clientKey_****_Password.txt), dan sertifikat CA (PrivateKmsCA_***.pem) ke lingkungan yang terhubung ke kluster ACK Serverless Alibaba Cloud. Lalu, jalankan perintah berikut untuk menerapkan layanan attestation jarak jauh Trustee dengan Alibaba Cloud KMS sebagai backend penyimpanan kunci.

      # Instal plugin
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.7.6
      
      # Tetapkan wilayah kluster ACK, misalnya cn-hangzhou
      export REGION_ID=cn-hangzhou
      
      # Informasi tentang instans KMS yang telah Anda ekspor
      # Ganti dengan ID instans KMS Anda
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # Ganti dengan jalur ke kredensial identitas aplikasi instans KMS Anda
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # Ganti dengan jalur ke kata sandi kredensial instans KMS Anda
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # Ganti dengan jalur ke sertifikat CA instans KMS Anda
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      Catatan

      helm plugin install... mungkin memerlukan waktu lama. Jika gagal, jalankan helm plugin uninstall cm-push untuk menghapus plugin, lalu coba lagi.

      Contoh output:

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. Dapatkan titik akhir layanan Trustee.

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}')/api
      echo ${TRUSTEE_URL}

      Contoh output: http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/api.

   4. Uji konektivitas layanan Trustee.

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.4.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      Koneksi yang berhasil mengembalikan output serupa:

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Konfigurasikan daftar putih jaringan untuk Trustee.

   Catatan

   Ini memungkinkan lingkungan penerapan EAS mengakses Trustee.

   1. Buka Konsol ALB, buat grup kebijakan kontrol akses, dan tambahkan alamat IP atau rentang alamat yang perlu mengakses Trustee. Untuk informasi lebih lanjut, lihat Kontrol akses. Tambahkan rentang alamat berikut:

      • Alamat IP publik VPC tempat layanan EAS diterapkan.

      • Alamat IP egress klien inferensi.

   2. Jalankan perintah berikut untuk mendapatkan ID instans ALB yang digunakan oleh instans Trustee.

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} frontend-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      Output yang diharapkan:

      alb-llcdzbw0qivhk0****

   3. Di panel navigasi kiri Konsol ALB, pilih ALB > Instances. Temukan instans ALB dari langkah sebelumnya di wilayah kluster Anda dan klik ID-nya untuk membuka halaman detail. Di bagian bawah halaman, pada bagian Instance Information, matikan Configuration Read-only Mode.

   4. Beralih ke tab Listener. Di kolom kontrol akses listener target, aktifkan kontrol akses dan atur daftar putih ke grup kebijakan kontrol akses yang telah Anda buat.

5. Buat rahasia untuk menyimpan kunci dekripsi model.

   Trustee menyimpan kunci dekripsi model di KMS. Kunci dilepaskan hanya setelah attestation berhasil.

   Buka Konsol KMS. Di panel navigasi kiri, pilih Resource > Secrets. Di tab Generic Secrets, klik Create Secret. Parameter utama dijelaskan di bawah ini:

   • Secret name: Nama kustom yang digunakan untuk mengindeks kunci, misalnya model-decryption-key.

   • Secret value: Masukkan kunci yang digunakan untuk mengenkripsi model. Misalnya, 0Bn4Q1wwY9fN3P. Gunakan kunci aktual Anda.

   • Encryption key: Pilih customer master key (CMK) yang telah Anda buat.

6. Login ke UI manajemen Trustee untuk melihat riwayat akses kunci.

   1. Dapatkan alamat UI manajemen antarmuka depan Trustee.

      kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}'

      Akses alamat tersebut di browser.

   2. Dapatkan kunci privat untuk login ke UI manajemen antarmuka depan Trustee.

      kubectl get secret kbs-auth-keypair -o jsonpath="{.data.private\.key}" | base64 -d

      Tempel kunci tersebut ke UI untuk login.

   3. Di Trustee Gateway Management Platform, klik Audit log di panel navigasi kiri. Lalu, klik Resource audit interface untuk melihat riwayat akses kunci dekripsi model.