Platform For AI：Layanan inferensi terenkripsi yang aman

1. Siapkan model (opsional)

Model Qwen2.5-3B-Instruct memerlukan Python 3.9 atau versi yang lebih baru. Untuk mengunduh model menggunakan tool ModelScope, jalankan perintah berikut di terminal.

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

Setelah berhasil, model akan diunduh ke ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/.

2. Enkripsi model

PAI-EAS mendukung dua metode enkripsi. Contoh ini menggunakan Sam.

• Gocryptfs: Mode enkripsi berbasis AES-256-GCM yang sesuai dengan standar open source Gocryptfs.

• Sam: Format enkripsi model AI tepercaya Alibaba Cloud yang melindungi kerahasiaan model dan mencegah konten lisensi dimanipulasi atau digunakan secara ilegal.

3. Unggah model

EAS mendukung berbagai backend penyimpanan untuk model terenkripsi. Model yang didekripsi dipasang ke instans layanan selama penerapan. Untuk informasi lebih lanjut, lihat Pasang penyimpanan.

Contoh ini menggunakan OSS. Buat bucket dan direktori (misalnya, oss://examplebucket/qwen-encrypted/). Lihat Mulai Cepat. Untuk file model besar, gunakan ossbrowser untuk mengunggah.

Gambar berikut menunjukkan hasil setelah mengunggah model terenkripsi Sam. Jika Anda menggunakan Gocryptfs, nama file akan tampak sebagai karakter acak terenkripsi.

4. Siapkan layanan remote attestation dan unggah kunci

Kunci dekripsi dikelola oleh layanan remote attestation, yang memverifikasi lingkungan runtime model dan layanan inferensi. Kunci hanya disuntikkan jika lingkungan EAS memenuhi kondisi kepercayaan yang diharapkan.

Terapkan layanan remote attestation Trustee di kluster ACK serverless. Gunakan Alibaba Cloud KMS untuk penyimpanan kunci yang aman.

1. Buat instans Alibaba Cloud KMS sebagai backend penyimpanan kunci.

   1. Buka konsol Key Management Service. Di panel kiri, pilih Resource > Instance Management. Pada tab Software Key Management, buat dan jalankan instance. Saat menjalankan instance, pilih VPC yang sama dengan kluster ACK. Untuk informasi selengkapnya, lihat Beli dan aktifkan instans KMS.

      Tunggu sekitar 10 menit hingga instans dimulai.

   2. Setelah instans dimulai, di panel kiri, pilih Resource > Key Management. Pada halaman Key Management, buat customer master key (CMK) untuk instans tersebut. Untuk informasi lebih lanjut, lihat Langkah 1: Buat kunci yang dilindungi perangkat lunak.

   3. Di panel kiri, pilih Application Access > Access Point. Pada halaman Access Point, buat titik akses aplikasi untuk instans tersebut. Atur Scope ke instans KMS yang telah dibuat. Untuk parameter lainnya, lihat Metode 1: Pembuatan cepat.

      Setelah titik akses aplikasi dibuat, browser secara otomatis mengunduh file ClientKey***.zip. Setelah mengekstrak file .zip tersebut, Anda akan menemukan file-file berikut:

      • Client Key content (ClientKeyContent): Nama file default adalah clientKey_****.json.

      • Credential password (ClientKeyPassword): Nama file default adalah clientKey_****_Password.txt.

   4. Pada halaman Resource > Instance Management, klik nama instans KMS. Di bagian Basic Information, klik Download di samping Instance CA Certificate untuk mengekspor file sertifikat kunci publik PrivateKmsCA_***.pem dari instans KMS.

2. Anda dapat membuat kluster ACK dan menginstal komponen csi-provisioner.

   1. Buka halaman Create Cluster untuk membuat kluster ACK serverless. Tabel berikut menjelaskan parameter utama. Untuk parameter lainnya, lihat Buat kluster ACK.

      1. Cluster Configurations: Konfigurasikan parameter berikut. Lalu, klik Next: Component Configurations.

         Konfigurasi utama	Deskripsi
         VPC	Pilih Use Existing dan pilih Configure SNAT For VPC. Jika tidak, Anda tidak dapat menarik image Trustee.
         VSwitch	Pastikan setidaknya dua virtual switch telah dibuat di VPC yang ada. Jika tidak, Anda tidak dapat mengekspos ALB Ingress publik.

      2. Component Configurations: Konfigurasikan parameter berikut. Lalu, klik Next: Confirm Configurations.

         Konfigurasi utama	Deskripsi
         Service Discovery	Pilih CoreDNS.
         Ingress	Pilih ALB Ingress. Untuk sumber instans gateway cloud-native ALB, pilih New dan pilih dua virtual switch.

      3. Confirm Configurations: Konfirmasi informasi konfigurasi dan ketentuan layanan. Lalu, klik Create Cluster.

   2. Setelah kluster dibuat, instal komponen csi-provisioner (Managed). Untuk informasi lebih lanjut, lihat Kelola komponen.

3. Terapkan layanan remote attestation Trustee di kluster ACK.

   1. Hubungkan ke kluster melalui Internet atau jaringan internal. Untuk informasi lebih lanjut, lihat Hubungkan ke kluster.

   2. Unggah kredensial identitas aplikasi instans KMS yang diunduh (clientKey_****.json), kata sandi kredensial (clientKey_****_Password.txt), dan sertifikat CA (PrivateKmsCA_***.pem) ke lingkungan yang terhubung ke kluster ACK serverless. Jalankan perintah berikut untuk menerapkan layanan remote attestation Trustee dan menggunakan Alibaba Cloud KMS sebagai backend penyimpanan kunci.

      # Instal plugin.
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.7.6
      
      # Tetapkan wilayah kluster ACK, misalnya cn-hangzhou.
      export REGION_ID=cn-hangzhou
      
      # Informasi tentang instans KMS yang diekspor. 
      # Ganti dengan ID instans KMS Anda.
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # Ganti dengan path ke kredensial identitas aplikasi instans KMS Anda. 
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # Ganti dengan path ke kata sandi kredensial instans KMS Anda. 
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # Ganti dengan path ke sertifikat CA instans KMS Anda.
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      Catatan

      Perintah pertama untuk menginstal plugin (helm plugin install...) mungkin memerlukan waktu lama untuk dijalankan. Jika instalasi gagal, Anda dapat menjalankan perintah helm plugin uninstall cm-push untuk menghapus plugin tersebut, lalu jalankan kembali perintah instalasi plugin.

      Contoh berikut menunjukkan output contoh:

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. Di lingkungan yang terhubung ke kluster ACK serverless, jalankan perintah berikut untuk mendapatkan endpoint Trustee.

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}')/api
      echo ${TRUSTEE_URL}

      Contoh output adalah http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/api.

   4. Di lingkungan yang terhubung ke kluster ACK serverless, jalankan perintah berikut untuk menguji konektivitas layanan Trustee.

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.4.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      Jika layanan Trustee berjalan normal, output yang diharapkan adalah sebagai berikut:

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Konfigurasikan daftar putih jaringan untuk Trustee.

   Catatan

   Konfigurasi ini memungkinkan lingkungan penerapan model PAI-EAS mengakses layanan remote attestation untuk pemeriksaan keamanan lingkungan.

   1. Buka Konsol Alibaba Cloud Application Load Balancer (ALB), buat grup kebijakan kontrol akses, dan tambahkan alamat IP atau Blok CIDR yang memiliki izin mengakses Trustee sebagai entri IP. Untuk informasi lebih lanjut, lihat Kontrol akses. Blok CIDR yang perlu ditambahkan adalah sebagai berikut:

      • Alamat IP publik VPC tempat layanan EAS diikat selama penerapan.

      • Alamat IP egress klien inferensi.

   2. Jalankan perintah berikut untuk mendapatkan ID instans Server Load Balancer (SLB) yang digunakan oleh instans Trustee di kluster.

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} frontend-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      Output yang diharapkan adalah sebagai berikut:

      alb-llcdzbw0qivhk0****

   3. Di panel navigasi kiri Konsol Alibaba Cloud ALB, pilih Application Load Balancer > Instances. Di wilayah tempat kluster berada, cari instans ALB yang Anda peroleh pada langkah sebelumnya dan klik ID instans untuk membuka halaman detail instans. Di bagian bawah halaman, pada bagian Instance Attributes, klik Disable Configuration Read-only Mode.

   4. Beralih ke tab Listeners. Di kolom kontrol akses listener target, klik **Enable** dan konfigurasikan daftar putih sebagai grup kebijakan kontrol akses yang Anda buat pada langkah sebelumnya.

5. Buat rahasia untuk menyimpan kunci dekripsi model.

   Kunci dekripsi model yang dikelola oleh Trustee disimpan di KMS. Kunci hanya dapat diakses setelah layanan remote attestation memverifikasi lingkungan target.

   Buka Konsol Key Management Service. Di panel kiri, pilih Resource > Secrets Manager. Pada tab Generic Secret, klik Create Secret. Tabel berikut menjelaskan parameter utama.

   • Secret Name: Nama rahasia kustom yang digunakan untuk mengindeks kunci. Contoh: model-decryption-key.

   • Set Secret Value: Kunci yang digunakan untuk mengenkripsi model. Contoh: `0Bn4Q1wwY9fN3P`. Gunakan kunci aktual Anda.

   • Encryption Master Key: Pilih kunci master yang telah Anda buat pada langkah sebelumnya.

6. Login ke antarmuka manajemen Trustee untuk melihat catatan historis akses kunci.

   1. Dapatkan alamat antarmuka manajemen frontend Trustee.

      kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}'

      Akses alamat tersebut di browser.

   2. Dapatkan kunci privat untuk login ke antarmuka manajemen frontend Trustee.

      kubectl get secret kbs-auth-keypair -o jsonpath="{.data.private\.key}" | base64 -d

      Tempelkan kunci tersebut ke antarmuka frontend untuk menyelesaikan proses login.

   3. Di Trustee Gateway Management Platform, klik Audit Log di panel navigasi kiri. Klik Resource Audit Interface di tengah halaman untuk melihat catatan historis akses kunci dekripsi model.