Platform For AI：安全加密推理服務

1.準備模型（可選）

以使用modelscope工具下載Qwen2.5-3B-Instruct模型為例（需要 Python 3.9 或更高版本），在終端中執行如下命令下載模型。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

成功執行命令後，模型將被下載到~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/目錄下。

2.模型加密

PAI-EAS支援如下兩種加密方式，本方案以Sam為例。

• Gocryptfs：基於AES256-GCM，符合開源Gocryptfs標準的加密模式。

• Sam：阿里雲可信AI模型加密格式，保護模型機密性和License內容不被篡改和非法使用。

3.上傳模型

EAS支援將加密模型儲存在多種儲存後端，並在部署服務時，通過掛載的方式將解密後的模型載入到服務執行個體中。更多資訊請參考儲存掛載。

以Object Storage Service為例，參考控制台快速入門建立一個儲存空間（Bucket）和一個名為qwen-encrypted的目錄（例如oss://examplebucket/qwen-encrypted/）。因模型檔案較大，推薦使用ossbrowser將加密模型上傳到該目錄。

以Sam加密為例，密文模型上傳後的結果如下圖所示。若採用Gocryptfs加密方式，模型檔案的檔案名稱將全部變成加密後的亂碼。

4.搭建遠程證明服務和上傳密鑰

將用於解密模型的密鑰託管在遠程證明服務中。遠程證明服務是使用者管理的驗證服務，負責對模型和推理服務的運行環境做驗證。只有當確認EAS模型部署環境的可信度符合預期條件時，才會注入模型解密密鑰實現模型解密掛載。

目前，EAS支援阿里雲託管的自建Trustee遠程證明服務。您可以使用阿里雲ACK Serverless來部署遠程證明服務，對模型部署環境和推理環境進行驗證。同時，利用阿里雲KMS為模型解密密鑰提供專業的安全保障。具體操作步驟如下：

1. 首先建立一個阿里雲KMS執行個體作為金鑰儲存區後端。

   1. 前往Key Management Service控制台，在左側導覽列選擇資源 > 執行個體管理，然後在軟體密鑰管理頁簽建立並啟動執行個體。在啟動執行個體時，請選擇與ACK叢集相同的專用網路。具體操作，請參見購買和啟用KMS執行個體。

      等待大約10分鐘，即可啟動完畢。

   2. 執行個體啟動完成後，在左側導覽列選擇資源 > 密鑰管理，然後在密鑰管理頁面為該執行個體建立一個使用者主要金鑰。具體操作，請參見步驟一：建立軟體密鑰。

   3. 在左側導覽列選擇應用接入 > 存取點，然後在存取點頁面為該執行個體建立應用存取點。其中範圍選擇已建立的KMS執行個體。更多配置說明，請參見方式一：快速建立。

      應用存取點建立成功後，瀏覽器會自動下載ClientKey***.zip檔案，該zip檔案解壓後包含：

      • 應用身份憑證內容（ClientKeyContent）：檔案名稱預設為clientKey_****.json。

      • 憑證口令（ClientKeyPassword）：檔案名稱預設為clientKey_****_Password.txt。

   4. 在資源 > 執行個體管理頁面，單擊KMS執行個體名稱，然後在基礎資訊地區，單擊執行個體CA認證後的下載，匯出KMS執行個體的密鑰憑證檔案PrivateKmsCA_***.pem。

2. 建立ACK服務叢集並安裝csi-provisioner組件。

   1. 前往建立叢集頁面，建立ACK Serverless叢集，其中關鍵參數配置說明如下，更多配置說明，請參見建立叢集。

      1. 叢集配置：配置以下參數，完成後單擊下一步：組件配置。

         關鍵配置	描述
         專用網路	選擇使用已有，並勾選為專用網路配置SNAT，否則無法拉取Trustee鏡像。
         交換器	請確保在已有專用網路中建立至少兩個虛擬交換器，否則無法暴露公網ALB。

      2. 組件配置：配置以下參數，完成後單擊下一步：確認配置。

         關鍵配置	描述
         服務發現	選擇CoreNDS。
         Ingress	選擇ALB Ingress，ALB雲原生網關執行個體來源選擇建立，並選擇兩個虛擬交換器。

      3. 確認配置：確認配置資訊和使用須知，然後單擊建立叢集。

   2. 叢集建立成功後，安裝csi-provisioner（託管）組件。具體操作，請參見管理組件。

3. 在ACK叢集中部署Trustee遠程證明服務。

   1. 首先通過公網或內網串連叢集。具體操作，請參見串連叢集。

   2. 將已下載的KMS執行個體的應用身份憑證（clientKey_****.json）、憑證口令（clientKey_****_Password.txt）和CA認證（PrivateKmsCA_***.pem），上傳到串連ACK Serverless叢集的環境中，並執行以下命令部署Trustee遠程證明服務，使用阿里雲KMS作為金鑰儲存區後端。

      # 安裝外掛程式
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.0.0
      
      # 設定ACK叢集所在的地區資訊，比如cn-hangzhou
      export REGION_ID=cn-hangzhou
      
      # 剛才匯出的KMS執行個體相關資訊 
      # 替換為您的KMS執行個體ID
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # 替換為您的KMS執行個體應用身份憑證所在路徑 
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # 替換為您的KMS執行個體憑證口令所在路徑 
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # 替換為您的KMS執行個體CA認證所在路徑
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      說明

      執行代碼中第一條安裝外掛程式命令（helm plugin install...）可能需要較長時間。如果安裝失敗，可以先通過helm plugin uninstall cm-push命令卸載該外掛程式，然後重新執行外掛程式安裝命令。

      返回結果樣本為：

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. 在串連ACK Serverless叢集的環境中執行如下命令，來擷取Trustee的訪問地址。

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb -o jsonpath='{.status.loadBalancer.dnsname}')/${DEPLOY_RELEASE_NAME}
      echo ${TRUSTEE_URL}

      返回結果樣本為http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/trustee。

   4. 在串連ACK Serverless叢集的環境中執行以下命令，測試Trustee服務的連通性。

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.1.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      若Trustee服務運行狀態正常，預期輸出如下：

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. 配置Trustee網路白名單。

   說明

   本項配置的目的是允許PAI-EAS模型部署環境主動訪問遠程證明服務，進行環境安全性檢查。

   1. 前往阿里雲ALB負載平衡控制台，建立存取控制策略組，並將訪問Trustee許可權的地址/位址區段添加為IP條目。具體操作，請參見存取控制。其中，需要添加的位址區段如下：

      • 部署EAS服務時綁定的專用網路的公網IP地址。

      • 推理用戶端的出口IP地址。

   2. 使用如下命令獲得叢集上Trustee執行個體使用的ALBServer Load Balancer執行個體ID。

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} kbs-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      預期輸出如下結果：

      alb-llcdzbw0qivhk0****

   3. 在阿里雲ALB負載平衡控制台左側導覽列，選擇應用型負載平衡ALB > 執行個體，在叢集所在地區下搜尋上一步獲得的ALB執行個體，並單擊執行個體ID進入執行個體詳情頁面。然後在頁面最下方執行個體屬性地區，單擊關閉配置修改保護。

   4. 切換到監聽頁面，單擊目標監聽執行個體存取控制列下的啟用，並配置白名單為上述步驟建立的存取控制策略組。

5. 建立憑據來儲存模型解密密鑰。

   Trustee託管的模型解密密鑰實際上儲存在KMS中，只有在遠程證明服務驗證目標環境後，密鑰才能被訪問。

   前往Key Management Service控制台，在左側導覽列選擇資源 > 憑據管理，然後在通用憑據頁簽，單擊建立憑據。其中關鍵配置說明如下：

   • 憑據名稱：自訂憑據名稱，用於索引該密鑰，例如model-decryption-key。

   • 設定憑據值：填寫加密模型時使用的密鑰。例如0Bn4Q1wwY9fN3P，您的密鑰以實際為準。

   • 加密主要金鑰：選擇上述步驟建立的主要金鑰。