Platform For AI:コンフィデンシャル推論サービス

1. モデルの準備 (任意)

ModelScope を使用して Qwen2.5-3B-Instruct モデルをダウンロードします。Python 3.9 以降が必要です。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

モデルは ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/ ディレクトリにダウンロードされます。

2. モデルの暗号化

2 つの暗号化方式が利用可能です。この例では Sam を使用します。

• Gocryptfs：オープンソースの Gocryptfs 標準と互換性のある AES-256-GCM 暗号化。

• Sam：不正使用やライセンス改ざんを防止する Alibaba Cloud の信頼できる AI モデル暗号化フォーマット。

3. モデルのアップロード

暗号化されたモデルには、さまざまなストレージバックエンドがサポートされています。EAS は、デプロイ中に復号されたモデルをサービスインスタンスにマウントします。詳細については、「ストレージのマウント」をご参照ください。

この例では、OSS を使用します。「コンソールクイックスタート」の指示に従って、バケットと qwen-encrypted という名前のディレクトリを作成します。例：oss://examplebucket/qwen-encrypted/。大規模なモデルファイルの場合は、ossbrowser を使用して、暗号化されたモデルをディレクトリにアップロードします。

以下に、アップロードされた Sam で暗号化されたモデルを示します。Gocryptfs を使用すると、ファイル名も暗号化され、文字化けして表示されます。

4. 認証サービスの設定とキーのアップロード

リモート認証サービスは復号鍵をホストし、EAS のデプロイ環境が信頼性検証に合格した場合にのみ鍵を解放します。

自己管理型の Trustee リモート認証サービスを ACK Serverless にデプロイします。KMS を使用して復号鍵を安全に保存します。

1. キーストレージバックエンドとして KMS インスタンスを作成します。

   1. KMS コンソールに移動します。左側のナビゲーションウィンドウで、リソース > インスタンス管理を選択します。[ソフトウェアキー管理] タブで、インスタンスを作成して有効化します。インスタンスを有効化する際、ACK クラスターと同じ Virtual Private Cloud (VPC) を選択します。詳細については、「KMS インスタンスの購入と有効化」をご参照ください。

      有効化には約 10 分かかります。

   2. インスタンスが有効になった後、左側のナビゲーションウィンドウで、リソース > キー管理を選択します。[キー] ページで、インスタンス用のカスタマーマスターキー (CMK) を作成します。詳細については、「ステップ 1：ソフトウェアキーの作成」をご参照ください。

   3. 左側のナビゲーションウィンドウで、アプリケーションアクセス > マルチクラウドアクセス (元のアクセスポイント) を選択します。アプリケーションアクセス タブで、インスタンスのアプリケーションアクセスポイントを作成します。[スコープ] には、作成した KMS インスタンスを選択します。構成の詳細については、「方法 1: クイック作成」をご参照ください。

      アプリケーションアクセスポイントが作成されると、ブラウザが自動的に ClientKey*.zip ファイルをダウンロードします。このファイルには以下が含まれます：

      • Credential (ClientKeyContent)：デフォルトのファイル名は clientKey_****.json です。

      • 認証情報パスワード (ClientKeyPassword)：デフォルトのファイル名は clientKey_****_Password.txt です。

   4. リソース > インスタンス管理 ページに移動して、KMS インスタンスの名前をクリックします。Details ページで、ダウンロード の横にある Instance CA Certificate をクリックすると、公開鍵証明書ファイル PrivateKmsCA_***.pem がエクスポートされます。

2. ACK Serverless クラスターを作成し、csi-provisioner コンポーネントをインストールします。

   1. [クラスターの作成] ページに移動して、ACK Serverless クラスターを作成します。詳細については、「クラスターの作成」をご参照ください。主要なパラメーター：

      1. クラスター設定：以下のパラメーターを設定し、[次へ：コンポーネント設定] をクリックします。

         パラメーター	説明
         VPC	[既存を使用] を選択し、VPC 用の SNAT を自動的に設定するチェックボックスをオンにします。これは Trustee イメージをプルするために必要です。
         vSwitch	VPC 内に少なくとも 2 つの vSwitch が存在することを確認してください。そうでない場合、パブリック ALB を公開できません。

      2. コンポーネント設定：以下のパラメーターを設定し、[次へ：設定の確認] をクリックします。

         パラメーター	説明
         サービスディスカバリー	CoreDNS を選択します。
         Ingress	ALB Ingress を選択します。ALB クラウドネイティブゲートウェイインスタンスのソースには [新規] を選択し、2 つの vSwitch を選択します。

      3. 設定の確認：設定情報と利用規約を確認し、Kubernetes クラスターの作成をクリックします。

   2. クラスターが作成された後、csi-provisioner (マネージド) コンポーネントをインストールします。詳細については、「コンポーネントの管理」をご参照ください。

3. ACK クラスターに Trustee リモート認証サービスをデプロイします。

   1. パブリックネットワークまたは内部ネットワーク経由でクラスターに接続します。詳細については、「クラスターへの接続」をご参照ください。

   2. ダウンロードした KMS アプリケーション ID 認証情報 (clientKey_****.json)、認証情報パスワード (clientKey_****_Password.txt)、および CA 証明書 (PrivateKmsCA_***.pem) を Alibaba Cloud ACK Serverless クラスターに接続された環境にアップロードします。次に、以下のコマンドを実行して、Alibaba Cloud KMS をキーストレージバックエンドとして Trustee リモート認証サービスをデプロイします。

      # プラグインをインストール
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.7.6
      
      # ACK クラスターのリージョンを設定 (例：cn-hangzhou)
      export REGION_ID=cn-hangzhou
      
      # エクスポートした KMS インスタンスの情報
      # ご利用の KMS インスタンス ID に置き換えてください
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # ご利用の KMS インスタンスのアプリケーション ID 認証情報へのパスに置き換えてください
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # ご利用の KMS インスタンスの認証情報パスワードへのパスに置き換えてください
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # ご利用の KMS インスタンスの CA 証明書へのパスに置き換えてください
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      説明

      helm plugin install... の実行には時間がかかる場合があります。失敗した場合は、helm plugin uninstall cm-push を実行してプラグインをアンインストールしてから、再試行してください。

      出力例：

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. Trustee サービスエンドポイントを取得します。

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}')/api
      echo ${TRUSTEE_URL}

      出力例：http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/api。

   4. Trustee サービスの接続性をテストします。

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.4.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      接続が成功すると、次のような出力が返されます。

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Trustee のネットワークホワイトリストを設定します。

   説明

   これにより、EAS のデプロイ環境が Trustee にアクセスできるようになります。

   1. ALB コンソールに移動し、アクセス制御ポリシーグループを作成し、Trustee へのアクセスが必要な IP アドレスまたはアドレス範囲を追加します。詳細については、「アクセス制御」をご参照ください。次のアドレス範囲を追加します。

      • EAS サービスがデプロイされている VPC のパブリック IP アドレス。

      • 推論クライアントの送信元 IP アドレス。

   2. 次のコマンドを実行して、Trustee インスタンスが使用する ALB インスタンス ID を取得します。

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} frontend-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      期待される出力：

      alb-llcdzbw0qivhk0****

   3. ALB コンソールの左側のナビゲーションウィンドウで、ALB > インスタンスを選択します。クラスターのリージョンで前のステップの ALB インスタンスを見つけ、その ID をクリックして詳細ページに移動します。ページの下部にあるインスタンスプロパティ セクションで、設定変更保護モード をオフにします。

   4. リスナータブに切り替えます。ターゲットリスナーのアクセス制御列で、アクセス制御を有効にし、ホワイトリストを作成したアクセス制御ポリシーグループに設定します。

5. モデルの復号鍵を保存するためのシークレットを作成します。

   Trustee はモデルの復号鍵を KMS に保存します。鍵は認証が成功した後にのみ解放されます。

   KMS コンソールに移動します。左側のナビゲーションウィンドウで、リソース > 資格情報管理を選択します。Generic Secretsタブで、資格情報の作成をクリックします。主要なパラメーターは以下の通りです：

   • シークレット名：キーをインデックスするためのカスタム名。例：model-decryption-key。

   • シークレット値：モデルの暗号化に使用したキーを入力します。例：0Bn4Q1wwY9fN3P。実際のキーを使用してください。

   • 暗号鍵：作成した CMK を選択します。

6. Trustee 管理 UI にログインして、キーのアクセス履歴を表示します。

   1. Trustee フロントエンド管理 UI のアドレスを取得します。

      kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}'

      ブラウザでアドレスにアクセスします。

   2. Trustee フロントエンド管理 UI にログインするための秘密鍵を取得します。

      kubectl get secret kbs-auth-keypair -o jsonpath="{.data.private\.key}" | base64 -d

      UI にキーを貼り付けてログインします。

   3. Trustee Gateway 管理プラットフォームで、左側のナビゲーションウィンドウの [監査ログ] をクリックします。次に、[リソース監査インターフェイス] をクリックして、モデルの復号鍵のアクセス履歴を表示します。