Platform For AI:安全な暗号化推論サービス

1. モデルの準備 (任意)

Qwen2.5-3B-Instruct モデルには Python 3.9 以降が必要です。ModelScope ツールを使用してモデルをダウンロードするには、ターミナルで次のコマンドを実行します。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

成功すると、モデルは ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/ にダウンロードされます。

2. モデルの暗号化

PAI-EAS は 2 つの暗号化方式をサポートしています。この例では Sam を使用します。

• Gocryptfs：AES-256-GCM に基づく暗号化モードで、オープンソースの Gocryptfs 標準に準拠しています。

• Sam：Alibaba Cloud の信頼できる AI モデル暗号化フォーマットで、モデルの機密性を保護し、ライセンスコンテンツの改ざんや不正使用を防ぎます。

3. モデルのアップロード

EAS は、暗号化されたモデルに対してさまざまなストレージバックエンドをサポートしています。デプロイ中に、復号されたモデルをサービスインスタンスにマウントします。詳細については、「ストレージのマウント」をご参照ください。

この例では OSS を使用します。バケットとディレクトリ (例：oss://examplebucket/qwen-encrypted/) を作成します。「クイックスタート」をご参照ください。大規模なモデルファイルの場合は、ossbrowser を使用してアップロードします。

次の図は、Sam で暗号化されたモデルをアップロードした後の結果を示しています。Gocryptfs を使用する場合、ファイル名は暗号化された文字化けとして表示されます。

4. リモートアテステーションサービスの設定とキーのアップロード

復号鍵はリモートアテステーションサービスによって管理され、モデルと推論サービスのランタイム環境を検証します。キーは、EAS 環境が期待される信頼条件を満たした場合にのみ挿入されます。

Trustee リモートアテステーションサービスを ACK サーバーレスクラスターにデプロイします。安全なキーストレージには Alibaba Cloud KMS を使用します。

1. キーストレージバックエンドとして Alibaba Cloud KMS インスタンスを作成します。

   1. Key Management Service コンソールに移動します。左側のペインで、リソース > インスタンス管理を選択します。[ソフトウェアキー管理] タブで、インスタンスを作成して起動します。インスタンスを起動する際は、ACK クラスターと同じ VPC を選択します。詳細については、「KMS インスタンスの購入と有効化」をご参照ください。

      インスタンスが起動するまで約 10 分待ちます。

   2. インスタンスが起動したら、左側のペインでリソース > キー管理を選択します。[キー管理] ページで、インスタンスのカスタマーマスターキー (CMK) を作成します。詳細については、「ステップ 1：ソフトウェア保護キーの作成」をご参照ください。

   3. 左側のペインで、アプリケーションアクセス > アクセスポイントを選択します。[アクセスポイント] ページで、インスタンスのアプリケーションアクセスポイントを作成します。[範囲] を作成した KMS インスタンスに設定します。その他のパラメーターについては、「方法 1：クイック作成」をご参照ください。

      アプリケーションアクセスポイントが作成されると、ブラウザは自動的に ClientKey***.zip ファイルをダウンロードします。.zip ファイルを解凍すると、次のファイルが含まれています。

      • クライアントキーコンテンツ (ClientKeyContent)：デフォルトのファイル名は clientKey_****.json です。

      • 認証情報パスワード (ClientKeyPassword)：デフォルトのファイル名は clientKey_****_Password.txt です。

   4. [リソース] > [インスタンス管理] ページで、KMS インスタンスの名前をクリックします。[基本情報] セクションで、[インスタンス CA 証明書] の横にある [ダウンロード] をクリックして、KMS インスタンスの公開鍵証明書ファイル PrivateKmsCA_***.pem をエクスポートします。

2. ACK クラスターを作成し、csi-provisioner コンポーネントをインストールできます。

   1. クラスターの作成ページに移動して、ACK サーバーレスクラスターを作成します。次の表に、主要なパラメーターを示します。その他のパラメーターについては、「ACK クラスターの作成」をご参照ください。

      1. クラスター構成：次のパラメーターを設定し、[次へ：コンポーネント構成] をクリックします。

         主要な構成	説明
         VPC	[既存のものを使用] を選択し、[VPC の SNAT を設定] を選択します。そうしないと、Trustee イメージをプルできません。
         VSwitch	既存の VPC に少なくとも 2 つの vSwitch が作成されていることを確認してください。そうしないと、パブリック ALB Ingress を公開できません。

      2. コンポーネント設定：以下のパラメーターを設定後、[次へ: 設定の確認] をクリックします。

         主要な設定	説明
         [サービスディスカバリー]	[CoreDNS] を選択します。
         [Ingress]	[ALB Ingress] を選択します。 ALB クラウドネイティブゲートウェイインスタンスのソースには、[新規作成] を選択し、2つの vSwitch を選択します。

      3. 構成の確認：構成情報と利用規約を確認します。次に、[クラスターの作成] をクリックします。

   2. クラスターが作成されたら、csi-provisioner (マネージド) コンポーネントをインストールします。詳細については、「コンポーネントの管理」をご参照ください。

3. ACK クラスターに Trustee リモートアテステーションサービスをデプロイします。

   1. インターネットまたは内部ネットワーク経由でクラスターに接続します。詳細については、「クラスターへの接続」をご参照ください。

   2. ダウンロードした KMS インスタンスアプリケーション ID 認証情報 (clientKey_****.json)、認証情報パスワード (clientKey_****_Password.txt)、および CA 証明書 (PrivateKmsCA_***.pem) を、ACK サーバーレスクラスターに接続されている環境にアップロードします。次のコマンドを実行して Trustee リモートアテステーションサービスをデプロイし、Alibaba Cloud KMS をキーストレージバックエンドとして使用します。

      # プラグインをインストールします。
      helm plugin install https://github.com/AliyunContainerService/helm-acr
      
      helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
      helm repo update
      
      export DEPLOY_RELEASE_NAME=trustee
      export DEPLOY_NAMESPACE=default
      export TRUSTEE_CHART_VERSION=1.7.6
      
      # ACK クラスターのリージョンを設定します。例：cn-hangzhou。
      export REGION_ID=cn-hangzhou
      
      # エクスポートされた KMS インスタンスに関する情報。
      # ご利用の KMS インスタンス ID に置き換えてください。
      export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
      # ご利用の KMS インスタンスアプリケーション ID 認証情報へのパスに置き換えてください。
      export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
      # ご利用の KMS インスタンス認証情報パスワードへのパスに置き換えてください。
      export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
      # ご利用の KMS インスタンス CA 証明書へのパスに置き換えてください。
      export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
      
      helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
        --version ${TRUSTEE_CHART_VERSION} \
        --set regionId=${REGION_ID} \
        --set kbs.aliyunKms.enabled=true \
        --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
        --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
        --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
        --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
        --namespace ${DEPLOY_NAMESPACE}

      説明

      プラグインをインストールする最初のコマンド (helm plugin install...) の実行には時間がかかる場合があります。インストールに失敗した場合は、helm plugin uninstall cm-push コマンドを実行してプラグインをアンインストールし、再度プラグインインストールコマンドを実行してください。

      次の例は、サンプル出力を示しています。

      NAME: trustee
      LAST DEPLOYED: Tue Feb 25 18:55:33 2025
      NAMESPACE: default
      STATUS: deployed
      REVISION: 1
      TEST SUITE: None

   3. ACK サーバーレスクラスターに接続されている環境で、次のコマンドを実行して Trustee のエンドポイントを取得します。

      export TRUSTEE_URL=http://$(kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}')/api
      echo ${TRUSTEE_URL}

      サンプル出力は http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/api です。

   4. ACK サーバーレスクラスターに接続されている環境で、次のコマンドを実行して Trustee サービスの接続性をテストします。

      cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
      {
          "version":"0.4.0",
          "tee": "tdx",
          "extra-params": "foo"
      }
      EOF

      Trustee サービスが正常に実行されている場合、期待される出力は次のとおりです。

      {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. Trustee のネットワークホワイトリストを設定します。

   説明

   この構成により、PAI-EAS モデルデプロイメント環境がリモートアテステーションサービスにアクセスして環境のセキュリティチェックを実行できるようになります。

   1. Alibaba Cloud Application Load Balancer (ALB) コンソールに移動し、アクセス制御ポリシーグループを作成し、Trustee へのアクセス権限を持つ IP アドレスまたは CIDR ブロックを IP エントリとして追加します。詳細については、「アクセスの制御」をご参照ください。追加する必要がある CIDR ブロックは次のとおりです。

      • デプロイ中に EAS サービスがバインドされる VPC のパブリック IP アドレス。

      • 推論クライアントの送信元 IP アドレス。

   2. 次のコマンドを実行して、クラスター上の Trustee インスタンスが使用する Server Load Balancer (SLB) インスタンスの ID を取得します。

      kubectl get ing --namespace ${DEPLOY_NAMESPACE} frontend-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

      期待される出力は次のとおりです。

      alb-llcdzbw0qivhk0****

   3. Alibaba Cloud ALB コンソールの左側にあるナビゲーションウィンドウで、[Application Load Balancer] > [インスタンス]を選択します。クラスターが配置されているリージョンで、前のステップで取得した ALB インスタンスを検索し、インスタンス ID をクリックしてインスタンス詳細ページに移動します。ページの下部にある [インスタンス属性] セクションで、[設定の読み取り専用モードを無効化] をクリックします。

   4. [リスナー] タブに切り替えます。対象のリスナーのアクセスの制御列で **[有効化]** をクリックして、前の手順で作成したアクセス制御ポリシーグループとしてホワイトリストを設定します。

5. モデル復号鍵を保存するためのシークレットを作成します。

   Trustee によって管理されるモデル復号鍵は KMS に保存されます。キーには、リモートアテステーションサービスがターゲット環境を検証した後にのみアクセスできます。

   Key Management Service コンソールに移動します。左側のペインで、[リソース] > [Secrets Manager] を選択します。[汎用シークレット] タブで、[シークレットの作成] をクリックします。次の表では、キーパラメーターについて説明します。

   • シークレット名：キーをインデックス付けするために使用されるカスタムシークレット名。例：model-decryption-key。

   • シークレット値の設定：モデルの暗号化に使用されるキー。例：`0Bn4Q1wwY9fN3P`。実際のキーを使用してください。

   • 暗号化マスターキー：前のステップで作成したマスターキーを選択します。

6. Trustee 管理インターフェイスにログインして、過去のキーアクセスレコードを表示します。

   1. Trustee フロントエンド管理インターフェイスのアドレスを取得します。

      kubectl get AlbConfig alb-$DEPLOY_RELEASE_NAME -o jsonpath='{.status.loadBalancer.dnsname}'

      ブラウザでアドレスにアクセスします。

   2. Trustee フロントエンド管理インターフェイスにログインするための秘密鍵を取得します。

      kubectl get secret kbs-auth-keypair -o jsonpath="{.data.private\.key}" | base64 -d

      キーをフロントエンドインターフェイスに貼り付けて、ログインを完了します。

   3. Trustee Gateway Management Platform で、左側のナビゲーションウィンドウの [監査ログ] をクリックします。ページの中央にある [リソース監査インターフェイス] をクリックして、モデル復号鍵アクセスの履歴レコードを表示します。