Elastic GPU Service:ヘテロジニアス機密コンピューティングインスタンス上に安全な LLM 推論環境を構築する

1. モデルをダウンロードする

モデルをクラウドにデプロイする前に、モデルを暗号化してクラウドストレージにアップロードする必要があります。モデルの復号鍵は、リモートアテステーションサービスによって制御される KMS によって管理されます。モデルの暗号化は、ローカルまたは信頼できる環境で実行する必要があります。次の例では、Qwen2.5-3B-Instruct 大規模モデルをデプロイする方法を示します。

この例では、modelscope ツールを使用して Qwen2.5-3B-Instruct モデルをダウンロードします。これには Python 3.9 以降が必要です。ターミナルで次のコマンドを実行して、モデルをダウンロードできます。

pip3 install modelscope importlib-metadata
modelscope download --model Qwen/Qwen2.5-3B-Instruct

コマンドが正常に実行されると、モデルは ~/.cache/modelscope/hub/models/Qwen/Qwen2.5-3B-Instruct/ ディレクトリにダウンロードされます。

2. モデルを暗号化する

次の 2 つの暗号化方式がサポートされています。このトピックでは、Gocryptfs を例として使用します。

• Gocryptfs: オープンソースの Gocryptfs 標準に準拠した AES-256-GCM ベースの暗号化パターンです。

• Sam: Alibaba Cloud の信頼できる AI モデル暗号化フォーマットです。モデルの機密性を保護し、ライセンスコンテンツが改ざんされたり、不正に使用されたりするのを防ぎます。

3. モデルをアップロードする

ヘテロジニアスインスタンスをデプロイするのと同じリージョンに OSS バケットを準備します。暗号化されたモデルを Alibaba Cloud OSS にアップロードします。これにより、後でヘテロジニアスインスタンスからモデルをプルしてデプロイできます。

OSS を例にとると、バケットと qwen-encrypted という名前のディレクトリを作成できます。たとえば、oss://examplebucket/qwen-encrypted/ です。詳細については、「コンソールのクイックスタート」をご参照ください。モデルファイルは大きいため、ossbrowser を使用して暗号化されたモデルをこのディレクトリにアップロードすることをお勧めします。

1. キーストレージバックエンドとして Alibaba Cloud KMS インスタンスを作成する

1. Key Management Service コンソールに移動します。左側のナビゲーションウィンドウで、[リソース] > [インスタンス管理] を選択します。[ソフトウェアキー管理] タブで、インスタンスを作成して有効にします。インスタンスを有効にするときは、ACK クラスターと同じ VPC を選択します。詳細については、「KMS インスタンスの購入と有効化」をご参照ください。

   インスタンスが起動するまで約 10 分待ちます。

2. インスタンスが起動したら、左側のナビゲーションウィンドウで [リソース] > [キー管理] を選択します。[キー管理] ページで、インスタンスのカスタマーマスターキーを作成します。詳細については、「ステップ 1: ソフトウェアで保護されたキーを作成する」をご参照ください。

3. 左側のナビゲーションウィンドウで、[アプリケーションアクセス] > [アクセスポイント] を選択します。[アクセスポイント] ページで、インスタンスのアプリケーションアクセスポイントを作成します。[スコープ] を作成した KMS インスタンスに設定します。その他の設定については、「方法 1: クイック作成」をご参照ください。

   アプリケーションアクセスポイントが作成されると、ブラウザは自動的に ClientKey***.zip ファイルをダウンロードします。zip ファイルを解凍すると、次のものが含まれます。

   • アプリケーション ID 資格情報コンテンツ (ClientKeyContent): ファイル名はデフォルトで clientKey_****.json です。

   • 資格情報セキュリティトークン (ClientKeyPassword): ファイル名はデフォルトで clientKey_****_Password.txt です。

4. [リソース] > [インスタンス管理] ページで、KMS インスタンス名をクリックします。[基本情報] エリアで、[インスタンス CA 証明書] の横にある [ダウンロード] をクリックして、KMS インスタンスの公開鍵証明書ファイル PrivateKmsCA_***.pem をエクスポートします。

2. ACK サービスクラスターを作成し、csi-provisioner コンポーネントをインストールする

1. クラスターの作成ページに移動して、ACK Serverless クラスターを作成します。主要なパラメーター設定を以下に示します。その他の設定については、「クラスターの作成」をご参照ください。

   1. クラスター設定: 次のパラメーターを設定し、[次へ: コンポーネント設定] をクリックします。

      主要な設定	説明
      VPC	[既存の VPC を使用] を選択し、[VPC の SNAT を設定] を選択します。そうしないと、Trustee イメージをプルできません。
      VSwitch	既存の VPC に少なくとも 2 つの vSwitch が作成されていることを確認してください。そうしないと、パブリック ALB を公開できません。

   2. コンポーネント設定: 次のパラメーターを設定し、[次へ: 注文の確認] をクリックします。

      主要な設定	説明
      サービスディスカバリ	[CoreDNS] を選択します。
      Ingress	[ALB Ingress] を選択します。ALB クラウドネイティブゲートウェイインスタンスのソースについては、[作成] を選択し、2 つの vSwitch を選択します。

   3. 注文の確認: 設定情報と利用規約を確認し、[クラスターの作成] をクリックします。

2. クラスターが作成されたら、csi-provisioner (マネージド) コンポーネントをインストールします。詳細については、「コンポーネントの管理」をご参照ください。

3. ACK クラスターに Trustee リモートアテステーションサービスをデプロイする

1. まず、インターネットまたは内部ネットワーク経由でクラスターに接続します。詳細については、「クラスターへの接続」をご参照ください。

2. ダウンロードしたアプリケーション ID 資格情報 (clientKey_****.json)、資格情報セキュリティトークン (clientKey_****_Password.txt)、および KMS インスタンスの CA 証明書 (PrivateKmsCA_***.pem) を ACK Serverless クラスターに接続されている環境にアップロードします。次に、次のコマンドを実行して Trustee リモートアテステーションサービスをデプロイし、Alibaba Cloud KMS をキーストレージバックエンドとして使用します。

   # プラグインをインストールします
   helm plugin install https://github.com/AliyunContainerService/helm-acr
   
   helm repo add trustee acr://trustee-chart.cn-hangzhou.cr.aliyuncs.com/trustee/trustee
   helm repo update
   
   export DEPLOY_RELEASE_NAME=trustee
   export DEPLOY_NAMESPACE=default
   export TRUSTEE_CHART_VERSION=1.0.0
   
   # ACK クラスターのリージョン情報を設定します。例: cn-hangzhou
   export REGION_ID=cn-hangzhou
   
   # エクスポートされた KMS インスタンスに関する情報
   # KMS インスタンス ID に置き換えます
   export KMS_INSTANCE_ID=kst-hzz66a0*******e16pckc
   # KMS インスタンスアプリケーション ID 資格情報へのパスに置き換えます
   export KMS_CLIENT_KEY_FILE=/path/to/clientKey_KAAP.***.json
   # KMS インスタンス資格情報セキュリティトークンへのパスに置き換えます
   export KMS_PASSWORD_FILE=/path/to/clientKey_KAAP.***_Password.txt
   # KMS インスタンス CA 証明書へのパスに置き換えます
   export KMS_CERT_FILE=/path/to/PrivateKmsCA_kst-***.pem
   
   helm install ${DEPLOY_RELEASE_NAME} trustee/trustee \
     --version ${TRUSTEE_CHART_VERSION} \
     --set regionId=${REGION_ID} \
     --set kbs.aliyunKms.enabled=true \
     --set kbs.aliyunKms.kmsIntanceId=${KMS_INSTANCE_ID} \
     --set-file kbs.aliyunKms.clientKey=${KMS_CLIENT_KEY_FILE} \
     --set-file kbs.aliyunKms.password=${KMS_PASSWORD_FILE} \
     --set-file kbs.aliyunKms.certPem=${KMS_CERT_FILE} \
     --namespace ${DEPLOY_NAMESPACE}

   説明

   プラグインをインストールする最初のコマンド (helm plugin install...) は時間がかかる場合があります。インストールに失敗した場合は、helm plugin uninstall cm-push コマンドを実行してプラグインをアンインストールし、再度インストールコマンドを実行してください。

   返される結果の例を次に示します。

   NAME: trustee
   LAST DEPLOYED: Tue Feb 25 18:55:33 2025
   NAMESPACE: default
   STATUS: deployed
   REVISION: 1
   TEST SUITE: None

3. ACK Serverless クラスターに接続されている環境で次のコマンドを実行して、Trustee のエンドポイントを取得します。

   export TRUSTEE_URL=http://$(kubectl get AlbConfig alb -o jsonpath='{.status.loadBalancer.dnsname}')/${DEPLOY_RELEASE_NAME}
   echo ${TRUSTEE_URL}

   返される結果の例は http://alb-ppams74szbwg2f****.cn-shanghai.alb.aliyuncsslb.com/trustee です。

4. ACK Serverless クラスターに接続されている環境で次のコマンドを実行して、Trustee サービスの接続性をテストします。

   cat << EOF | curl -k -X POST ${TRUSTEE_URL}/kbs/v0/auth -H 'Content-Type: application/json' -d @-
   {
       "version":"0.1.0",
       "tee": "tdx",
       "extra-params": "foo"
   }
   EOF

   Trustee サービスが正常に実行されている場合、期待される出力は次のとおりです。

   {"nonce":"PIDUjUxQdBMIXz***********IEysXFfUKgSwk=","extra-params":""}

4. モデルの復号鍵を保存するためのシークレットを作成する

Trustee によって管理されるモデルの復号鍵は KMS に保存されます。キーには、リモートアテステーションサービスがターゲット環境を検証した後にのみアクセスできます。

Key Management Service コンソールに移動します。左側のナビゲーションウィンドウで、[リソース] > [シークレット] を選択します。[汎用シークレット] タブで、[汎用シークレットの作成] をクリックします。次の主要な設定に注意してください。

• シークレット名: シークレットのカスタム名を入力します。この名前はキーのインデックスとして使用されます。たとえば、model-decryption-key です。

• シークレット値の設定: モデルの暗号化に使用したキーを入力します。たとえば、0Bn4Q1wwY9fN3P です。実際のキーを使用してください。

• 暗号化 CMK: 前のステップで作成したマスターキーを選択します。

1. OSS へのアクセス権限を設定する

デプロイ中、インスタンスはモデルの暗号文を保存する OSS バケットにアクセスし、Trustee にアクセスしてモデルの復号鍵を取得する必要があります。したがって、インスタンスの OSS および Trustee サービスへのアクセス権限を設定する必要があります。

1. OSS コンソールにログオンします。

2. [バケット] をクリックし、ターゲットバケット名をクリックします。

3. 左側のナビゲーションウィンドウで、[権限コントロール] > [バケットポリシー] を選択します。

4. [バケットポリシー] タブで、[承認] をクリックします。表示されるパネルで、ヘテロジニアス機密コンピューティングインスタンスのパブリック IP アドレスに Bucket 権限を付与します。

5. [OK] をクリックします。

2. Trustee へのアクセス権限を設定する

• Application Load Balancer (ALB) コンソールに移動し、左側の [アクセス制御] を選択します。次に [ACL の作成] をクリックし、Trustee にアクセスする必要がある IP アドレスまたは CIDR ブロックを IP エントリとして追加します。詳細については、「アクセス制御」をご参照ください。

  次のアドレスまたはアドレス範囲を追加する必要があります。

  • ヘテロジニアスサービスデプロイ中にバインドされた VPC のパブリック IP アドレス。

  • 推論クライアントの出口 IP アドレス。

• 次のコマンドを実行して、クラスター上の Trustee インスタンスが使用する ALB インスタンスの ID を取得します。

  kubectl get ing --namespace ${DEPLOY_NAMESPACE} kbs-ingress -o jsonpath='{.status.loadBalancer.ingress[0].hostname}' | cut -d'.' -f1 | sed 's/[^a-zA-Z0-9-]//g'

  期待される出力は次のとおりです。

  alb-llcdzbw0qivhk0****

• ALB コンソールの左側のナビゲーションウィンドウで、[ALB] > [インスタンス] を選択します。クラスターが配置されているリージョンで、前のステップで取得した ALB インスタンスを検索し、インスタンス ID をクリックしてインスタンスの詳細ページに移動します。ページの下部にある [インスタンス情報] エリアで、[設定読み取り専用モードを無効にする] をクリックします。

• [リスナー] タブに切り替え、ターゲットリスナーインスタンスの [アクセス制御] 列で [有効] をクリックし、前のステップで作成したアクセス制御ポリシーグループでホワイトリストを設定します。

1. 設定ファイルを準備する

1. ヘテロジニアスインスタンスにリモート接続します。詳細については、「Workbench を使用して Linux インスタンスにログオンする」をご参照ください。

2. 次のコマンドを実行して ~/cai.env 設定ファイルを開きます。

   vi ~/cai.env

3. i キーを押して挿入モードに入り、準備した設定情報をファイルに貼り付けます。

   # モデル復号のための設定
   TRUSTEE_URL="http://alb-xxxxxxxxx.cn-beijing.alb.aliyuncsslb.com/xxxx/" # Trustee サービス の URL
   MODEL_KEY_ID="kbs:///default/aliyun/model-decryption-key" # Trustee で設定されたモデル復号鍵のリソース ID。たとえば、model-decryption-key という名前のシークレットの ID は kbs:///default/aliyun/model-decryption-key です
   
   # 暗号化モデル配布のための設定
   MODEL_OSS_BUCKET_PATH="<bucket-name>:<model-path>" # Alibaba Cloud OSS に保存されているモデル暗号文のパス。たとえば、conf-ai:/qwen3-32b-gocryptfs/
   MODEL_OSS_ENDPOINT="https://oss-cn-beijing-internal.aliyuncs.com" # モデル暗号文が保存されている OSS の URL
   # MODEL_OSS_ACCESS_KEY_ID="" # OSS バケットへのアクセスに使用する AccessKey ID。
   # MODEL_OSS_SECRET_ACCESS_KEY="" # OSS バケットへのアクセスに使用する AccessKey シークレット。
   # MODEL_OSS_SESSION_TOKEN="" # OSS バケットへのアクセスに使用するセッショントークン。これは STS 資格情報を使用して OSS にアクセスする場合にのみ必要です。
   MODEL_ENCRYPTION_METHOD="gocryptfs" # 使用される暗号化方式。有効な値: "gocryptfs" および "sam"。デフォルト値: "gocryptfs"。
   MODEL_MOUNT_POINT=/tmp/model # 復号されたモデルプレーンテキストのマウントポイント。モデル推論サービスはこのパスからモデルをロードできます。
   
   # 大規模モデルサービス通信暗号化のための設定
   MODEL_SERVICE_PORT=8080 # サービスが使用する TCP ポート。このポートでの通信は透過的に暗号化されます。
   
   # P2P モデル配布高速化のための設定。デフォルトでは無視できます。
   TRUSTEE_POLICY="default"
   # MODEL_SHARING_PEER="172.30.24.146 172.30.24.144"

4. :wq と入力し、Enter を押してファイルを保存し、エディターを終了します。

2. 推論サービスをデプロイする

1. クライアント環境からヘテロジニアス機密コンピューティングインスタンスおよび Trustee へのアクセス権限を設定する

このトピックでは、クライアント環境はパブリック IP アドレスを介してヘテロジニアス機密コンピューティングインスタンスにデプロイされた推論サービスにアクセスします。したがって、クライアント環境からのアクセスを許可するために、ヘテロジニアス機密コンピューティングインスタンスのセキュリティグループにルールを追加する必要があります。さらに、サーバーとのセキュアチャネルを確立するプロセス中に、ヘテロジニアス機密コンピューティングインスタンスのリモートアテステーションのために Trustee が必要です。したがって、クライアント環境のパブリック IP アドレスを Trustee のアクセス制御リストに追加する必要もあります。手順は次のとおりです。

1. クライアントからのアクセスを許可するために、ヘテロジニアス機密コンピューティングインスタンスのセキュリティグループにルールを追加します。詳細については、「セキュリティグループルールの管理」をご参照ください。

2. クライアント環境のパブリック IP アドレスを Trustee のアクセス制御に追加します。

   ステップ 4: ヘテロジニアスインスタンスの OSS および Trustee へのアクセス権限を設定するで、すでにアクセス制御ポリシーグループを作成し、ホワイトリストに追加しています。したがって、新しいものを作成する必要はありません。既存のアクセス制御ポリシーグループにクライアントのパブリック IP アドレスを追加できます。

2. クライアントインスタンスに Trusted Network Gateway クライアントをデプロイする

Trusted Network Gateway (TNG) は、機密コンピューティングシナリオ向けに設計されたネットワークコンポーネントです。デーモンプロセスとして機能し、セキュアな通信チャネルの確立、および機密インスタンスとの間のネットワークトラフィックの透過的な暗号化と復号を担当し、エンドツーエンドのデータセキュリティを実現します。また、既存のアプリケーションを変更することなく、ニーズに応じてトラフィックの暗号化と復号のプロセスを柔軟に制御できます。

1. Workbench を使用して Linux インスタンスにログオンします。

2. Trusted Network Gateway クライアントをデプロイします。

   docker を使用してデプロイする

   1. クライアントインスタンスに Docker をインストールします。詳細については、「Docker と Docker Compose のインストールと使用」をご参照ください。

   2. 次のコマンドを実行して、Docker を使用して Trusted Network Gateway クライアントをデプロイします。

      重要

      as_addr フィールドの値を、以前にデプロイした Trustee サービスに基づいて ${trsutee_url}/as/ に変更する必要があります。

      docker run --rm \
          --network=host \
          confidential-ai-registry.cn-shanghai.cr.aliyuncs.com/product/tng:2.2.1 \
          tng launch --config-content '
              {
                  "add_ingress": [
                      {
                          "http_proxy": {
                              "proxy_listen": {
                                  "host": "127.0.0.1",
                                  "port": 41000
                              }
                          },
                          "verify": {
                              "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                              "policy_ids": [
                                  "default"
                              ]
                          }
                      }
                  ]
              }
          '

   バイナリファイルを使用してデプロイする

   1. TNG · GitHub にアクセスして、クライアントインスタンスアーキテクチャに一致するバイナリインストールパッケージのダウンロードアドレスを取得します。

   2. 次のコマンドを実行して、Trusted Network Gateway クライアントのバイナリファイルをダウンロードします。次の例では tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz を使用しています。実際のファイル名に置き換えてください。

      wget https://github.com/inclavare-containers/TNG/releases/download/v2.2.1/tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz

   3. 次のコマンドを実行して、ダウンロードしたバイナリ圧縮ファイルを解凍し、ファイルに実行権限を付与します。

      tar -zxvf tng-v2.2.1.x86_64-unknown-linux-gnu.tar.gz
      chmod +x tng

   4. 次のコマンドを実行して、Trusted Network Gateway クライアントを実行します。

      重要

      as_addr フィールドの値を、以前にデプロイした Trustee サービスに基づいて ${trsutee_url}/as/ に変更する必要があります。

      ./tng launch --config-content '
              {
                  "add_ingress": [
                      {
                          "http_proxy": {
                              "proxy_listen": {
                                  "host": "127.0.0.1",
                                  "port": 41000
                              }
                          },
                          "verify": {
                              "as_addr": "http://alb-xxxxxxxxxxxxxxxxxx.cn-shanghai.alb.aliyuncsslb.com/cai-test/as/",
                              "policy_ids": [
                                  "default"
                              ]
                          }
                      }
                  ]
              }
          '

3. クライアントインスタンス上のプロセスの HTTP プロキシサービスを設定する

デプロイが成功すると、Trusted Network Gateway クライアントはフォアグラウンドで実行され、127.0.0.1:41000 上に HTTP CONNECT プロトコルに基づく HTTP プロキシサービスを作成します。アプリケーションをこのプロキシに接続すると、トラフィックは Trusted Network Gateway クライアントによって暗号化され、信頼できるチャネルを介して vLLM サービスに送信されます。

クライアントインスタンス上のプロセスの HTTP プロキシサービスは、次の 2 つの方法で設定できます。

export http_proxy=http://127.0.0.1:41000
export https_proxy=http://127.0.0.1:41000
export ftp_proxy=http://127.0.0.1:41000
export rsync_proxy=http://127.0.0.1:41000

export all_proxy=http://127.0.0.1:41000

4. クライアントインスタンスから推論サービスにアクセスする

クライアント環境で curl コマンドを実行することで、ヘテロジニアス機密コンピューティングインスタンスの推論サービスにアクセスできます。

1. クライアントインスタンスの新しいターミナルウィンドウを開きます。

2. 次のコマンドを実行して推論サービスにアクセスします。

   説明

   • 次のコマンドの <heterogeneous_confidential_computing_instance_public_IP> を、ステップ 3: ヘテロジニアス機密コンピューティングインスタンスを作成するで作成したヘテロジニアス機密コンピューティングインスタンスのパブリック IP アドレスに置き換える必要があります。

   • 次のコマンドは、curl コマンドが実行される前に all_proxy='http://127.0.0.1:41000/' 環境変数を設定します。これにより、curl コマンドによって送信されるリクエストが Trusted Network Gateway クライアントによって暗号化され、セキュアチャネルを介して送信されることが保証されます。

   env all_proxy='http://127.0.0.1:41000/' \
       curl http://<heterogeneous_confidential_computing_instance_public_IP>:8080/v1/completions \
           -X POST \
           -H "Content-Type: application/json" \
           -d '{"model": "Qwen3-32B", "prompt": "Do you know the book Traction by Gino Wickman", "temperature": 0.0, "best_of": 1, "max_tokens": 132, "stream": false}'

   次のサンプル出力は、curl コマンドを使用してクライアントから送信されたリクエストが Trusted Network Gateway クライアントによって暗号化され、セキュアチャネルを介して送信されたことを示しています。ヘテロジニアスインスタンスにデプロイされた大規模言語モデルサービスに正常にアクセスできました。