Platform For AI:機密推論サービス

仕組み

PAI-CC (PAI Confidential Computing) は、機密コンピューティングワークロード向けの PAI-EAS 推論サービスです。これは標準の Elastic Algorithm Service (EAS) 推論サービスを基盤としており、以下の機能によってモデル推論をエンドツーエンドで保護します。

• CPU TEE (Intel TDX 高信頼実行環境 (TEE))：推論プロセスは、Intel TDX ハードウェアによって分離された信頼ドメインで実行されます。モデルの読み込み、トークン化、スケジューリングロジック、および KV キャッシュはすべて CPU 上のエンクレーブ内で行われるため、ホストもクラウドプラットフォームもプレーンテキストを読み取ることはできません。

• GPU TEE (機密GPU)：GPU は高信頼実行環境 (TEE) の一部です。TEE は、CPU から GPU へのモデルの重みの転送、GPU 内でのアテンション計算、行列乗算、および KV キャッシュを保護します。CPU-GPU 間の相互接続は暗号化されます。

• 暗号化されたモデルストレージ：モデルは gocryptfs (AES256-GCM) で暗号化され、Object Storage Service (OSS) に保存され、暗号文としてインスタンスに転送されます。復号キーは、リモートアテステーションが成功した後にのみ TEE に注入され、その後モデルは復号されてマウントされます。キーはディスクに書き込まれることはなく、TEE の外部に出ることもありません。

• リモートアテステーション：デプロイ前および推論開始前に、Trustee は TEE ハードウェアの署名、ファームウェアの測定、およびインスタンスのランタイム構成を検証します。モデルの復号キーは、この検証が成功した後にのみ解放されます。

• モデルの完全性測定 (verity)：オプション。この機能は、モデルファイルのマークルツリールートハッシュを生成し、デプロイ時にそれをチェックします。これにより、ランタイム中にモデルが改ざんされたり、置き換えられたりするのを防ぎます。

• 暗号化された推論トラフィック (TNG ゲートウェイ保護)：オプション。TNG は、クライアントと推論サービス間のリクエストとレスポンスを透過的に暗号化し、推論データをエンドツーエンドで保護します。キーはリモートアテステーションのハンドシェイク中にネゴシエートされ、各推論リクエストは一意のキーを使用して、ネットワークパス上での盗聴や改ざんを防ぎます。

pai-cc-tools クライアントのインストール

pai-cc-tools は、モデルの測定、暗号化、アップロード、および機密推論用のコマンドをラップします。開始する前に、クライアントをインストールしてください:

curl -fsSL https://conf-ai.oss-cn-beijing.aliyuncs.com/pai-cc/pai-cc-tools-<date>-<hash>.tar.gz | tar -xz -C /opt && ln -sf /opt/pai-cc-tools/pai-cc /usr/local/bin/pai-cc

pai-cc コマンドが利用可能になります。

ステップ 1：暗号化されたモデルの準備

このステップは、モデルの測定 (オプション)、モデルの暗号化、およびモデルのアップロードの3つの部分で構成されます。モデルファイルは大きいため、このプロセスには時間がかかることがあります。

ステップ 2 のリモートアテステーションポリシーに上記の表の参照値を追加して、デプロイ時にサービスが読み込むモデルを検証します。独自のモデルを使用するには、以下の部分を完了してください。このトピックでは、Qwen3.8-27B モデルを例として使用します。

# ModelScopeからオンラインでプルするか、ローカルディレクトリを使用します
DIR=$(pai-cc model measure --modelscope Qwen/Qwen3.8-27B --hash-output /tmp/qwen-root.hash)
echo "Path of the measured model: ${DIR}"

URI=$(pai-cc model upload --cipher "$CIPHER" --bucket <your-bucket> --prefix qwen3.8-27b-gocryptfs)

ステップ 2：Trustee リモートアテステーションサービスの設定

モデルのランタイム環境と推論サービスを検証するリモートアテステーションサービスを管理します。モデルの復号キーは、デプロイ環境が信頼要件を満たした後にのみ注入されます。その後、キーはモデルを復号してマウントします。このソリューションでは、Trustee を Elastic Compute Service (ECS) にデプロイします。

1. パブリック IP アドレスを持つ標準の ECS インスタンスを準備し、OSとして Alibaba Cloud Linux 3.2104 LTS 64 ビットを選択してください。以下のすべてのコマンドをこのインスタンスで実行してください。

   最も厳格なセキュリティ要件を満たすために、Trustee をオンプレミスのデータセンターやローカルサーバーにデプロイすることもできます。Express Connect 回線や VPN を介して、クラウド上の VPC に接続してください。これにより、信頼のルートを完全に管理下に置くことができます。

2. インスタンスにログインし、yum リポジトリから Trustee をインストールして起動してください。

   yum install -y trustee-1.10.0

   Trustee は自動的に起動し、デフォルトでポート 8081 でリッスンします。そのエンドポイントは http://<trustee-ip>:8081/api です。本番環境では Trustee に HTTPS を設定してください。

3. モデル復号キーを Trustee にインポートします。このソリューションでは、キー 0Bn4Q1wwY9fN3P を使用します。このキーはユーザーが指定します。キーを書き込む際は、値が暗号化キーとバイト単位で一致するように、echo -n を使用して末尾の改行を省略します：

   sudo mkdir -p /opt/trustee/kbs/repository/default/aliyun/
   sudo sh -c 'echo -n "0Bn4Q1wwY9fN3P" > /opt/trustee/kbs/repository/default/aliyun/model-decryption-key'

   この手順の後、Trustee のキー ID は、ステップ 3 の設定における decryption_key の値である kbs:///default/aliyun/model-decryption-key になります。

4. リモート構成証明ポリシーを設定します。ポリシーファイルは /opt/trustee/attestation-service/policies/opa/default.rego です。Trustee は PAI-CC インスタンスの各レプリカをチェックし、キーを解放するかどうかを決定します。

   次のコマンドを実行してリモートアテステーションポリシーを設定してください

   cat <<EOF >/opt/trustee/attestation-service/policies/opa/default.rego
   package policy
   
   import rego.v1
   
   default executables := 2
   default configuration := 2
   default file_system := 2
   default hardware := 97
   
   hardware := 2 if {
       input.tdx.quote.header.tee_type == "81000000"
       input.tdx.quote.header.vendor_id == "939a7233f79c4ca9940a0db3957f0607"
       gpu_attestation_ok
   }
   
   gpu_attestation_ok if {
       some e in input.tdx.uefi_event_logs
       e.type_name == "EV_EVENT_TAG"
       e.details.unicode_name == "AAEL"
       e.details.data.domain == "alibabacloud.com"
       e.details.data.operation == "gpu/attestation"
       e.details.data.content["gpu-collect-evidence-result-code"] == 0
       e.details.data.content["gpu-attest-result-code"] == 0
   }
   EOF
   
   

5. Trustee を再起動してください。

   sudo systemctl restart trustee

ステップ 3：PAI-CC サービスの作成

1. Lingjun リソースグループを作成し、ノードを購入します。リソースグループの作成と Lingjun リソースの購入の手順に従って、[中国 (北京)] リージョンにリソースグループを作成し、ml.gu8tef.8.46xlarge.cc インスタンスタイプのインスタンスを購入します。このインスタンスタイプは招待制プレビューです。アクセスをリクエストするには、Alibaba Cloud アカウントマネージャーにお問い合わせください。

2. 中国 (北京) リージョンに Virtual Private Cloud (VPC) を作成し、beijing-i ゾーンに vSwitch を作成し、VPC 内にセキュリティグループを作成してください。この VPC は、後で作成する PAI-CC インスタンスの推論を実行する機密コンテナをホストします。VPC にインターネット NAT ゲートウェイの SNAT 機能を設定し、Elastic IP Address (EIP) を関連付けます。これにより、インスタンスはパブリックネットワークにアクセスしてモデルの暗号文をプルし、Trustee に到達できるようになります。詳細については、「インターネット NAT ゲートウェイ」をご参照ください。

3. PAI-CC インスタンスがパブリックネットワーク経由で Trustee に到達できるように、Trustee を実行しているインスタンスのネットワークを設定してください。Trustee ECS インスタンスのセキュリティグループに、ポート 8081 (カスタム TCP) でのトラフィックを許可するインバウンドルールを追加してください。ソースには、VPC に設定した SNAT のエグレス IP アドレスを設定してください。

4. リソースクォータを作成してください。「リソースクォータの作成」の指示に従ってください。[Source Type] で [Lingjun resource group] を選択し、作成した Lingjun resource group とそのノードまたはインスタンスタイプを選択します。[VPC] では、作成した VPC を選択します。[Associate Workspace] では、PAI ワークスペースを選択します。リソースクォータはそのワークスペースに割り当てられます。ワークスペースを作成していない場合は、「ワークスペースの作成と管理」の指示に従って作成してください。

5. PAI コンソールにログインしてください。ページ上部でリージョンを選択してください。右側でワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックしてください。[Inference Service] タブで [Deploy Service] をクリックしてください。[Custom Model Deployment] セクションで、[Custom Deployment] をクリックしてください。

6. 以下の主要なパラメーターを設定してください。その他のパラメーターの詳細については、「カスタムデプロイ」をご参照ください。

   パラメーター		説明
   リソース情報	リソースタイプ	[Resource Quota] を選択し、作成した Lingjun リソースクォータを選択してください。
   	デプロイ	[GPU (GPU 数)] には 1 を指定します。[CPU (コア数)] には 20 を指定します。[メモリ (GB)] には 200 を指定します。ご使用のモデルとサービスのデプロイ方法に基づいて、これらの値を調整してください。
   	レプリカ	8 を指定します。この値は、[Deployment] 設定に応じて調整してください。
   環境情報	デプロイ方法	[Image-based Deployment] を選択してください。
   	イメージ設定	ランタイムイメージを選択してください。この例では、[Alibaba Cloud Image] > [vllm 0.25.0-gpu] を選択してください。
   	ストレージマウント	OSS を選択します。[Uri] には oss://conf-ai/qwen3.8-27b-gocryptfs/ (ステップ 1 でアップロードした暗号文のパス) を、[マウントパス] には /mnt/model/ を設定します。読み取り専用でマウントします。
   	実行コマンド	vllm serve /mnt/model/ --host 0.0.0.0 --port 8000 --served-model-name "Qwen3.8-27B"。モデルパス /mnt/model/ は、指定した OSS の [マウントパス] と一致する必要があります。
   	ポート番号	8000。
   ネットワーク情報	VPC	作成した VPC と vSwitch を選択してください。
   	セキュリティグループ名	作成したセキュリティグループを選択してください。
   フィーチャー	GPUドライバーバージョン	570.148.08-open を選択します。このフィールドを選択できない場合は、JSON 設定を直接編集してください。

   PAI-CC と標準の EAS サービスの主な違いは、機密コンピューティングです。PAI-CC サービスを作成する際には、[Configure Secure Encryption Environment] を有効にし、以下のオプションを設定してください。このオプションを有効にすると、推論サービスは CPU TEE と GPU TEE の両方で保護された機密コンピューティング環境で実行されます。推論中、モデルの重み、KV キャッシュ、およびすべての中間計算は TEE 内に留まり、ホストにプレーンテキストが公開されることはありません。デプロイ時には、リモートアテステーションが成功した後にのみモデルが復号されマウントされます。その後、TNG が推論トラフィックを暗号化します。

   設定項目	値
   暗号化方式	Gocryptfs (ステップ 1 の --method と同じ)
   セキュア暗号化環境の設定	有効
   ランタイムデータ暗号化	有効
   TNG ゲートウェイ保護	有効 (TNG が推論トラフィックを暗号化)
   モデル測定	有効 (ステップ 1 でモデルを測定した場合)
   システムトラスト管理サービスアドレス	http://<trustee-ip>:8081/api (デプロイした Trustee サービスのエンドポイント)
   復号キーの KBS URI	kbs:///default/aliyun/model-decryption-key

   以下の例は、結果として得られる JSON 設定を示しています。

   JSON 設定例

    {
        "metadata": {
            "name": "<your-service-name>",
            "instance": 8,
            "workspace_id": "<your-workspace-id>",
            "disk": 60,
            "rpc": {
                "keepalive": 60000
            },
            "accessibility": "public",
            "quota_id": "<your-quota-id>",
            "quota_type": "Lingjun",
            "resource_burstable": false,
            "gpu": 1,
            "cpu": 20,
            "memory": 200000
        },
        "containers": [
            {
                "image": "eas-registry-vpc.cn-beijing.cr.aliyuncs.com/pai-eas/vllm:v0.25.0",
                "script": "vllm serve /mnt/model/ --host 0.0.0.0 --port 8000 --served-model-name \"Qwen3.8-27B\"",
                "port": 8000
            }
        ],
        "options": {
            "priority": 9
        },
        "storage": [
            {
                "oss": {
                    "path": "oss://conf-ai/qwen3.8-27b-gocryptfs/",
                    "readOnly": true,
                    "role_arn": ""
                },
                "mount_path": "/mnt/model/",
                "encryption": {
                    "method": "gocryptfs"
                }
            }
        ],
        "cloud": {
            "networking": {
                "vpc_id": "<your-vpc-id>",
                "vswitch_id": "<your-vswitch-id>",
                "security_group_id": "<your-security-group-id>"
            }
        },
        "confidential": {
            "disable_tng": false,
            "trustee_endpoint": "http://<trustee-ip>:8081/api",
            "decryption_key": "kbs:///default/aliyun/model-decryption-key",
            "enable_measure": true
        },
        "features": {
            "eas.aliyun.com/enable-confidential-computing": "true",
            "eas.aliyun.com/confidential-computing-version": "v2",
            "eas.aliyun.com/gpu-driver-version": "570.148.08-open"
        }
    }
   

   パラメーターを設定した後、[Deploy] をクリックしてください。[service status] が Running と表示されたら、サービスはデプロイされています。

ステップ 4：機密推論の実行

TNG はクライアントと推論サービス間のトラフィックを暗号化します。推論は Intel TDX と GPU TEE が提供する機密コンピューティング環境で実行されます。ストリーミングレスポンスを含むリクエストとレスポンスは、転送中に暗号化されます。

クライアントは TNG クライアントを通じて推論リクエストを送信します。以下のアクセス方法が利用可能です。ユースケースに合わせて選択してください。

これらの例を簡略化するために、pai-cc-tools は前の表にある TNG コールをラップします。

pai-cc secure run -- \
    curl -sS -X POST http://<service-url>/v1/chat/completions \
        -H "Authorization: <your-token>" -H "Content-Type: application/json" \
        -d '{"model":"Qwen3.8-27B","messages":[{"role":"user","content":"Hello"}],"max_tokens":100,"stream":false}'

{"id":"chatcmpl-b1df6ef135765608","object":"chat.completion","created":1716199200,"model":"Qwen3.8-27B","choices":[{"index":0,"message":{"role":"assistant","content":"The user said \"Hello\" - a simple greeting. I should respond warmly and concisely, offering to help.\n```\n\n\nHello! How can I help you today?","refusal":null,"annotations":null,"audio":null,"function_call":null,"reasoning":null},"logprobs":null,"finish_reason":"stop","stop_reason":null,"token_ids":null,"routed_experts":null}],"service_tier":null,"system_fingerprint":"vllm-0.25.0-fb7f4d0a","usage":{"prompt_tokens":53,"total_tokens":90,"completion_tokens":37,"prompt_tokens_details":null},"prompt_logprobs":null,"prompt_token_ids":null,"prompt_text":null,"kv_transfer_params":null,"metrics":null}

pai-cc secure test \
  --endpoint http://<service-url>/v1/chat/completions \
  --token <your-token> --builtin-as -m all

── tng-launch ──────────────────────────────────
PASS	tng-launch
── tng-exec ──────────────────────────────────
PASS	tng-exec
── python-sdk ──────────────────────────────────
PASS	python-sdk
── go-sdk ──────────────────────────────────
PASS	go-sdk
── js-sdk ──────────────────────────────────
PASS	js-sdk
summary: 5 passed, 0 failed, 0 skipped