Elastic Compute Service:ヘテロジニアスコンフィデンシャルコンピューティングインスタンスにおけるメジャーメント対応 LLM 推論環境の構築

ステップ 1：ヘテロジニアスコンフィデンシャルコンピューティングインスタンスの作成

aliyun ecs RunInstances \
  --RegionId cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId '<SECURITY_GROUP_ID>' \
  --VSwitchId '<VSWITCH_ID>' \
  --KeyPairName <KEY_PAIR_NAME>

ステップ 2：TDX リモートアテステーション環境の構築

TDX Report は、TDX 対応インスタンスの ID を表すために CPU ハードウェアによって生成されるデータ構造です。TDX Report には、属性 (ATTRIBUTES)、ランタイム拡張可能メジャーメントレジスタ (RTMR)、高信頼コンピューティングベース (TCB) セキュリティバージョン番号 (SVN) など、TDX 対応インスタンスに関する重要な情報が含まれています。TDX Report は、暗号化手法を使用して情報の完全性を保証します。詳細については、「Intel TDX Module」をご参照ください。

1. Alibaba Cloud コンフィデンシャルコンピューティング用の YUM ソフトウェアリポジトリをインポートします。

   • YUM ソフトウェアリポジトリのパブリック URL は次の形式です：https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo。

   • YUM ソフトウェアリポジトリの内部 URL は次の形式です：https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo。

   上記の URL の [Region-ID] を TDX 対応インスタンスの実際のリージョン ID に置き換えてください。TDX 対応インスタンスは中国 (北京) リージョンでのみ作成できます。中国 (北京) リージョンに固有の内部 URL から YUM ソフトウェアリポジトリをインポートするには、次のコマンドを実行します。

   region="cn-beijing"
   
   sudo yum install -y yum-utils
   sudo yum-config-manager --add-repo https://enclave-${region}.oss-${region}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

2. コンパイルツールとサンプルコードをインストールします。

   sudo yum groupinstall -y "Development Tools"
   sudo yum install -y sgxsdk libtdx-attest-devel

3. Alibaba Cloud TDX リモートアテステーションサービスを構成します。

   /etc/sgx_default_qcnl.conf ファイル内の PCCS_URL パラメーターを指定します。PCCS_URL パラメーターは、中国 (北京) リージョンの Distributed Cooperative Access Points (DCAP) サービスを指すようにのみ指定できます。

   sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.cn-beijing.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

ステップ 3：Ollama のインストール

1. ワークベンチを使用して Linux インスタンスに接続する。

2. 次のコマンドを実行して Ollama をインストールします。

   curl -fsSL https://ollama.com/install.sh | sh

   説明

   上記のスクリプトは Ollama が提供する公式インストールスクリプトです。ネットワークの問題でインストールが失敗した場合は、Ollama の公式ウェブサイトを参照し、別のインストール方法を選択してください。詳細については、「Ollama インストールガイド」をご参照ください。

ステップ 4：Ollama を使用した DeepSeek-R1 のダウンロードと実行

モデルファイルはサイズが大きく、ダウンロードに時間がかかる可能性があるため、tmux ツールを使用してセッションを維持し、ダウンロードの中断を防ぎます。

1. tmux ツールのインストール

   次のコマンドを実行して tmux をインストールします。

   sudo yum install -y tmux

2. Ollama を使用した DeepSeek-R1 のダウンロードと実行

   次のコマンドを実行して tmux セッションを作成し、そのセッション内で DeepSeek-R1 モデルをダウンロードして実行します。

   # run-deepseek という名前の tmux セッションを作成
   tmux new -s "run-deepseek"
   # tmux セッションで deepseek-r1 モデルをダウンロードして実行
   ollama run deepseek-r1:70b

   以下の出力は、モデルが正常にダウンロードされ、起動したことを示します。/bye と入力して対話型モデルセッションを終了できます。

   ......
   verifying sha256 digest 
   writing manifest 
   success 
   >>> 
   >>> Send a message (/? for help)

3. (オプション) tmux セッションへの再接続

   ネットワーク切断後に tmux セッションに再接続する必要がある場合は、次のコマンドを実行します。

   tmux attach -t run-deepseek

ステップ 5：Open WebUI のコンパイル

Open WebUI で TDX セキュリティメジャーメントを有効にするには、TDX プラグインをダウンロードし、ソースから Open WebUI をコンパイルします。

1. 必要な依存関係と環境のインストール

   1. Node.js のインストール

      次のコマンドを実行して Node.js をインストールします。

      sudo yum install -y nodejs

      説明

      パッケージマネージャで Node.js のインストールに問題が発生した場合は、nvm (Node Version Manager) を使用して特定のバージョンの Node.js をインストールしてみてください。

      # nvm をダウンロードしてインストール
      curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
      # nvm 環境変数を読み込む
      source ~/.bashrc
      # Node.js バージョン 20.18.1 をインストール
      nvm install 20.18.1
      # このバージョンを使用
      nvm use 20.18.1
      # バージョンを確認
      node --version

   2. Miniforge3 のインストールと環境変数の設定

      次のコマンドを実行して Miniforge3 をインストールし、open-webui 仮想環境を管理するための環境変数を設定します。

      # Miniforge3 インストールパッケージを取得
      wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
      # miniforge3 を /home/ecs-user/miniforge3 ディレクトリに非対話的にインストール
      bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
      # Miniforge3 の環境変数を設定
      export PATH="/home/ecs-user/miniforge3/bin:$PATH"

   3. Conda の初期化とバージョンの確認

      次のコマンドを実行して Conda を初期化し、バージョンを確認します。

      # Conda を初期化
      conda init
      source ~/.bashrc
      
      # バージョン情報を確認
      conda --version

2. Open WebUI の手動コンパイル

   1. TDX セキュリティメジャーメントプラグインのダウンロード

      次のコマンドを実行して TDX セキュリティメジャーメントプラグインをダウンロードし、v1.2 ブランチに切り替えます。

      cd /home/ecs-user
      git clone https://github.com/intel/confidential-computing-zoo.git
      git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
      cd confidential-computing-zoo
      git checkout v1.2

   2. Open WebUI ソースコードのプル

      次のコマンドを実行して Open WebUI ソースコードをプルし、v0.5.20 ブランチに切り替えます。

      cd /home/ecs-user
      git clone https://github.com/open-webui/open-webui.git
      
      # tag:v0.5.20 ブランチに切り替え
      git config --global --add safe.directory /home/ecs-user/open-webui
      cd /home/ecs-user/open-webui
      git checkout v0.5.20
      
      # CCZoo が提供するパッチをマージ。これにより、open-webui に TDX リモートアテステーション機能が追加されます
      cd /home/ecs-user
      cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
      git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

   3. open-webui 環境の作成とアクティベート

      次のコマンドを実行して、コンパイルされた Open WebUI を実行するために使用される open-webui 環境を作成し、アクティベートします。

      conda create --name open-webui python=3.11
      conda activate open-webui

   4. 「Get TDX Quote」プラグインのインストール

      cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
      pip install Cython
      python setup.py install

      コマンドが完了したら、次のコマンドを実行してインストールを確認します。エラー出力がなければ、インストールは成功です。

      python3 -c "import quote_generator"

   5. Open WebUI のコンパイル

      # 依存関係のインストール
      cd /home/ecs-user/open-webui/
      # npm ソースの設定
      npm config set registry http://registry.npmmirror.com
      sudo npm install
      # コンパイル
      sudo npm run build

      コンパイルが完了したら、次のコマンドを実行して、生成された build フォルダを backend ディレクトリにコピーし、frontend に名前を変更します。

      rm -rf ./backend/open_webui/frontend
      cp -r build ./backend/open_webui/frontend

      説明

      この時点で、Alibaba Cloud リモートアテステーションサービスはコンパイルされた Open WebUI に正常に設定されています。関連する構成情報は /home/ecs-user/open-webui/external/acs-attest-client/index.js ファイルで確認できます。

   6. Open WebUI バックエンドサービス起動ファイルの設定

      次のコマンドを実行して、Open WebUI バックエンドサービスの起動ファイルを設定し、実行権限を付与します。

      tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
      #サービスのアドレスとポートを設定します。デフォルトのポートは 8080 です。
      PORT="${PORT:-8080}"
      uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
      EOF
      
      # 起動ファイルに実行権限を追加
      chmod +x /home/ecs-user/open-webui/backend/dev.sh

   7. Open WebUI の実行に必要な依存関係のインストール

      cd /home/ecs-user/open-webui/backend/
      pip install -r requirements.txt -U
      conda deactivate

ステップ 6：Open WebUI の実行と TDX アテステーション情報の検証

1. LLM の実行と Open WebUI サービスの開始

   1. (オプション) Ollama サービスが実行されていない場合は、次のコマンドを実行して開始できます。

      ollama serve

   2. 次のコマンドを実行して、Ollama で DeepSeek-R1 モデルを実行します。

      ollama run deepseek-r1:70b

   3. 次のコマンドを実行して、open-webui 仮想環境をアクティベートします。

      conda activate open-webui

   4. 次のコマンドを実行して、Open WebUI バックエンドサービスを開始します。

      cd /home/ecs-user/open-webui/backend && ./dev.sh

      以下の出力は、Open WebUI バックエンドサービスが正常に起動したことを示しています。

      ......
      INFO  [open_webui.env] 埋め込みモデルセット: sentence-transformers/all-MiniLM-L6-v2
      /root/miniforge3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: ffmpeg または avconv が見つかりませんでした - デフォルトで ffmpeg を使用しますが、動作しない可能性があります
        warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
      WARNI [langchain_community.utils.user_agent] USER_AGENT 環境変数が設定されていません。リクエストを識別するために設定を検討してください。
      
       ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
      ██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
      ██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
      ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
      ╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
       ═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
      
      
      v0.5.20 - 最高のオープンソース AI ユーザーインターフェースを構築
      
      https://github.com/open-webui/open-webui

2. ブラウザから Open WebUI サービスへのアクセス

   1. セキュリティグループルールの追加

      ヘテロジニアスコンフィデンシャルコンピューティングインスタンスのセキュリティグループで、クライアントがポート 8080 にアクセスできるようにするルールを追加します。詳細な手順については、「セキュリティグループルールの追加」をご参照ください。

   2. ブラウザから Open WebUI サービスへのアクセス

      ローカルのブラウザを開き、次のアドレスに移動します：http://{ip_address}:{port}。パラメーターを特定の値に置き換えてください。

      • {ip_address}：Open WebUI が実行されているインスタンスのパブリック IP アドレス。

      • {port}：デフォルトのポート番号は 8080 です。

      リモートアテステーションが成功すると、下の図に示すように、ダイアログボックスの最初のアイコンに緑色のチェックマークが表示されます。それ以外の場合、アイコンは赤色になります。

      

      説明

      [新しいチャット] をクリックするたびに、バックエンドは TDX 環境の Quote をフェッチし、リモートアテステーションに送信して結果を表示します。アイコンはデフォルトで赤色 (アテステーション未完了または失敗) で、アテステーションが成功すると緑色に変わります。

3. TDX アテステーション情報の検証

   ダイアログボックスの最初のアイコンにマウスを合わせると、TDX Quote から解析された詳細な認証情報を確認できます。

   

   ブラウザの開発者ツールを使用して詳細情報を表示することもできます。出力は次の例のようになります。