Elastic Compute Service:異種コンフィデンシャルコンピューティングインスタンス上に計測機能付き大規模言語モデル推論環境を構築

手順1：異種コンフィデンシャルコンピューティングインスタンスの作成

aliyun ecs RunInstances \
  --RegionId cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId '<SECURITY_GROUP_ID>' \
  --VSwitchId '<VSWITCH_ID>' \
  --KeyPairName <KEY_PAIR_NAME>

手順2：TDX リモートアテステーション環境の構築

TDX レポートは、TDX インスタンスの ID を表す CPU ハードウェアによって直接生成されるデータ構造です。これには、ATTRIBUTES、ランタイム拡張可能測定レジスター (RTMR)、高信頼コンピューティング・ベース・セキュリティ・バージョン番号 (TCB SVN) などの重要な情報が含まれており、その完全性は暗号化方式によって保護されます。詳細については、「Intel TDX Module」をご参照ください。

1. Alibaba Cloud コンフィデンシャルコンピューティング yum リポジトリを追加します。

   • パブリックエンドポイントの形式：https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo

   • VPC エンドポイントの形式：https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

     上記の URL の [Region-ID] を、TDX インスタンスが存在するリージョンの ID に置き換えます。次のサンプルコードは、中国 (北京) リージョンの VPC エンドポイントを使用してリポジトリを追加する方法を示しています。

     region="cn-beijing"
     
     sudo yum install -y yum-utils
     sudo yum-config-manager --add-repo https://enclave-${region}.oss-${region}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

2. ビルドツールとサンプルコードをインストールします。

   sudo yum groupinstall -y "Development Tools"
   sudo yum install -y sgxsdk libtdx-attest-devel

3. Alibaba Cloud TDX リモートアテステーションサービスを設定します。

   /etc/sgx_default_qcnl.conf ファイルの PCCS_URL を設定します。この例では、PCCS_URL は中国 (北京) リージョンの DCAP サービスを指します。

   sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.cn-beijing.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

手順3：Ollama のインストール

1. 「Workbench を使用した Linux インスタンスへの接続」を参照し、インスタンスに接続します。

2. 次のコマンドを実行して Ollama をインストールします。

   curl -fsSL https://ollama.com/install.sh | sh

   説明

   上記のスクリプトは、Ollama が提供する公式インストールスクリプトです。ネットワークの問題でインストールが失敗した場合は、Ollama の公式サイトで他のインストール方法を確認できます。詳細については、「Ollama インストールガイド」をご参照ください。

手順4：Ollama を使用した DeepSeek-R1 のダウンロードと実行

モデルファイルはサイズが大きいため、ダウンロードに時間がかかる場合があります。セッションを維持し、ダウンロードが中断されないように、tmux ツールの使用を推奨します。

1. tmux ツールのインストール

   次のコマンドを実行して tmux ツールをインストールします。

   sudo yum install -y tmux

2. Ollama を使用した DeepSeek-R1 のダウンロードと実行

   次のコマンドを実行して tmux セッションを作成し、そのセッションで DeepSeek-R1 モデルをダウンロードして実行します。

   # run-deepseek という名前の tmux セッションを作成します。
   tmux new -s "run-deepseek"
   # tmux セッションで deepseek-r1 モデルをダウンロードして実行します。
   ollama run deepseek-r1:70b

   次の出力は、モデルがダウンロードされて起動したことを示します。「/bye」と入力して対話型セッションを終了できます。

   ......
   verifying sha256 digest 
   writing manifest 
   success 
   >>> 
   >>> Send a message (/? for help)

3. (オプション) tmux セッションへの再接続

   ネットワーク切断後に tmux セッションに再接続する必要がある場合は、次のコマンドを実行します。

   tmux attach -t run-deepseek

手順5：Open WebUI のコンパイル

Open WebUI が TDX ベースの計測サービスをサポートできるようにするには、TDX 計測プラグインをダウンロードし、ソースコードから Open WebUI を手動でコンパイルする必要があります。

1. 必要な依存関係と環境のインストール

   1. Node.js をインストールします。

      次のコマンドを実行して Node.js をインストールします。

      sudo yum install -y nodejs

      説明

      パッケージマネージャーで Node.js のインストールに問題が発生した場合は、Node Version Manager (nvm) を使用して特定のバージョンの Node.js をインストールしてみてください。

      # nvm をダウンロードしてインストールします。
      curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
      # nvm 環境変数をロードします。
      source ~/.bashrc
      # Node.js バージョン 20.18.1 をインストールします。
      nvm install 20.18.1
      # このバージョンを使用します。
      nvm use 20.18.1
      # バージョンを確認します。
      node --version

   2. Miniforge3 をインストールし、その環境変数を設定します。

      次のコマンドを実行して Miniforge3 をインストールし、open-webui 仮想環境を管理するための環境変数を設定します。

      # Miniforge3 インストールパッケージを取得します。
      wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
      # miniforge3 を /home/ecs-user/miniforge3 ディレクトリに非対話的にインストールします。
      bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
      # Miniforge3 の環境変数を設定します。
      export PATH="/home/ecs-user/miniforge3/bin:$PATH"

   3. Conda を初期化し、そのバージョンを確認します。

      次のコマンドを実行して Conda を初期化し、そのバージョンを確認します。

      # Conda を初期化します。
      conda init
      source ~/.bashrc
      
      # バージョン情報を確認します。
      conda --version

2. Open WebUI の手動コンパイル

   1. TDX 計測プラグインをダウンロードします。

      次のコマンドを実行して TDX 計測プラグインをダウンロードし、v1.2 ブランチに切り替えます。

      cd /home/ecs-user
      git clone https://github.com/intel/confidential-computing-zoo.git
      git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
      cd confidential-computing-zoo
      git checkout v1.2

   2. Open WebUI のソースコードをクローンします。

      次のコマンドを実行して Open WebUI のソースコードをクローンし、v0.5.20 ブランチに切り替えます。

      cd /home/ecs-user
      git clone https://github.com/open-webui/open-webui.git
      
      # tag:v0.5.20 ブランチに切り替えます。
      git config --global --add safe.directory /home/ecs-user/open-webui
      cd /home/ecs-user/open-webui
      git checkout v0.5.20
      
      # CCZoo が提供するパッチを適用します。これにより、open-webui に TDX リモートアテステーション機能が追加されます。
      cd /home/ecs-user
      cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
      git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

   3. open-webui 環境を作成してアクティブ化します。

      次のコマンドを実行して open-webui 環境を作成してアクティブ化します。この環境は、コンパイルされた Open WebUI を実行するために使用されます。

      conda create --name open-webui python=3.11
      conda activate open-webui

   4. 「Get TDX Quote」プラグインをインストールします。

      cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
      pip install Cython
      python setup.py install

      コマンドが実行された後、次のコマンドを実行してインストールを確認します。エラーが表示されなければ、インストールは成功です。

      python3 -c "import quote_generator"

   5. Open WebUI をコンパイルします。

      # 依存関係をインストールします。
      cd /home/ecs-user/open-webui/
      # npm レジストリを設定します。
      npm config set registry http://registry.npmmirror.com
      sudo npm install
      # コンパイルします。
      sudo npm run build

      コンパイルが完了したら、次のコマンドを実行して生成された build フォルダーをバックエンドディレクトリにコピーし、frontend に名前を変更します。

      rm -rf ./backend/open_webui/frontend
      cp -r build ./backend/open_webui/frontend

      説明

      この時点で、コンパイルされた Open WebUI には Alibaba Cloud リモートアテステーションサービスが設定されています。設定情報は /home/ecs-user/open-webui/external/acs-attest-client/index.js ファイルで確認できます。

   6. Open WebUI バックエンドサービスの起動ファイルを構成します。

      次のコマンドを実行して Open WebUI バックエンドサービスの起動ファイルを構成し、実行権限を付与します。

      tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
      # サービスアドレスとポートを設定します。デフォルトのポートは 8080 です。
      PORT="${PORT:-8080}"
      uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
      EOF
      
      # 起動ファイルに実行権限を追加します。
      chmod +x /home/ecs-user/open-webui/backend/dev.sh

   7. Open WebUI の実行に必要な依存関係をインストールします。

      cd /home/ecs-user/open-webui/backend/
      pip install -r requirements.txt -U
      conda deactivate

手順6：Open WebUI の実行と TDX アテステーションの検証

1. 大規模モデルの実行と Open WebUI サービスの開始

   1. (オプション) Ollama サービスが実行されていない場合は、次のコマンドを実行して起動します。

      ollama serve

   2. 次のコマンドを実行して、Ollama で DeepSeek-R1 モデルを実行します。

      ollama run deepseek-r1:70b

   3. 次のコマンドを実行して、open-webui 仮想環境をアクティブ化します。

      conda activate open-webui

   4. 次のコマンドを実行して、Open WebUI バックエンドサービスを開始します。

      cd /home/ecs-user/open-webui/backend && ./dev.sh

      次の出力は、Open WebUI バックエンドサービスが正常に起動したことを示します。

      ......
      INFO  [open_webui.env] Embedding model set: sentence-transformers/all-MiniLM-L6-v2
      /home/ecs-user/miniforge3/envs/open-webui/lib/python3.11/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
        warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
      WARNI [langchain_community.utils.user_agent] USER_AGENT environment variable not set, consider setting it to identify your requests.
      
       ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
      ██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
      ██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
      ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
      ╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
       ═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
      
      
      v0.5.20 - building the best open-source AI user interface.
      
      https://github.com/open-webui/open-webui

2. ブラウザからの Open WebUI サービスへのアクセス

   1. セキュリティグループルールを追加します。

      異種構成の Confidential Computing インスタンスのセキュリティグループに、TCP ポート 8080 でのインバウンドトラフィックを許可するルールを追加します。詳細については、「セキュリティグループルールを追加する」をご参照ください。

   2. ブラウザから Open WebUI サービスにアクセスします。

      ローカルブラウザを開き、http://{ip_address}:{port} にアクセスします。パラメーターを実際の値に置き換えてください。

      • {ip_address}：Open WebUI が配置されているインスタンスのパブリック IP アドレス。

      • {port}：デフォルトのポート番号は 8080 です。

      リモートアテステーションが成功すると、次の図に示すように、ダイアログボックスの最初のアイコンに緑色のチェックマークが表示されます。それ以外の場合、アイコンは赤色になります。

      

      説明

      [New Chat] ボタンをクリックするたびに、バックエンドサービスは自動的にコンフィデンシャルコンピューティング環境から TDX クォートを取得し、それをリモートアテステーションサービスに送信して、認証結果を返します。初期状態では、このアイコンは赤色で、アテステーションが保留中または失敗したことを示します。リモートアテステーションが成功すると緑色に変わります。

3. TDX アテステーション情報の検証

   ダイアログボックスの最初のアイコンにカーソルを合わせると、TDX クォートから解析された詳細な認証情報を確認できます。

   

   ブラウザの開発者ツールで詳細情報を表示することもできます。次の図に例を示します。