Elastic Compute Service：基於異構機密計算執行個體構建支援安全度量的大語言模型推理環境

步驟一：建立異構機密計算執行個體

aliyun ecs RunInstances \
  --RegionId cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId '<SECURITY_GROUP_ID>' \
  --VSwitchId '<VSWITCH_ID>' \
  --KeyPairName <KEY_PAIR_NAME>

步驟二：構建TDX遠程證明環境

TDX Report是由CPU硬體直接產生的代表了TDX執行個體身份的資料結構，其包含了TDX執行個體的屬性（ATTRIBUTES）、動態度量值（RTMR）、TCB SVN等關鍵資訊，並以密碼學方法保護其完整性。更多資訊，請參見Intel TDX Module。

1. 匯入阿里雲機密計算yum軟體源。

   • 公網地址格式：https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo。

   • VPC內網地址格式：https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo。

     請將上述地址中的[Region-ID]替換為TDX執行個體所在地區的ID。當前僅支援在華北2（北京）地區建立TDX執行個體，華北2（北京）地區中的VPC內網匯入樣本：

     region="cn-beijing"
     
     sudo yum install -y yum-utils
     sudo yum-config-manager --add-repo https://enclave-${region}.oss-${region}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

2. 安裝編譯工具及相關範例程式碼。

   sudo yum groupinstall -y "Development Tools"
   sudo yum install -y sgxsdk libtdx-attest-devel

3. 配置阿里雲TDX遠程證明服務。

   配置/etc/sgx_default_qcnl.conf檔案中的PCCS_URL，當前僅支援將PCCS_URL指向阿里雲華北2（北京）的DCAP服務。

   sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.cn-beijing.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

步驟三：安裝Ollama

1. 使用Workbench登入Linux執行個體。

2. 運行如下命令，安裝Ollama。

   curl -fsSL https://ollama.com/install.sh | sh

   說明

   上述指令碼為Ollama官方提供的安裝指令碼，如果在安裝過程中因網路問題導致安裝失敗，您可以參考Ollama官網，選擇其他安裝方式以完成Ollama的安裝，具體操作，請參見ollama安裝指南。

步驟四：通過Ollama下載並運行DeepSeek-R1

因模型檔案較大，因此下載耗時較長，建議您使用tmux工具來保持會話，防止下載操作異常中斷。

1. 安裝tmux工具。

   運行如下命令，安裝tmux工具。

   sudo yum install -y tmux

2. 通過Ollama下載並運行DeepSeek-R1。

   運行如下命令，建立一個tmux會話，並在tmux會話中通過Ollama下載運行DeepSeek-R1模型。

   # 為tmux建立一個名稱為run-deepseek的會話
   tmux new -s "run-deepseek"
   # 在tmux會話中下載並運行deepseek-r1模型
   ollama run deepseek-r1:70b

   回顯資訊樣本如下，表明模型下載完成並啟動成功，您可以輸入/bye以退出模型互動流程。

   ......
   verifying sha256 digest 
   writing manifest 
   success 
   >>> 
   >>> Send a message (/? for help)

3. （條件可選）重新串連tmux會話。

   如果您需要在網路連接斷開後重新恢複tmux會話，請運行如下命令。

   tmux attach -t run-deepseek

步驟五：編譯Open WebUI

如需Open WebUI支援基於TDX的安全度量服務，您需要下載TDX安全度量外掛程式，並基於Open WebUI源碼手動編譯Open WebUI，以使其支援基於TDX的安全度量服務。具體操作步驟如下。

1. 安裝所需的依賴軟體及環境

   1. 安裝Node.js。

      運行如下命令，安裝Node.js。

      sudo yum install -y nodejs

      說明

      如果使用包管理器安裝Node.js出現問題，可以嘗試使用nvm（Node Version Manager）安裝Node.js指定版本。

      # 下載並安裝nvm
      curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
      # 載入nvm環境變數
      source ~/.bashrc
      # 安裝Node.js 20.18.1版本
      nvm install 20.18.1
      # 使用該版本
      nvm use 20.18.1
      # 驗證版本
      node --version

   2. 安裝Miniforge 3並配置其環境變數。

      運行如下命令，安裝Miniforge 3，並配置其環境變數，以便管理open-webui虛擬環境。

      # 擷取Miniforge3安裝包
      wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
      # 使用非互動式方式安裝miniforge3至/home/ecs-user/miniforge3目錄
      bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
      # 設定Miniforge3的環境變數
      export PATH="/home/ecs-user/miniforge3/bin:$PATH"

   3. 初始化Conda並驗證其版本資訊。

      運行如下命令，完成Conda初始化並驗證其版本資訊。

      # 初始化 Conda
      conda init
      source ~/.bashrc
      
      # 驗證版本資訊
      conda --version

2. 手動編譯Open WebUI。

   1. 下載TDX安全度量外掛程式。

      運行如下命令，下載TDX安全度量外掛程式並切換至v1.2分支。

      cd /home/ecs-user
      git clone https://github.com/intel/confidential-computing-zoo.git
      git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
      cd confidential-computing-zoo
      git checkout v1.2

   2. 拉取Open WebUI源碼。

      運行如下命令，拉取Open WebUI源碼並切換至v0.5.20分支。

      cd /home/ecs-user
      git clone https://github.com/open-webui/open-webui.git
      
      # 切換至tag:v0.5.20分支
      git config --global --add safe.directory /home/ecs-user/open-webui
      cd /home/ecs-user/open-webui
      git checkout v0.5.20
      
      # 合入CCZoo提供的patch，該patch增加了open-webui對TDX遠程認證相關的功能
      cd /home/ecs-user
      cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
      git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

   3. 建立open-webui環境並啟用。

      運行如下命令，建立open-webui環境並啟用，用於運行編譯後的Open WebUI環境。

      conda create --name open-webui python=3.11
      conda activate open-webui

   4. 安裝 "擷取TDX Quote" 外掛程式。

      cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
      pip install Cython
      python setup.py install

      上述命令執行完成後，運行如下命令，驗證安裝是否正常。回顯資訊無報錯，表明安裝成功。

      python3 -c "import quote_generator"

   5. 編譯Open WebUI。

      # 安裝依賴
      cd /home/ecs-user/open-webui/
      # 配置npm源
      npm config set registry http://registry.npmmirror.com
      sudo npm install
      # 編譯
      sudo npm run build

      編譯完成後，運行如下命令，複製產生的build檔案夾至backend目錄並重新命名為frontend。

      rm -rf ./backend/open_webui/frontend
      cp -r build ./backend/open_webui/frontend

      說明

      此時，阿里雲遠程證明服務已成功配置在編譯好的Open WebUI中。您可以在/home/ecs-user/open-webui/external/acs-attest-client/index.js檔案中找到相關配置資訊。

   6. 配置Open WebUI後端服務開機檔案。

      運行如下命令，為Open WebUI後端服務配置開機檔案，並為其添加可執行許可權。

      tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
      #設定服務地址連接埠，預設連接埠為 8080
      PORT="${PORT:-8080}"
      uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
      EOF
      
      # 為開機檔案添加可執行許可權
      chmod +x /home/ecs-user/open-webui/backend/dev.sh

   7. 安裝Open WebUI運行所需的依賴庫。

      cd /home/ecs-user/open-webui/backend/
      pip install -r requirements.txt -U
      conda deactivate

步驟六：運行Open WebUI並驗證TDX認證資訊

1. 運行大模型，並啟動Open WebUI服務。

   1. （條件可選）如果Ollama服務未運行，您可以通過運行如下命令，啟動Ollama服務。

      ollama serve

   2. 運行如下命令，使用Ollama運行DeepSeek-R1模型。

      ollama run deepseek-r1:70b

   3. 運行如下命令，啟用open-webui虛擬環境。

      conda activate open-webui

   4. 運行如下命令，啟動Open WebUI後端服務。

      cd /home/ecs-user/open-webui/backend && ./dev.sh

      回顯資訊樣本如下，表明Open WebUI後端服務啟動成功。

      ......
      INFO  [open_webui.env] Embedding model set: sentence-transformers/all-MiniLM-L6-v2
      /root/miniforge3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
        warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
      WARNI [langchain_community.utils.user_agent] USER_AGENT environment variable not set, consider setting it to identify your requests.
      
       ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
      ██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
      ██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
      ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
      ╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
       ��═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
      
      
      v0.5.20 - building the best open-source AI user interface.
      
      https://github.com/open-webui/open-webui

2. 通過瀏覽器訪問Open WebUI服務。

   1. 添加安全性群組訪問允許存取規則。

      在您的異構機密計算執行個體的安全性群組中，添加允許用戶端訪問8080連接埠的規則。具體操作，請參見添加安全性群組規則。

   2. 通過瀏覽器訪問Open WebUI服務。

      開啟本地瀏覽器訪問如下地址：http://{ip_address}:{port}，請根據具體情況替換對應的參數。

      • {ip_address}：Open WebUI所在執行個體的公網IP地址。

      • {port}：預設連接埠號碼為8080。

      如果遠程證明成功，對話方塊中的第一個表徵圖上會出現綠色標記，如下圖所示。否則標記顯示為紅色。

      

      說明

      每次點擊New Chat按鈕後，後端服務會自動擷取TDX 機密計算環境的Quote data發送至遠程證明服務並返回認證結果。初始狀態下，此表徵圖顯示紅色。表示遠程證明未完成或失敗，遠程證明成功後顯示綠色。

3. 驗證TDX認證資訊。

   您可以將滑鼠移至上方在對話方塊中的第一個表徵圖上，可以看到解析TDX Quote詳細的認證資訊。

   

   您可以通過瀏覽器開發人員工具查看詳細資料，顯示結果樣本如下。