Elastic Compute Service:Membangun lingkungan inferensi model bahasa besar dengan pengukuran pada instans komputasi rahasia heterogen

Langkah 1: Buat instans komputasi rahasia heterogen

aliyun ecs RunInstances \
  --RegionId cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId '<SECURITY_GROUP_ID>' \
  --VSwitchId '<VSWITCH_ID>' \
  --KeyPairName <KEY_PAIR_NAME>

Langkah 2: Bangun lingkungan remote attestation TDX

Laporan TDX adalah struktur data yang dihasilkan langsung oleh perangkat keras CPU yang merepresentasikan identitas instans TDX. Laporan ini berisi informasi penting, seperti ATTRIBUTES, Runtime-extendable Measurement Registers (RTMRs), dan Trusted Computing Base Security Version Numbers (TCB SVNs), serta menggunakan metode kriptografi untuk melindungi integritasnya. Untuk informasi lebih lanjut, lihat Intel TDX Module.

1. Tambahkan repositori yum komputasi rahasia Alibaba Cloud.

   • Format endpoint publik: https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo.

   • Format endpoint VPC: https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo.

     Ganti [Region-ID] pada URL di atas dengan ID wilayah tempat instans TDX berada. Contoh kode berikut menunjukkan cara menambahkan repositori menggunakan endpoint VPC di wilayah China (Beijing):

     region="cn-beijing"
     
     sudo yum install -y yum-utils
     sudo yum-config-manager --add-repo https://enclave-${region}.oss-${region}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

2. Instal alat build dan kode contoh.

   sudo yum groupinstall -y "Development Tools"
   sudo yum install -y sgxsdk libtdx-attest-devel

3. Konfigurasikan layanan remote attestation TDX Alibaba Cloud.

   Konfigurasikan PCCS_URL dalam file /etc/sgx_default_qcnl.conf. Untuk contoh ini, PCCS_URL mengarah ke layanan DCAP di wilayah China (Beijing).

   sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.cn-beijing.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

Langkah 3: Instal Ollama

1. Hubungkan ke instans Linux menggunakan Workbench.

2. Jalankan perintah berikut untuk menginstal Ollama.

   curl -fsSL https://ollama.com/install.sh | sh

   Catatan

   Skrip di atas adalah skrip instalasi resmi yang disediakan oleh Ollama. Jika instalasi gagal karena masalah jaringan, Anda dapat melihat situs web resmi Ollama untuk metode instalasi lainnya. Untuk informasi lebih lanjut, lihat panduan instalasi Ollama.

Langkah 4: Unduh dan jalankan DeepSeek-R1 menggunakan Ollama

Karena ukuran file model besar, pengunduhan dapat memakan waktu lama. Kami merekomendasikan menggunakan tool tmux untuk menjaga sesi tetap aktif dan mencegah pengunduhan terputus.

1. Instal tool tmux.

   Jalankan perintah berikut untuk menginstal tool tmux.

   sudo yum install -y tmux

2. Unduh dan jalankan DeepSeek-R1 menggunakan Ollama.

   Jalankan perintah berikut untuk membuat sesi tmux dan mengunduh serta menjalankan model DeepSeek-R1 dalam sesi tersebut.

   # Buat sesi tmux bernama run-deepseek.
   tmux new -s "run-deepseek"
   # Unduh dan jalankan model deepseek-r1 dalam sesi tmux.
   ollama run deepseek-r1:70b

   Output berikut menunjukkan bahwa model telah diunduh dan dimulai. Anda dapat memasukkan /bye untuk keluar dari sesi interaktif.

   ......
   verifying sha256 digest 
   writing manifest 
   success 
   >>> 
   >>> Send a message (/? for help)

3. (Opsional) Sambungkan kembali ke sesi tmux.

   Jika Anda perlu menyambungkan kembali ke sesi tmux setelah koneksi jaringan terputus, jalankan perintah berikut.

   tmux attach -t run-deepseek

Langkah 5: Kompilasi Open WebUI

Agar Open WebUI mendukung layanan pengukuran berbasis TDX, Anda perlu mengunduh plugin pengukuran TDX dan mengompilasi Open WebUI secara manual dari kode sumber.

1. Instal dependensi dan lingkungan yang diperlukan.

   1. Instal Node.js.

      Jalankan perintah berikut untuk menginstal Node.js.

      sudo yum install -y nodejs

      Catatan

      Jika Anda mengalami masalah saat menginstal Node.js dengan manajer paket, coba gunakan Node Version Manager (nvm) untuk menginstal versi Node.js tertentu.

      # Unduh dan instal nvm.
      curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
      # Muat variabel lingkungan nvm.
      source ~/.bashrc
      # Instal Node.js versi 20.18.1.
      nvm install 20.18.1
      # Gunakan versi ini.
      nvm use 20.18.1
      # Verifikasi versinya.
      node --version

   2. Instal Miniforge3 dan konfigurasikan variabel lingkungannya.

      Jalankan perintah berikut untuk menginstal Miniforge3 dan mengonfigurasi variabel lingkungannya guna mengelola lingkungan virtual open-webui.

      # Dapatkan paket instalasi Miniforge3.
      wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
      # Instal miniforge3 secara non-interaktif ke direktori /home/ecs-user/miniforge3.
      bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
      # Atur variabel lingkungan untuk Miniforge3.
      export PATH="/home/ecs-user/miniforge3/bin:$PATH"

   3. Inisialisasi Conda dan verifikasi versinya.

      Jalankan perintah berikut untuk menginisialisasi Conda dan memverifikasi versinya.

      # Inisialisasi Conda.
      conda init
      source ~/.bashrc
      
      # Verifikasi informasi versi.
      conda --version

2. Kompilasi Open WebUI secara manual.

   1. Unduh plugin pengukuran TDX.

      Jalankan perintah berikut untuk mengunduh plugin pengukuran TDX dan beralih ke branch v1.2.

      cd /home/ecs-user
      git clone https://github.com/intel/confidential-computing-zoo.git
      git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
      cd confidential-computing-zoo
      git checkout v1.2

   2. Klon kode sumber Open WebUI.

      Jalankan perintah berikut untuk mengklon kode sumber Open WebUI dan beralih ke branch v0.5.20.

      cd /home/ecs-user
      git clone https://github.com/open-webui/open-webui.git
      
      # Beralih ke branch tag:v0.5.20.
      git config --global --add safe.directory /home/ecs-user/open-webui
      cd /home/ecs-user/open-webui
      git checkout v0.5.20
      
      # Terapkan patch yang disediakan oleh CCZoo, yang menambahkan fitur remote attestation TDX ke open-webui.
      cd /home/ecs-user
      cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
      git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

   3. Buat dan aktifkan lingkungan open-webui.

      Jalankan perintah berikut untuk membuat dan mengaktifkan lingkungan open-webui, yang akan digunakan untuk menjalankan Open WebUI yang telah dikompilasi.

      conda create --name open-webui python=3.11
      conda activate open-webui

   4. Instal plugin "Get TDX Quote".

      cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
      pip install Cython
      python setup.py install

      Setelah perintah dieksekusi, jalankan perintah berikut untuk memverifikasi instalasi. Jika tidak ada error yang dilaporkan, instalasi berhasil.

      python3 -c "import quote_generator"

   5. Kompilasi Open WebUI.

      # Instal dependensi.
      cd /home/ecs-user/open-webui/
      # Konfigurasikan registry npm.
      npm config set registry http://registry.npmmirror.com
      sudo npm install
      # Kompilasi.
      sudo npm run build

      Setelah kompilasi selesai, jalankan perintah berikut untuk menyalin folder build yang dihasilkan ke direktori backend dan menggantinya menjadi frontend.

      rm -rf ./backend/open_webui/frontend
      cp -r build ./backend/open_webui/frontend

      Catatan

      Pada tahap ini, Layanan Remote Attestation Alibaba Cloud telah dikonfigurasi dalam Open WebUI yang telah dikompilasi. Anda dapat menemukan informasi konfigurasi tersebut dalam file /home/ecs-user/open-webui/external/acs-attest-client/index.js.

   6. Konfigurasikan file startup untuk layanan backend Open WebUI.

      Jalankan perintah berikut untuk mengonfigurasi file startup layanan backend Open WebUI dan memberikan izin eksekusi.

      tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
      #Atur alamat dan port layanan. Port default adalah 8080.
      PORT="${PORT:-8080}"
      uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
      EOF
      
      # Tambahkan izin eksekusi ke file startup.
      chmod +x /home/ecs-user/open-webui/backend/dev.sh

   7. Instal dependensi yang diperlukan untuk menjalankan Open WebUI.

      cd /home/ecs-user/open-webui/backend/
      pip install -r requirements.txt -U
      conda deactivate

Langkah 6: Jalankan Open WebUI dan verifikasi attestation TDX

1. Jalankan model besar dan mulai layanan Open WebUI.

   1. (Opsional) Jika layanan Ollama tidak berjalan, jalankan perintah berikut untuk memulainya.

      ollama serve

   2. Jalankan perintah berikut untuk menjalankan model DeepSeek-R1 dengan Ollama.

      ollama run deepseek-r1:70b

   3. Jalankan perintah berikut untuk mengaktifkan lingkungan virtual open-webui.

      conda activate open-webui

   4. Jalankan perintah berikut untuk memulai layanan backend Open WebUI.

      cd /home/ecs-user/open-webui/backend && ./dev.sh

      Output berikut menunjukkan bahwa layanan backend Open WebUI berhasil dimulai.

      ......
      INFO  [open_webui.env] Embedding model set: sentence-transformers/all-MiniLM-L6-v2
      /root/miniforge3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
        warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
      WARNI [langchain_community.utils.user_agent] USER_AGENT environment variable not set, consider setting it to identify your requests.
      
       ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
      ██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
      ██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
      ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
      ╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
       ═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
      
      
      v0.5.20 - building the best open-source AI user interface.
      
      https://github.com/open-webui/open-webui

2. Akses layanan Open WebUI dari browser.

   1. Tambahkan aturan grup keamanan.

      Pada grup keamanan instans komputasi rahasia heterogen Anda, tambahkan aturan yang mengizinkan lalu lintas inbound pada port TCP 8080. Untuk informasi lebih lanjut, lihat Tambahkan aturan grup keamanan.

   2. Akses layanan Open WebUI dari browser.

      Buka browser lokal dan kunjungi http://{ip_address}:{port}. Ganti parameter dengan nilai aktual Anda.

      • {ip_address}: Alamat IP publik instans tempat Open WebUI berada.

      • {port}: Nomor port default adalah 8080.

      Jika remote attestation berhasil, tanda centang hijau akan muncul pada ikon pertama di kotak dialog, seperti yang ditunjukkan pada gambar berikut. Jika tidak, ikon tersebut berwarna merah.

      

      Catatan

      Setiap kali Anda mengklik tombol New Chat, layanan backend secara otomatis mengambil TD Quote dari lingkungan komputasi rahasia, mengirimkannya ke Layanan Remote Attestation, dan mengembalikan hasil autentikasi. Awalnya, ikon ini berwarna merah, yang menunjukkan bahwa attestation sedang tertunda atau gagal. Ikon berubah menjadi hijau setelah remote attestation berhasil.

3. Verifikasi informasi atestasi TDX.

   Anda dapat mengarahkan kursor ke ikon pertama di kotak dialog untuk melihat informasi autentikasi terperinci yang diurai dari TD Quote.

   

   Anda juga dapat melihat informasi terperinci di developer tools browser Anda. Gambar berikut menunjukkan contohnya.