Elastic GPU Service：Membangun lingkungan inferensi LLM yang mendukung pengukuran keamanan pada instance komputasi rahasia heterogen

Langkah 1: Buat instance komputasi rahasia heterogen

aliyun ecs RunInstances \
  --Region cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId 'sg-[SecurityGroupId]' \
  --VSwitchId 'vsw-[VSwitchID]' \
  --KeyPairName [KEY_PAIR_NAME] \

Langkah 2: Bangun lingkungan pembuktian jarak jauh TDX

TDX Report adalah struktur data yang dihasilkan oleh perangkat keras CPU untuk mewakili identitas instance yang mendukung TDX. TDX Report mencakup informasi penting tentang instance yang mendukung TDX, seperti atribut (ATTRIBUTES), register pengukuran yang dapat diperluas waktu proses (RTMR), dan nomor versi keamanan trusted-computing base (TCB) (SVN). TDX Report menggunakan metode kriptografi untuk memastikan integritas informasi. Untuk informasi lebih lanjut, lihat Modul Intel TDX.

1. Impor repositori perangkat lunak YUM untuk komputasi rahasia Alibaba Cloud.

   • URL publik repositori perangkat lunak YUM berformat sebagai berikut: https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo.

   • URL internal repositori perangkat lunak YUM berformat sebagai berikut: https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo.

   Ganti [Region-ID] dalam URL di atas dengan ID wilayah aktual dari instance yang mendukung TDX. Anda hanya dapat membuat instance yang mendukung TDX di wilayah China (Beijing). Untuk mengimpor repositori perangkat lunak YUM dari URL internal yang spesifik untuk wilayah China (Beijing), jalankan perintah berikut:

   region="cn-beijing"
   
   sudo yum install -y yum-utils
   sudo yum-config-manager --add-repo https://enclave-${region}.oss-${region}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

2. Instal alat kompilasi dan kode sampel.

   sudo yum groupinstall -y "Development Tools"
   sudo yum install -y sgxsdk libtdx-attest-devel

3. Konfigurasikan layanan pembuktian jarak jauh TDX Alibaba Cloud.

   Tentukan parameter PCCS_URL dalam file /etc/sgx_default_qcnl.conf. Anda hanya dapat menentukan parameter PCCS_URL untuk menunjuk ke layanan Distributed Cooperative Access Points (DCAP) di wilayah China (Beijing).

   sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.cn-beijing.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

Langkah 3: Instal Ollama

1. Gunakan Workbench untuk terhubung ke instance Linux melalui SSH. Untuk informasi lebih lanjut, lihat Gunakan Workbench untuk Terhubung ke Instance Linux melalui SSH.

2. Jalankan perintah berikut untuk menginstal Ollama:

   curl -fsSL https://ollama.com/install.sh | sh

   Catatan

   Skrip di atas adalah skrip instalasi resmi Ollama. Jika instalasi gagal karena masalah jaringan, gunakan metode instalasi lain. Untuk informasi lebih lanjut, lihat Panduan Instalasi Ollama.

Langkah 4: Gunakan Ollama untuk mengunduh dan menjalankan model DeepSeek-R1

Pengunduhan memakan waktu lama karena ukuran file model besar. Kami sarankan Anda menggunakan alat tmux untuk mempertahankan sesi dan mencegah gangguan pengunduhan.

1. Instal Alat tmux.

   Jalankan perintah berikut untuk menginstal alat tmux:

   sudo yum install -y tmux

2. Gunakan Ollama untuk Mengunduh dan Menjalankan Model DeepSeek-R1.

   Jalankan perintah berikut untuk membuat sesi tmux dan gunakan Ollama untuk mengunduh dan menjalankan model DeepSeek-R1 dalam sesi:

   # Buat sesi tmux bernama run-deepseek.
   tmux new -s "run-deepseek"
   # Unduh dan jalankan model DeepSeek-R1 dalam sesi.
   ollama run deepseek-r1:70b

   Jika output perintah berikut dikembalikan, model telah diunduh dan dimulai. Masukkan /bye untuk keluar dari proses interaksi model.

   ......
   memverifikasi digest sha256 
   menulis manifest 
   sukses 
   >>> 
   >>> Kirim pesan (/? untuk bantuan)

3. (Opsional Bersyarat) Hubungkan Kembali ke Sesi tmux.

   Jika Anda ingin melanjutkan sesi tmux setelah jaringan terputus, jalankan perintah berikut:

   tmux attach -t run-deepseek

Langkah 5: Kompilasi kode di Open WebUI

Jika Anda ingin Open WebUI mendukung layanan pengukuran keamanan berbasis TDX, unduh plugin pengukuran keamanan TDX dan kompilasi kode secara manual di Open WebUI berdasarkan kode sumber Open WebUI. Lakukan langkah-langkah berikut:

1. Instal Perangkat Lunak dan Lingkungan yang Diperlukan.

   1. Instal Node.js.

      Jalankan perintah berikut untuk menginstal Node.js:

      sudo yum install -y nodejs

      Catatan

      Jika terjadi kesalahan saat Anda menginstal Node.js menggunakan manajer paket, Anda dapat menginstal manajer modul npm dan menggunakan npm untuk menginstal versi Node.js yang ditentukan.

      # Instal manajer modul npm.
      sudo yum install -y npm
      # Gunakan npm untuk menginstal versi Node.js yang ditentukan.
      sudo npm install 20.18.1

   2. Instal Miniforge3 dan konfigurasikan variabel lingkungannya.

      Jalankan perintah berikut untuk menginstal Miniforge3 dan konfigurasikan variabel lingkungannya untuk mengelola lingkungan virtual Open WebUI:

      # Dapatkan paket instalasi Miniforge3.
      wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
      # Instal Miniforge3 secara non-interaktif di direktori /home/ecs-user/miniforge3.
      bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
      # Konfigurasikan variabel lingkungan untuk Miniforge3.
      export PATH="/home/ecs-user/miniforge3/bin:$PATH"

   3. Inisialisasi Conda dan verifikasi informasi versinya.

      Jalankan perintah berikut untuk menginisialisasi Conda dan verifikasi informasi versinya:

      # Inisialisasi Conda.
      conda init
      source ~/.bashrc
      
      # Verifikasi informasi versinya
      conda --version

2. Kompilasi Kode Secara Manual di Open WebUI.

   1. Unduh Plugin Pengukuran Keamanan TDX.

      Jalankan perintah berikut untuk mengunduh plugin pengukuran keamanan TDX dan beralih ke cabang v1.2:

      cd /home/ecs-user
      git clone https://github.com/intel/confidential-computing-zoo.git
      git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
      cd confidential-computing-zoo
      git checkout v1.2

   2. Tarik Kode Sumber Open WebUI.

      Jalankan perintah berikut untuk menarik kode sumber Open WebUI dan beralih ke cabang v0.5.20:

      cd /home/ecs-user
      git clone https://github.com/open-webui/open-webui.git
      
      # Beralih ke cabang tag:v0.5.20.
      git config --global --add safe.directory /home/ecs-user/open-webui
      cd /home/ecs-user/open-webui
      git checkout v0.5.20
      
      # Tambahkan patch yang disediakan oleh CCZoo. Patch ini menambahkan fitur terkait pembuktian jarak jauh TDX ke Open WebUI.
      cd /home/ecs-user
      cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
      git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

   3. Buat dan Aktifkan Lingkungan Open WebUI.

      Jalankan perintah berikut untuk membuat lingkungan Open WebUI dan mengaktifkan lingkungan untuk menjalankan lingkungan Open WebUI yang telah dikompilasi:

      conda create --name open-webui python=3.11
      conda activate open-webui

   4. Instal Plugin yang Digunakan untuk Mendapatkan TDX Quote.

      cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
      pip install Cython
      python setup.py install

      Tunggu hingga perintah di atas selesai dijalankan. Kemudian, jalankan perintah berikut untuk memeriksa apakah plugin berhasil diinstal. Jika tidak ada kesalahan yang dikembalikan, instalasi berhasil.

      python3 -c "import quote_generator"

   5. Kompilasi Kode di Open WebUI.

      # Instal dependensi.
      cd /home/ecs-user/open-webui/
      # Konfigurasikan sumber npm.
      npm config set registry http://registry.npmmirror.com
      sudo npm install
      # Kompilasi kode.
      sudo npm run build

      Tunggu hingga kompilasi selesai. Jalankan perintah berikut untuk menyalin folder hasil kompilasi ke direktori backend dan mengganti nama folder menjadi frontend:

      rm -rf ./backend/open_webui/frontend
      cp -r build ./backend/open_webui/frontend

      Catatan

      Pada titik ini, layanan pembuktian jarak jauh Alibaba Cloud telah dikonfigurasikan dalam kode yang dikompilasi di Open WebUI. Anda dapat menemukan informasi konfigurasi di direktori /home/ecs-user/open-webui/external/acs-attest-client/index.js.

   6. Konfigurasikan File Boot untuk Layanan Backend Open WebUI.

      Jalankan perintah berikut untuk mengonfigurasi file boot untuk layanan backend Open WebUI dan memberikan izin agar file boot dapat dieksekusi:

      tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
      # Tentukan port alamat layanan. Port default: 8080.
      PORT="${PORT:-8080}"
      uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
      EOF
      
      # Berikan izin agar file boot dapat dieksekusi.
      chmod +x /home/ecs-user/open-webui/backend/dev.sh

   7. Instal Pustaka Dependensi yang Diperlukan untuk Menjalankan Open WebUI.

      cd /home/ecs-user/open-webui/backend/
      pip install -r requirements.txt -U
      conda deactivate

Langkah 6: Jalankan Open WebUI dan verifikasi informasi otentikasi TDX

1. Jalankan LLM dan Mulai Layanan Open WebUI.

   1. (Opsional Bersyarat) Jika layanan Ollama tidak berjalan, jalankan perintah berikut untuk memulainya:

      ollama serve

   2. Jalankan perintah berikut untuk menggunakan Ollama menjalankan model DeepSeek-R1:

      ollama run deepseek-r1:70b

   3. Jalankan perintah berikut untuk mengaktifkan lingkungan virtual Open WebUI:

      conda activate open-webui

   4. Jalankan perintah berikut untuk memulai layanan backend Open WebUI:

      cd /home/ecs-user/open-webui/backend && ./dev.sh

      Jika output perintah berikut dikembalikan, layanan backend Open WebUI telah dimulai sesuai harapan.

      ......
      INFO  [open_webui.env] Model embedding ditetapkan: sentence-transformers/all-MiniLM-L6-v2
      /root/miniforge3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: Tidak dapat menemukan ffmpeg atau avconv - beralih ke ffmpeg, tetapi mungkin tidak bekerja
        warn("Tidak dapat menemukan ffmpeg atau avconv - beralih ke ffmpeg, tetapi mungkin tidak bekerja", RuntimeWarning)
      WARNI [langchain_community.utils.user_agent] Variabel lingkungan USER_AGENT tidak diatur, pertimbangkan untuk mengaturnya untuk mengidentifikasi permintaan Anda.
      
       ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
      ██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
      ██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
      ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
      ╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
       ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
      
      
      v0.5.20 - membangun antarmuka pengguna AI sumber terbuka terbaik.
      
      https://github.com/open-webui/open-webui

2. Akses Layanan Open WebUI Menggunakan Browser.

   1. Tambahkan Aturan Grup Keamanan yang Mengizinkan Akses.

      Temukan grup keamanan instance komputasi rahasia heterogen Anda dan tambahkan aturan yang mengizinkan klien mengakses port 8080. Untuk informasi lebih lanjut, lihat Tambahkan Aturan Grup Keamanan.

   2. Akses Layanan Open WebUI Menggunakan Browser.

      Buka browser lokal dan akses alamat berikut: http://{ip_address}:{port}. Ganti nilai parameter sesuai kebutuhan.

      • {ip_address}: Alamat IP publik instance tempat Open WebUI berada.

      • {port}: Port instance. Port default: 8080.

      Jika pembuktian jarak jauh berhasil, tanda hijau akan muncul pada ikon pertama di sisi kanan kotak dialog. Gambar berikut menunjukkan tanda hijau. Sebaliknya, tanda merah akan muncul.

      

      Catatan

      Setiap kali Anda mengklik New Chat, layanan backend secara otomatis mendapatkan data Quote dari lingkungan komputasi rahasia TDX, mengirimkan data tersebut ke layanan pembuktian jarak jauh, dan kemudian mengembalikan hasil otentikasi. Dalam keadaan awal, tanda ditampilkan dalam warna merah, yang menunjukkan bahwa pembuktian jarak jauh belum selesai atau gagal. Setelah pembuktian jarak jauh berhasil, tanda tersebut berubah menjadi hijau.

3. Verifikasi Informasi Otentikasi TDX.

   Pindahkan pointer ke ikon pertama di sisi kanan kotak dialog untuk menampilkan informasi pembuktian yang diurai dari TDX Quote.

   

   Anda dapat menggunakan alat pengembang browser Anda untuk melihat detailnya. Gambar berikut menunjukkan detail sampel.