All Products
Search

This Product

    Elastic GPU Service:Bangun lingkungan inferensi LLM terukur pada instans komputasi rahasia heterogen

    Document Center

    Elastic GPU Service:Bangun lingkungan inferensi LLM terukur pada instans komputasi rahasia heterogen

    Last Updated:Jun 18, 2026

    Anda dapat membangun lingkungan inferensi large language model (LLM) dengan pengukuran keamanan pada instans komputasi rahasia heterogen (gn8v-tee) untuk melindungi aset model dan data pengguna sepanjang siklus hidup inferensi.

    Latar Belakang

    Instans komputasi rahasia heterogen Alibaba Cloud (gn8v-tee) dibangun di atas instans komputasi rahasia berbasis CPU dengan Intel® Trust Domain Extensions (TDX) dan mengintegrasikan GPU ke dalam trusted execution environment (TEE). Pendekatan ini melindungi transfer data antara CPU dan GPU serta komputasi di dalam GPU. Solusi ini mengintegrasikan kemampuan measurement dan remote attestation Intel TDX ke dalam layanan inferensi LLM yang berjalan pada instans komputasi rahasia heterogen, sehingga menciptakan alur kerja validasi keamanan dan perlindungan privasi yang menjaga integritas model dan data pengguna sepanjang siklus hidup layanan.

    Solusi ini mengikuti dua prinsip desain berikut:

    • Kerahasiaan: Menjamin bahwa model dan data pengguna hanya diproses di dalam batas aman instans komputasi rahasia, mencegah eksposur teks biasa ke lingkungan eksternal.

    • Integritas: Menjamin bahwa kode, data, dan konfigurasi semua komponen dalam lingkungan layanan inferensi LLM (termasuk framework inferensi, file model, dan antarmuka interaktif) tahan terhadap modifikasi dan dapat diverifikasi melalui proses audit pihak ketiga yang ketat.

    Prinsip keamanan solusi

    Solusi ini menggunakan dua mekanisme keamanan: measurement dan remote attestation.

    • Measurement

      Intel® Trust Domain Extensions (TDX) meningkatkan keamanan mesin virtual (VM) dengan mengisolasi VM tersebut dalam domain tepercaya (TD) yang dilindungi perangkat keras. Saat startup, modul TDX mencatat status guest TD dalam dua set register utama:

      • Build-Time Measurement Register (MRTD): Menangkap measurement terkait konfigurasi awal dan image boot guest VM.

      • Run-Time Measurement Registers (RTMRs): Mencatat measurement dari status awal, image kernel, opsi command-line, serta layanan dan parameter run-time lainnya sesuai kebutuhan.

      Measurement ini membantu menjamin integritas TD dan aplikasi yang berjalan sepanjang siklus hidupnya. Dalam solusi ini, measurement layanan model dan parameter kernel—termasuk yang terkait model Ollama dan DeepSeek serta framework Open WebUI—tercermin dalam RTMRs.

    • Remote attestation

      Remote attestation dalam TDX menyediakan bukti kriptografis kepada pihak jarak jauh mengenai integritas dan keaslian VM rahasia. Proses ini mencakup langkah-langkah utama berikut:

      • Mendapatkan TD Quote:

        1. Klien meminta full remote attestation dari Open WebUI.

        2. Backend Open WebUI mendapatkan laporan remote attestation yang ditandatangani perangkat keras. Laporan ini, yang dikenal sebagai Quote, mencakup MRTD dan RTMRs, yang mencerminkan integritas lingkungan layanan model yang sedang berjalan.

      • Memverifikasi TD Quote: Klien mengirimkan Quote ke layanan attestation tepercaya yang memvalidasinya terhadap kebijakan yang telah ditentukan untuk membangun kepercayaan terhadap layanan model.

      Catatan

      Untuk informasi lebih lanjut tentang Alibaba Cloud Remote Attestation Service, lihat Remote Attestation Service.

    Dengan mengintegrasikan measurement dan attestation, solusi ini memverifikasi integritas dan keaslian layanan model jarak jauh, yang penting untuk keamanan data dan perlindungan privasi.

    Arsitektur teknis

    Bagian berikut menjelaskan komponen-komponen dalam arsitektur:

    • Klien

      Klien menyediakan antarmuka pengguna (UI) bagi pengguna akhir untuk mengakses layanan LLM. Klien memulai sesi, memverifikasi keandalan lingkungan jarak jauh, dan berkomunikasi secara aman dengan layanan backend.

    • Layanan remote attestation

      Komponen ini menggunakan Alibaba Cloud Remote Attestation Service untuk memverifikasi status keamanan lingkungan inferensi model, termasuk trusted computing base (TCB) platform dan layanan inferensi.

    • Komponen layanan inferensi

      • Ollama: Framework penyedia model yang menangani permintaan layanan inferensi model. Solusi ini menggunakan versi v0.5.7.

      • Model DeepSeek: Solusi ini menggunakan versi hasil distilasi dari model DeepSeek-R1-70B (kuantisasi int4).

      • Open WebUI: Antarmuka interaktif berbasis web yang berjalan di dalam VM rahasia dan menerima permintaan layanan model pengguna melalui RESTful API. Solusi ini menggunakan versi v0.5.20.

      • Proyek open-source CCZoo: Solusi ini menggunakan kode sumber Confidential AI. Versi yang digunakan dalam solusi ini adalah v1.2. Untuk informasi lebih lanjut tentang proyek open-source ini, lihat CCZoo.

    Catatan

    Confidential Computing Zoo (CCZoo) adalah kumpulan solusi keamanan untuk skenario komputasi cloud yang membantu developer membangun solusi komputasi rahasia end-to-end. Teknologi keamanan yang terlibat mencakup, namun tidak terbatas pada, TEE (seperti Intel® SGX dan TDX), enkripsi homomorfik (HE) dan akselerasi perangkat kerasnya, remote attestation, LibOS, dan kriptografi berakselerasi perangkat keras. Skenario bisnis mencakup, namun tidak terbatas pada, inferensi AI cloud-native, federated learning, analitik big data, manajemen kunci, dan Remote Procedure Calls (RPC), seperti gRPC.

    Alur kerja

    Alur kerja solusi ini adalah sebagai berikut:

    image

    1. Startup layanan dan measurement

      Measurement lingkungan runtime: Modul TCB platform mengukur integritas lingkungan runtime yang menjalankan layanan model. Hasil measurement disimpan dalam Modul TDX di dalam TCB.

    2. Inisialisasi sesi inferensi

      Buat sesi: Klien (browser) mengirim permintaan sesi baru ke Open WebUI.

    3. Remote attestation

      1. Permintaan attestation: Saat klien memulai permintaan sesi, klien juga meminta bukti attestation (Quote TDX) untuk membuktikan keandalan lingkungan runtime model. Bukti ini memverifikasi semua komponen layanan jarak jauh, termasuk layanan manajemen sesi Open WebUI dan layanan model berbasis Ollama.

      2. Generasi Quote: Backend layanan Open WebUI meneruskan permintaan attestation dari proses pembuatan sesi pengguna ke VM rahasia berbasis Intel TDX. VM rahasia kemudian menghasilkan laporan remote attestation TDX (Quote TDX) yang mencakup rantai sertifikat lengkap.

      3. Verifikasi Quote: Klien mengirimkan bukti yang diterima (Quote) ke Remote Attestation Service untuk verifikasi. Layanan attestation memvalidasi bukti (termasuk tanda tangan digital, rantai sertifikat, dan kebijakan keamanan) dan mengembalikan hasil yang mengonfirmasi status keamanan dan integritas lingkungan layanan model jarak jauh.

    4. Layanan inferensi model besar rahasia

      1. Remote attestation berhasil: Klien dapat sepenuhnya mempercayai layanan model jarak jauh karena status keamanannya telah diverifikasi. Bagi pengguna akhir, risiko kebocoran data sangat rendah (meskipun setiap sistem memiliki tingkat risiko tertentu).

      2. Remote attestation gagal: Layanan attestation mengembalikan pesan error. Dalam kasus ini, pengguna atau sistem dapat memilih untuk membatalkan permintaan layanan berikutnya atau melanjutkan setelah menerima peringatan mengenai potensi risiko keamanan. Layanan model jarak jauh mungkin menghadapi risiko keamanan data pada titik ini.

    Prosedur

    Langkah 1: Buat instans komputasi rahasia heterogen

    Penting

    Data model yang diunduh oleh Ollama disimpan ke direktori /usr/share/ollama/.ollama/models. Karena file model biasanya berukuran besar (misalnya, model DeepSeek-R1 70B terkuantisasi berukuran sekitar 40 GB), saat membuat instans, pilih ukuran disk cloud berdasarkan model yang akan Anda jalankan. Kami merekomendasikan ukuran disk cloud dua hingga tiga kali ukuran file model.

    Konsol

    Membuat instans komputasi rahasia heterogen mirip dengan membuat instans standar tetapi memerlukan konfigurasi khusus. Untuk konfigurasi umum, lihat Buat instans menggunakan wizard.

    1. Buka ECS console - Instances.

    2. Di pojok kiri atas halaman, pilih wilayah dan kelompok sumber daya.地域

    3. Klik Create Instance dan konfigurasikan instans dengan pengaturan berikut.

      Item Konfigurasi

      Deskripsi

      Wilayah dan Zona

      China (Beijing) Zona L

      Tipe Instans

      ecs.gn8v-tee.4xlarge atau lebih tinggi.

      Image

      Pilih image Alibaba Cloud Linux 3.2104 LTS 64-bit.

      Alamat IP Publik

      Assign Public IPv4 Address. Diperlukan untuk mengunduh driver NVIDIA nanti.

      Penting

      Saat membuat atau me-restart instans rahasia dengan 8 GPU, jangan menyambungkan ENI sekunder tambahan atau disk data. Hal ini dapat menyebabkan kegagalan startup.

      Penyebab dan solusi

      Instans ECS dengan TDX aktif menggunakan wilayah memori non-enkripsi, Software Input Output Translation Lookaside Buffer (SWIOTLB), untuk komunikasi periferal. Secara default, ukuran SWIOTLB adalah 6% dari memori yang tersedia, dengan maksimum 1 GiB.

      Menyambungkan beberapa ENI atau disk data ke instans rahasia dengan 8 GPU dapat menghabiskan memori SWIOTLB, menyebabkan kegagalan alokasi memori yang mencegah startup.

      Jika instans gagal start:

      • Solusi 1: Hentikan instans, lepas ENI sekunder tambahan, dan lepaskan semua disk data.

      • Solusi 2: Buat instans baru dengan hanya satu ENI primer, tanpa disk data, dan hanya disk sistem.

      Untuk menambahkan beberapa ENI atau disk data ke instans rahasia dengan 8 GPU, pertama-tama selesaikan Langkah 1 untuk meningkatkan buffer SWIOTLB menjadi 8 GB. Kemudian sambungkan ENI ke instans dan sambungkan disk data.

    4. Selesaikan pembuatan instans dengan mengikuti instruksi di layar.

    API/CLI

    Panggil operasi RunInstances atau gunakan Alibaba Cloud CLI untuk membuat instans ECS yang mendukung TDX. Parameter utama:

    Parameter

    Deskripsi

    Contoh

    RegionId

    China (Beijing)

    cn-beijing

    ZoneId

    Zona L

    cn-beijing-l

    InstanceType

    ecs.gn8v-tee.4xlarge atau lebih tinggi.

    ecs.gn8v-tee.4xlarge

    ImageId

    ID image yang mendukung komputasi rahasia. Hanya image Alibaba Cloud Linux 3.2104 LTS 64-bit dengan versi kernel 5.10.134-18.al8.x86_64 atau lebih baru.

    aliyun_3_x64_20G_alibase_20250117.vhd

    Contoh CLI:

    <SECURITY_GROUP_ID>: ID security group. <VSWITCH_ID>: ID vSwitch. <KEY_PAIR_NAME>: nama pasangan kunci SSH.
    aliyun ecs RunInstances \
  --RegionId cn-beijing \
  --ZoneId cn-beijing-l \
  --SystemDisk.Category cloud_essd \
  --ImageId 'aliyun_3_x64_20G_alibase_20250117.vhd' \
  --InstanceType 'ecs.gn8v-tee.4xlarge' \
  --SecurityGroupId '<SECURITY_GROUP_ID>' \
  --VSwitchId '<VSWITCH_ID>' \
  --KeyPairName <KEY_PAIR_NAME>

    Langkah 2: Bangun lingkungan remote attestation TDX

    Laporan TDX adalah struktur data yang dihasilkan CPU yang merepresentasikan identitas instans TDX. Laporan ini berisi informasi penting, seperti ATTRIBUTES, Runtime-extendable Measurement Registers (RTMRs), dan Trusted Computing Base Security Version Numbers (TCB SVNs), serta menggunakan metode kriptografis untuk melindungi integritasnya. Lihat Intel TDX Module.

    1. Tambahkan repositori yum komputasi rahasia Alibaba Cloud.

      • Format endpoint publik: https://enclave-[Region-ID].oss-[Region-ID].aliyuncs.com/repo/alinux/enclave-expr.repo.

      • Format endpoint VPC: https://enclave-[Region-ID].oss-[Region-ID]-internal.aliyuncs.com/repo/alinux/enclave-expr.repo.

        Ganti [Region-ID] dengan ID wilayah instans TDX. Contoh berikut menggunakan metadata instans untuk mendapatkan ID wilayah secara dinamis:

        token=$(curl -s -X PUT -H "X-aliyun-ecs-metadata-token-ttl-seconds: 5" "http://100.100.100.200/latest/api/token")
region_id=$(curl -s -H "X-aliyun-ecs-metadata-token: $token" http://100.100.100.200/latest/meta-data/region-id)

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://enclave-${region_id}.oss-${region_id}-internal.aliyuncs.com/repo/alinux/enclave-expr.repo

    2. Instal alat build dan kode contoh.

      sudo yum groupinstall -y "Development Tools"
sudo yum install -y sgxsdk libtdx-attest-devel

    3. Konfigurasikan layanan remote attestation TDX Alibaba Cloud.

      Atur PCCS_URL di /etc/sgx_default_qcnl.conf. Contoh berikut menggunakan metadata instans untuk mendapatkan ID wilayah secara dinamis dan mengonfigurasi layanan DCAP:

      token=$(curl -s -X PUT -H "X-aliyun-ecs-metadata-token-ttl-seconds: 5" "http://100.100.100.200/latest/api/token")
region_id=$(curl -s -H "X-aliyun-ecs-metadata-token: $token" http://100.100.100.200/latest/meta-data/region-id)

sudo sed -i.$(date "+%m%d%y") 's|PCCS_URL=.*|PCCS_URL=https://sgx-dcap-server.${region_id}.aliyuncs.com/sgx/certification/v4/|' /etc/sgx_default_qcnl.conf

    Langkah 3: Instal Ollama

    1. Hubungkan ke instans Linux menggunakan password atau kunci.

    2. Jalankan perintah berikut untuk menginstal Ollama.

      curl -fsSL https://ollama.com/install.sh | sh
      Catatan

      Skrip di atas adalah skrip instalasi resmi yang disediakan oleh Ollama. Jika instalasi gagal karena masalah jaringan, Anda dapat merujuk ke situs web resmi Ollama dan memilih metode instalasi lain. Untuk informasi lebih lanjut, lihat panduan instalasi Ollama untuk Linux.

    Langkah 4: Unduh dan jalankan DeepSeek-R1 dengan Ollama

    File model berukuran besar, sehingga pengunduhan mungkin memakan waktu lama. Kami merekomendasikan Anda menggunakan tmux untuk mencegah pengunduhan terganggu oleh pemutusan jaringan.

    1. Instal tmux

      Jalankan perintah berikut untuk menginstal tmux.

      sudo yum install -y tmux

    2. Unduh dan jalankan DeepSeek-R1 dengan Ollama

      Jalankan perintah berikut untuk membuat sesi tmux dan kemudian mengunduh serta menjalankan model DeepSeek-R1 dalam sesi tersebut.

      # Buat sesi tmux bernama run-deepseek
tmux new -s "run-deepseek"
# Unduh dan jalankan model deepseek-r1 dalam sesi tmux
ollama run deepseek-r1:70b

      Output berikut menunjukkan bahwa model telah berhasil diunduh dan dimulai. Anda dapat memasukkan /bye untuk keluar dari interaksi model.

      ......
verifying sha256 digest 
writing manifest 
success 
>>> 
>>> Send a message (/? for help)

    3. (Opsional) Sambungkan kembali ke sesi tmux

      Jika Anda perlu memulihkan sesi tmux setelah pemutusan jaringan, jalankan perintah berikut:

      tmux attach -t run-deepseek

    Langkah 5: Kompilasi Open WebUI

    Untuk mengaktifkan Open WebUI menggunakan layanan measurement berbasis TDX, unduh plugin measurement TDX dan kompilasi Open WebUI dari source.

    Penting

    Contoh berikut menggunakan /home/ecs-user sebagai direktori kerja. Gantilah sesuai lingkungan Anda.

    1. Instal dependensi dan siapkan lingkungan

      1. Instal Node.js.

        Jalankan perintah berikut untuk menginstal Node.js.

        sudo yum install -y nodejs
        Catatan

        Jika Anda mengalami masalah saat menginstal Node.js dengan manajer paket, Anda dapat mencoba menggunakan Node Version Manager (nvm) untuk menginstal versi tertentu Node.js.

        # Unduh dan instal nvm
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
# Muat variabel lingkungan nvm
source ~/.bashrc
# Instal Node.js versi 20.18.1
nvm install 20.18.1
# Gunakan versi ini
nvm use 20.18.1
# Verifikasi versi
node --version

      2. Instal Miniforge3 dan konfigurasikan variabel lingkungannya.

        Jalankan perintah berikut untuk menginstal Miniforge3 dan mengonfigurasi variabel lingkungannya untuk mengelola lingkungan virtual open-webui.

        # Dapatkan paket instalasi Miniforge3
wget https://github.com/conda-forge/miniforge/releases/download/24.11.3-2/Miniforge3-24.11.3-2-Linux-x86_64.sh
# Instal miniforge3 secara non-interaktif ke direktori /home/ecs-user/miniforge3
bash Miniforge3-24.11.3-2-Linux-x86_64.sh -bu -p /home/ecs-user/miniforge3
# Atur variabel lingkungan untuk Miniforge3
export PATH="/home/ecs-user/miniforge3/bin:$PATH"

      3. Inisialisasi Conda dan verifikasi versinya.

        Jalankan perintah berikut untuk menginisialisasi Conda dan memverifikasi versinya.

        # Inisialisasi Conda
conda init
source ~/.bashrc
# Verifikasi informasi versi
conda --version

    2. Kompilasi Open WebUI secara manual

      1. Unduh plugin measurement TDX.

        Jalankan perintah berikut untuk mengunduh plugin measurement TDX dan beralih ke branch v1.2.

        cd /home/ecs-user
git clone https://github.com/intel/confidential-computing-zoo.git
git config --global --add safe.directory /home/ecs-user/confidential-computing-zoo
cd confidential-computing-zoo
git checkout v1.2

      2. Klon kode sumber Open WebUI.

        Jalankan perintah berikut untuk mengklon kode sumber Open WebUI dan beralih ke tag v0.5.20.

        cd /home/ecs-user
git clone https://github.com/open-webui/open-webui.git
# Beralih ke tag v0.5.20
git config --global --add safe.directory /home/ecs-user/open-webui
cd /home/ecs-user/open-webui
git checkout v0.5.20
# Terapkan patch dari CCZoo. Patch ini menambahkan fitur remote attestation TDX ke open-webui.
cd /home/ecs-user
cp /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/open-webui-patch/v0.5.20-feature-cc-tdx-v1.0.patch .
git apply --ignore-whitespace --directory=open-webui/ v0.5.20-feature-cc-tdx-v1.0.patch

      3. Buat dan aktifkan lingkungan open-webui.

        Jalankan perintah berikut untuk membuat dan mengaktifkan lingkungan open-webui, yang digunakan untuk menjalankan Open WebUI yang telah dikompilasi.

        conda create --name open-webui python=3.11
conda activate open-webui

      4. Instal plugin measurement TDX.

        cd /home/ecs-user/confidential-computing-zoo/cczoo/confidential_ai/tdx_measurement_plugin/
pip install Cython
python setup.py install

        Setelah perintah selesai, jalankan perintah berikut untuk memverifikasi instalasi. Jika tidak ada error yang dikembalikan, instalasi berhasil.

        python3 -c "import quote_generator"

      5. Bangun Open WebUI.

        # Instal dependensi
cd /home/ecs-user/open-webui/
# Konfigurasikan registry npm
npm config set registry http://registry.npmmirror.com
sudo npm install
# Bangun
sudo npm run build

        Setelah proses build selesai, jalankan perintah berikut untuk menyalin direktori build yang dihasilkan ke direktori backend dan menggantinya menjadi frontend:

        rm -rf ./backend/open_webui/frontend
cp -r build ./backend/open_webui/frontend
        Catatan

        Pada tahap ini, Alibaba Cloud Remote Attestation Service telah dikonfigurasi dalam Open WebUI yang telah dikompilasi. Anda dapat menemukan informasi konfigurasi tersebut di file /home/ecs-user/open-webui/external/acs-attest-client/index.js.

      6. Konfigurasikan file startup untuk layanan backend Open WebUI.

        Jalankan perintah berikut untuk mengonfigurasi file startup layanan backend Open WebUI dan memberikan izin eksekusi:

        tee /home/ecs-user/open-webui/backend/dev.sh << 'EOF'
#Atur alamat dan port layanan. Port default adalah 8080.
PORT="${PORT:-8080}"
uvicorn open_webui.main:app --port $PORT --host 0.0.0.0 --forwarded-allow-ips '*' --reload
EOF
# Tambahkan izin eksekusi ke file startup
chmod +x /home/ecs-user/open-webui/backend/dev.sh

      7. Instal dependensi yang diperlukan untuk menjalankan Open WebUI.

        cd /home/ecs-user/open-webui/backend/
pip install -r requirements.txt -U
conda deactivate

    Langkah 6: Jalankan Open WebUI dan verifikasi attestation TDX

    1. Jalankan model bahasa besar dan mulai layanan Open WebUI

      1. (Opsional) Jika layanan Ollama tidak berjalan, Anda dapat memulainya dengan menjalankan perintah berikut.

        ollama serve

      2. Jalankan perintah berikut untuk menjalankan model DeepSeek-R1 dengan Ollama.

        ollama run deepseek-r1:70b

      3. Jalankan perintah berikut untuk mengaktifkan lingkungan virtual open-webui.

        conda activate open-webui

      4. Jalankan perintah berikut untuk memulai layanan backend Open WebUI.

        cd /home/ecs-user/open-webui/backend && ./dev.sh

        Output berikut menunjukkan bahwa layanan backend Open WebUI telah berhasil dimulai.

        ......
INFO  [open_webui.env] Embedding model set: sentence-transformers/all-MiniLM-L6-v2
/root/miniforge3/envs/open-webui/lib/python3.12/site-packages/pydub/utils.py:170: RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work
  warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
WARNI [langchain_community.utils.user_agent] USER_AGENT environment variable not set, consider setting it to identify your requests.
 ██████╗ ██████╗ ███████╗███╗   ██╗    ██╗    ██╗███████╗██████╗ ██╗   ██╗██╗
██╔═══██╗██╔══██╗██╔════╝████╗  ██║    ██║    ██║██╔════╝██╔══██╗██║   ██║██║
██║   ██║██████╔╝█████╗  ██╔██╗ ██║    ██║ █╗ ██║█████╗  ██████╔╝██║   ██║██║
██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║    ██║███╗██║██╔══╝  ██╔══██╗██║   ██║██║
╚██████╔╝██║     ███████╗██║ ╚████║    ╚███╔███╔╝███████╗██████╔╝╚██████╔╝██║
 ═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝     ╚══╝╚══╝ ╚══════╝╚═════╝  ╚═════╝ ╚═╝
v0.5.20 - building the best open-source AI user interface.
https://github.com/open-webui/open-webui

    2. Akses layanan Open WebUI dari browser

      1. Tambahkan aturan security group.

        Di security group instans komputasi rahasia heterogen Anda, tambahkan aturan untuk mengizinkan akses klien ke port 8080. Untuk informasi lebih lanjut, lihat Tambahkan aturan security group.

      2. Akses layanan Open WebUI dari browser.

        Buka browser lokal Anda dan kunjungi alamat berikut: http://{ip_address}:{port}. Ganti parameter sesuai kebutuhan:

        • {ip_address}: Alamat IP publik instans tempat Open WebUI berada.

        • {port}: Nomor port default adalah 8080.

        Jika remote attestation berhasil, tanda centang hijau muncul pada ikon pertama di kotak dialog. Jika tidak, ikon berwarna merah.

        Setelah akses berhasil, antarmuka chat Open WebUI untuk model deepseek-r1:70b ditampilkan. Indikator status remote attestation berada di sebelah nama model di pojok kiri atas.

        Catatan

        Setiap kali Anda mengklik tombol New Chat, layanan backend secara otomatis mengambil data Quote dari lingkungan komputasi rahasia TDX, mengirimkannya ke Remote Attestation Service, dan memproses hasil attestation yang dikembalikan. Secara default, ikon ini berwarna merah, yang menunjukkan bahwa remote attestation belum selesai atau gagal. Ikon berubah menjadi hijau setelah remote attestation berhasil.

    3. Verifikasi informasi attestation TDX

      Anda dapat mengarahkan kursor ke ikon status attestation untuk melihat informasi attestation terperinci dari Quote TDX yang telah diurai.

      Panel informasi attestation mencakup bidang seperti jti, tee (dengan nilai tdx), timestamp exp/iat, mr_td, rtmr_0 hingga rtmr_3, mr_seam, seam_attributes, td_attributes, dan xfam, beserta nilai hash heksadesimal yang sesuai.

      Anda dapat melihat informasi terperinci di developer tools browser Anda. Contoh output sebagai berikut.

      Attestation Display info:
{jti: 'c1e24a09-daf5-4064-a8a9-642c8c18c7fe', tee: 'tdx', exp: '2025-04-22 00:16:21 Asia/Shanghai', iat: '2025-04-21 18:16:21 Asia/Shanghai', mr_td: 'b0e52c59577523b17ad553c6fffb0f5f3496dbf3ccca69fbb2ea87cf4f938157550005c92a98130d8d30507ca5c652df', …}
exp: "2025-04-22 00:16:21 Asia/Shanghai"
iat: "2025-04-21 18:16:21 Asia/Shanghai"
jti: "c1e24a09-daf5-4064-a8a9-642c8c18c7fe"
mr_seam: "1cc6a17ab799e9a693fac7536be61c12ee1e0fabada82d0c999e08ccee2aa86de77b0870f558c570e7ffe55d6d47fa04"
mr_td: "b0e52c59577523b17ad553c6fffb0f5f3496dbf3ccca69fbb2ea87cf4f938157550005c92a98130d8d30507ca5c652df"
rtmr_0: "78be53d723b6be3f82997e3e8291f133b5d0a9905c17e5f95308c7db488e22da3405fc2e3b60f6291c38304096a17d21"
rtmr_1: "216e85c7541a45bfbb9fe0521c72886bf8f47493d6027f2e33afe50a6d2f946904350780b0f205ee447bf08d29f60e4e"
rtmr_2: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
rtmr_3: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
seam_attributes: "0000000000000000"
td_attributes: "0000001000000000"
tee: "tdx"
xfam: "e742060000000000"
[[Prototype]]: Object
ALL Attestation info
{jti: 'c1e24a09-daf5-4064-a8a9-642c8c18c7fe', tee: 'tdx', exp: '2025-04-22 00:16:21 Asia/Shanghai', iat: '2025-04-21 18:16:21 Asia/Shanghai', mr_td: 'b0e52c59577523b17ad553c6fffb0f5f3496dbf3ccca69fbb2ea87cf4f938157550005c92a98130d8d30507ca5c652df', …}
att_key_type: "0200"
exp: "2025-04-22 00:16:21 Asia/Shanghai"
iat: "2025-04-21 18:16:21 Asia/Shanghai"
jti: "c1e24a09-daf5-4064-a8a9-642c8c18c7fe"
mr_condif_id: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
mr_owner: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
mr_seam: "1cc6a17ab799e9a693fac7536be61c12ee1e0fabada82d0c999e08ccee2aa86de77b0870f558c570e7ffe55d6d47fa04"
mr_td: "b0e52c59577523b17ad553c6fffb0f5f3496dbf3ccca69fbb2ea87cf4f938157550005c92a98130d8d30507ca5c652df"
rtmr_0: "78be53d723b6be3f82997e3e8291f133b5d0a9905c17e5f95308c7db488e22da3405fc2e3b60f6291c38304096a17d21"
rtmr_1: "216e85c7541a45bfbb9fe0521c72886bf8f47493d6027f2e33afe50a6d2f946904350780b0f205ee447bf08d29f60e4e"
rtmr_2: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
rtmr_3: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
seam_attributes: "0000000000000000"
td_attributes: "0000001000000000"
tee: "tdx"
xfam: "e742060000000000"
[[Prototype]]: Object
mr_owner_config: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
mr_seam: "1cc6a17ab799e9a693fac7536be61c12ee1e0fabada82d0c999e08ccee2aa86de77b0870f558c570e7ffe55d6d47fa04"
mr_servicetd: "383c87d3bbb047b2d171eaca95312ede99f258088dc788f6ae2ccf8b6dd848fe8d47629e08b3f6cbd4a0ddd47a5..."
mr_td: "b0e52c59577523b17ad553c6fffb0f5f3496dbf3ccca69fbb2ea87cf4f938157550005c92a98130d8d30507ca5c652df"
mrsigner_seam: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
rtmr_0: "78be53d723b6be3f82997e3e8291f133b5d0a9905c17e5f95308c7db488e22da3405fc2e3b60f6291c38304096a17d21"
rtmr_1: "216e85c7541a45bfbb9fe0521c72886bf8f47493d6027f2e33afe50a6d2f946904350780b0f205ee447bf08d29f60e4e"
rtmr_2: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
rtmr_3: "000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000"
seam_attributes: "0000000000000000"
tcb_svn: "05010600000000000000000000000000"
td_attributes: "0000001000000000"
td_attributes.debug: false

    FAQ

    Pengunduhan paket pip lambat

    • Gejala: Pengunduhan paket lambat atau gagal saat Anda menginstal paket dengan pip.

    • Penyebab: Akses jaringan yang tidak stabil ke sumber perangkat lunak pip resmi.

    • Solusi: Anda dapat menggunakan mirror Alibaba Cloud untuk mempercepat proses.

      Konfigurasi global

      Tambahkan konten berikut ke file ~/.pip/pip.conf Anda.

      [global]
index-url = https://mirrors.aliyun.com/pypi/simple/

      Perintah tunggal

      Saat menjalankan perintah pip install, Anda dapat menambahkan parameter -i untuk menentukan alamat sumber perangkat lunak guna mempercepat instalasi. Contoh berikut menunjukkan cara menginstal paket torch. Gantilah sesuai kebutuhan.

      pip install torch -i https://mirrors.aliyun.com/pypi/simple/

    "Cannot find package" error

    • Gejala: Error Cannot find package terjadi saat Anda mengompilasi Open WebUI.

    • Penyebab: Paket yang diperlukan tidak ada di lingkungan build.

    • Solusi: Anda harus menginstal paket yang hilang dengan npm dan kemudian mengompilasi ulang. Contoh berikut menunjukkan cara menginstal paket pyodide. Gantilah berdasarkan pesan error aktual.

      npm install pyodide

    Referensi

    Open WebUI hanya mendukung HTTP secara default. Untuk mengamankan data dalam transmisi, Anda dapat menerapkan HTTPS menggunakan Alibaba Cloud Server Load Balancer (SLB). Untuk informasi lebih lanjut, lihat Konfigurasikan autentikasi satu arah untuk permintaan HTTPS.