workbench perutean cerdas LLM, WebUI, manajemen pengguna - Platform For AI

Workbench WebUI adalah antarmuka manajemen visual untuk perutean cerdas LLM, yang menyediakan manajemen pengguna berbasis peran, alokasi Kunci API independen, Pemantauan waktu nyata, dan pembaruan konfigurasi hot. Fitur-fitur ini memungkinkan isolasi identitas pengguna dan audit akses, sehingga mengurangi kompleksitas operasional.

Ikhtisar fitur

Anda dapat mengaktifkan fitur manajemen pengguna di workbench sesuai kebutuhan. Saat fitur ini dinonaktifkan, workbench menyediakan modul-modul berikut:

Real-time monitoring: Menampilkan metrik kinerja near-real-time seperti throughput, latency, dan TTFT, serta distribusi kode status dan status operasional gateway, scheduler, dan instans inferensi, membantu Anda mendeteksi anomali dan mengidentifikasi bottleneck kinerja dengan cepat.
Configuration center: Mendukung pembaruan hot untuk parameter inti, termasuk traffic splitting proxy, scheduling policy, request throttling, dan traffic mirroring. Perubahan langsung berlaku tanpa perlu restart layanan, sehingga ideal untuk penyetelan dinamis di lingkungan produksi. Untuk informasi selengkapnya, lihat configuration center.
Smart chat: Menyediakan antarmuka visual untuk pengujian chat. Anda dapat mengirim permintaan teks atau gambar langsung ke layanan perutean cerdas LLM dan menggunakan log HTTP untuk debugging, sehingga memungkinkan Anda memvalidasi perilaku traffic splitting proxy dengan cepat.

Mengaktifkan manajemen pengguna akan membuat sistem pengguna yang komprehensif, ideal untuk perusahaan tempat beberapa tim berbagi layanan LLM. Hal ini menambahkan modul-modul berikut:

Data overview: Menampilkan konsumsi token dan distribusi volume permintaan berdasarkan pengguna dan departemen. Anda dapat memfilter data berdasarkan rentang waktu dan dimensi pengguna untuk membantu admin mengidentifikasi pengguna dengan penggunaan tinggi.
User management: Anda dapat membuat, mengambil, memperbarui, dan menghapus pengguna, serta mengaktifkan atau menonaktifkan mereka dan mengelola Kunci API mereka. Operasi ini juga dapat dilakukan melalui API. Untuk informasi selengkapnya, lihat user management API reference.
Audit log: Mencatat operasi manajemen seperti login dan logout, modifikasi pengguna, reset Kunci API, dan perubahan konfigurasi. Log mencatat waktu, operator, dan objek resource untuk setiap aksi. Anda dapat memfilter log berdasarkan waktu, jenis operasi, dan operator untuk audit kepatuhan dan pelacakan masalah.
User center: Pengguna dapat mengelola profil mereka, melihat dan mereset Kunci API mereka sendiri, serta meninjau statistik permintaan pribadi dan catatan konsumsi token mereka.

Modul yang tersedia untuk setiap peran adalah sebagai berikut:

Role	Permissions
regular user	smart chat, user center (view personal statistics)
admin	All permissions of a regular user, plus: data overview (view all user statistics), Real-time monitoring, configuration center (read-only)
system admin	All permissions of an admin, plus: user management, audit log, configuration center (read and write)

Akses workbench

Prasyarat: Anda telah men-deploy layanan perutean cerdas LLM, atau layanan agregat yang mencakup layanan perutean cerdas LLM.

Prosedur:

Login ke PAI console dan buka tab layanan inferensi EAS.
Temukan layanan perutean cerdas LLM target.
Pada kolom Invocation / Logs / Monitoring layanan tersebut, klik ikon web app.
Pada jendela pop-up, temukan workbench WebUI dan buka admin workbench.

Setelah admin membuat pengguna di halaman manajemen pengguna, pengguna tersebut dapat login ke workbench WebUI melalui User Login portal menggunakan Kunci API mereka.

Configuration center

Configuration center mendukung pembaruan hot untuk konfigurasi inti perutean cerdas LLM, yang langsung berlaku tanpa perlu restart layanan. Diagram berikut menunjukkan tahapan penerapan masing-masing konfigurasi.

Configuration type	Description
scheduling policy	Mengonfigurasi kebijakan untuk menjadwalkan permintaan ke instans inferensi. Dalam mode pemisahan PD, Anda dapat mengonfigurasi kebijakan terpisah untuk fase Prefill dan Decode.
model routing	Mengarahkan permintaan ke instans yang sesuai berdasarkan bidang `model` dalam permintaan. Jika tidak ditemukan kecocokan untuk model tersebut, permintaan akan ditangani oleh model default yang dikonfigurasi.
traffic splitting proxy	Meneruskan permintaan ke layanan API upstream eksternal yang dikonfigurasi berdasarkan awalan model atau bobot.
request throttling	Membatasi konkurensi permintaan backend. Saat batas terlampaui, Anda dapat memilih untuk segera menolak permintaan atau menempatkannya dalam antrian. Anda dapat menetapkan batas konkurensi terpisah untuk seluruh siklus hidup, fase Prefill, dan fase Decode. Layanan eksternal yang ditentukan dalam traffic splitting proxy, seperti DashScope, tunduk pada aturan pembatasan kecepatan mereka sendiri dan tidak dipengaruhi oleh konfigurasi ini.
traffic mirroring	Menyalin persentase tertentu dari trafik produksi ke alamat target. Fitur ini digunakan untuk validasi canary, perbandingan kinerja, atau pengumpulan data, tanpa memengaruhi respons normal.
global scheduling	Saat sumber daya inferensi di wilayah saat ini tidak mencukupi, scheduler mengarahkan trafik ke instans layanan inferensi di wilayah lain yang menganggur. Hal ini memungkinkan pooling komputasi global dan pemanfaatan sumber daya yang efisien.

User management API reference

Autentikasi: Semua panggilan API harus menyertakan Kunci API system admin di header permintaan: Authorization: Bearer <admin_api_key>.

Saat melakukan panggilan, ganti https://gateway.example.com dalam contoh dengan titik akhir perutean cerdas LLM Anda, misalnya http://xxx.cn-shanghai.pai-eas.aliyuncs.com/api/predict/ai_assistant.ai_gw.

1. Periksa pengguna

Memeriksa apakah pengguna ada berdasarkan ID karyawan.

Request: GET /api/users/check?employee_id={employee_id}

Parameter:

Parameter	Type	Required	Description
employee_id	string	Yes	ID karyawan.

Contoh:

curl -X GET "https://gateway.example.com/api/users/check?employee_id=12345" \
-H "Authorization: Bearer <admin_api_key>"

2. Buat pengguna

Membuat pengguna baru dan mengembalikan Kunci API mereka.

Request: POST /api/users

Parameter:

Parameter	Type	Required	Description
name	string	Yes	Nama pengguna.
email	string	No	Alamat email.
employee_id	string	No	ID karyawan.
department	string	No	Departemen.
role	string	No	Peran pengguna. Default: `user`. Nilai opsional: `admin`.
metadata	object	No	Informasi tambahan.

Contoh:

curl -X POST "https://gateway.example.com/api/users" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"name":"John Doe","email":"john.doe@company.com","employee_id":"12345","department":"Engineering"}'

3. Ambil data pengguna

Mengambil informasi tentang semua pengguna atau satu pengguna tertentu.

Request:

GET /api/users (mengambil semua pengguna)
GET /api/users/{user_id} (mengambil satu pengguna)

Contoh:

# Retrieve all users
curl -X GET "https://gateway.example.com/api/users" \
-H "Authorization: Bearer <admin_api_key>"

# Retrieve a single user
curl -X GET "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>"

4. Reset Kunci API

Meriset Kunci API pengguna dan mengembalikan kunci baru.

Request: POST /api/users/{user_id}/regenerate-key

Contoh:

curl -X POST "https://gateway.example.com/api/users/user_xxx/regenerate-key" \
-H "Authorization: Bearer <admin_api_key>"

5. Perbarui pengguna

Memperbarui informasi pengguna.

Request: PUT /api/users/{user_id}

Parameter:

Parameter	Type	Required	Description
name	string	Yes	Nama pengguna.
email	string	No	Alamat email.
employee_id	string	No	ID karyawan.
department	string	No	Departemen.
role	string	No	Peran pengguna. Default: `user`. Nilai opsional: `admin`.
enabled	boolean	No	Menentukan apakah pengguna diaktifkan.
metadata	object	No	Informasi tambahan.

Contoh:

curl -X PUT "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"department":"New Product","email":"john.doe@newcompany.com"}'

6. Hapus pengguna

Menghapus pengguna tertentu.

Request: DELETE /api/users/{user_id}

Contoh:

curl -X DELETE "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>"

7. Provisioning pengguna

API Provision membuat pengguna baru atau mereset Kunci API, lalu menghasilkan tautan provisioning sekali pakai. Pengguna dapat menggunakan tautan ini untuk mengambil Kunci API mereka. Dibandingkan dengan pembuatan pengguna langsung (POST /api/users), metode provisioning lebih aman:

Pengguna mengambil Kunci API mereka melalui tautan khusus, sehingga mencegah kunci dikirimkan dalam teks biasa.
Tautan secara otomatis kedaluwarsa setelah 24 jam.
Tautan hanya dapat digunakan sekali dan menjadi tidak valid setelah digunakan.

7.1 Provision pengguna baru

Request: POST /api/provision

Contoh:

curl -X POST "https://gateway.example.com/api/provision" \
  -H "Authorization: Bearer <admin_api_key>" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "John Doe",
    "email": "john.doe@company.com",
    "employee_id": "12345",
    "department": "Engineering"
  }'

7.2 Reset kunci melalui provisioning

Gunakan metode ini ketika pengguna sudah ada tetapi memerlukan Kunci API baru.

Request: POST /api/provision/reset

Contoh:

curl -X POST "https://gateway.example.com/api/provision/reset" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"employee_id":"12345"}'

7.3 Verifikasi tautan provisioning

Setelah pengguna membuka provision_url, halaman web memanggil endpoint ini untuk memverifikasi token dan mengambil informasi pengguna beserta Kunci API mereka.

Request: GET /api/provision/verify?token={token}

8. Alur kerja khas

Pendaftaran pengguna baru (provisioning)

Metode provisioning mengirimkan Kunci API melalui tautan sekali pakai, yang lebih aman.

# 1. Buat pengguna dan dapatkan tautan provisioning.
curl -X POST "https://gateway.example.com/api/provision" \
-H "Authorization: Bearer <admin_api_key>" \
 -H "Content-Type: application/json" \
 -d '{"name":"John Doe","email":"john.doe@company.com","employee_id":"12345","department":"Engineering"}'
# 2. Kirim provision_url yang dikembalikan ke pengguna (misalnya, melalui email atau pesan instan).

# 3. Pengguna membuka tautan tersebut, dan halaman secara otomatis memanggil /api/provision/verify untuk mengambil Kunci API.

Pendaftaran pengguna baru (pembuatan langsung)

# 1. Periksa apakah pengguna sudah ada.
curl -X GET "https://gateway.example.com/api/users/check?employee_id=12345" \
-H "Authorization: Bearer <admin_api_key>"

# 2. Jika pengguna belum ada, buat pengguna tersebut.
curl -X POST "https://gateway.example.com/api/users" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"name":"John Doe","employee_id":"12345","department":"Engineering"}'

# 3. Kirim api_key yang dikembalikan ke pengguna.

Offboarding pengguna (nonaktifkan atau hapus)

# Nonaktifkan pengguna (disarankan).
curl -X PUT "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"enabled": false}'

# Atau, hapus pengguna.
curl -X DELETE "https://gateway.example.com/api/users/user_xxx" \
-H "Authorization: Bearer <admin_api_key>"

Pemulihan Kunci API (provisioning)

# Reset kunci berdasarkan ID karyawan dan kirim tautan provisioning baru.
curl -X POST "https://gateway.example.com/api/provision/reset" \
-H "Authorization: Bearer <admin_api_key>" \
-H "Content-Type: application/json" \
-d '{"employee_id":"12345"}'

# Kirim provision_url yang dikembalikan ke pengguna.

Pemulihan Kunci API (reset langsung)

# Periksa pengguna berdasarkan ID karyawan.
curl -X GET "https://gateway.example.com/api/users/check?employee_id=12345" \
-H "Authorization: Bearer <admin_api_key>"

# Gunakan user_id yang dikembalikan untuk mereset Kunci API.
curl -X POST "https://gateway.example.com/api/users/user_xxx/regenerate-key" \
-H "Authorization: Bearer <admin_api_key>"

FAQ

T: Mengapa tingkat hit cache 0% di workbench?

J: Metrik ini memerlukan layanan inferensi untuk melaporkan data hit cache selama waktu proses. Periksa apakah perintah startup untuk layanan EAS target menyertakan parameter --enable-cache-report. Tanpa parameter ini, workbench tidak dapat mengumpulkan data tersebut, sehingga tingkat hit cache ditampilkan sebagai 0% meskipun terjadi hit cache.