Model API mendukung rute kustom, yang memungkinkan Anda melakukan routing detail halus berdasarkan fitur permintaan. Topik ini menjelaskan cara mengelola rute kustom.
Create a route
Di panel navigasi sebelah kiri, klik LLM API, lalu klik nama API untuk membuka halaman detail API.
Pada Route List, klik Create Route. Di panel Create Route, konfigurasikan parameter berikut:
Route Name: Nama kustom untuk rute tersebut.
Path: Jalur rute kustom Model API. Jalur berikut didukung:
/v1/chat/completions,/v1/completions,/v1/embeddings, dan/v1/fine-tuning.More Matching Rules: Jika Anda ingin membuat beberapa rute dengan jalur yang sama, Anda harus mengonfigurasi Method, Header, dan Query untuk membedakan antar rute.
Service Model: Single Model Service dan Multi-model Service (by Ratio) didukung.
Single Model Service: Hanya satu model yang dideploy dan dijalankan dalam sebuah instans layanan. Jenis ini cocok untuk skenario yang memerlukan fokus pada satu tugas atau model saja.
Multi-model Service (by Ratio): Beberapa model dideploy dan dijalankan dalam instans layanan yang sama. Sumber daya dan permintaan dialokasikan berdasarkan rasio yang ditentukan. Jenis ini cocok untuk skenario yang memerlukan pemrosesan simultan beberapa tugas atau model.
Service List: Pilih layanan dari daftar layanan.
Fallback: Setelah Anda mengaktifkan fitur ini, Anda dapat menambahkan fallback service. Layanan-layanan tersebut dieksekusi dalam urutan menurun.
CatatanAnda dapat menggunakan layanan yang sama untuk membuat beberapa kebijakan fallback.

Konfirmasi konfigurasi, lalu klik Add.
Edit a route
Di panel navigasi sebelah kiri, klik LLM API, lalu klik nama API untuk membuka halaman detail API.
Klik Route List dan pilih rute kustom yang dituju.
Klik Edit Route untuk mengubah parameter. Untuk informasi lebih lanjut mengenai parameter tersebut, lihat Create a route.
Konfirmasi konfigurasi, lalu klik OK.
Publish a route
Di panel navigasi sebelah kiri, klik LLM API, lalu klik nama API untuk membuka halaman detail API.
Klik Route List dan pilih rute kustom yang dituju.
Klik Publish Route. Pada pesan konfirmasi, klik OK.
Unpublish a route
Di panel navigasi sebelah kiri, klik LLM API, lalu klik nama API untuk membuka halaman detail API.
Klik Route List dan pilih rute kustom yang dituju.
Pilih . Pada kotak dialog konfirmasi, klik Unpublish.
Delete a route
Anda hanya dapat menghapus rute yang belum dipublikasikan atau sedang offline. Untuk menghapus rute yang telah dipublikasikan, Anda harus terlebih dahulu unpublish the route.
Di panel navigasi sebelah kiri, klik LLM API, lalu klik nama API untuk membuka halaman detail API.
Klik Route List dan pilih rute kustom yang dituju.
Pilih . Pada kotak dialog konfirmasi, klik Delete.