Platform For AI：Tingkatkan efisiensi inferensi dengan router cerdas LLM

Ikhtisar arsitektur

Router cerdas LLM terdiri dari tiga komponen inti: LLM Gateway, LLM Scheduler, dan LLM Agent. Ketiganya bersama-sama menyediakan distribusi dan manajemen trafik cerdas untuk kluster instans inferensi backend LLM.

Proses intinya adalah sebagai berikut:

1. Pendaftaran instans: Setelah layanan inferensi dimulai, LLM Agent menunggu hingga mesin inferensi siap. Selanjutnya, agen tersebut mendaftarkan instans ke LLM Scheduler dan mulai melaporkan status kesehatan serta metrik performanya secara berkala.

2. Masuknya trafik: Permintaan pengguna pertama kali tiba di LLM Gateway.

3. Keputusan penjadwalan: LLM Gateway mengirim permintaan penjadwalan ke LLM Scheduler.

4. Penjadwalan cerdas: LLM Scheduler memilih instans backend optimal berdasarkan kebijakan penjadwalan dan metrik real-time yang dikumpulkan dari setiap LLM Agent.

5. Penerusan permintaan: LLM Scheduler mengembalikan keputusannya kepada LLM Gateway. Selanjutnya, LLM Gateway meneruskan permintaan pengguna asli ke instans target.

6. Buffering permintaan: Jika semua instans backend sedang mengalami beban tinggi, permintaan baru sementara dibuffer di antrian LLM Gateway. Permintaan tersebut menunggu hingga LLM Scheduler menentukan waktu yang tepat untuk meneruskannya, sehingga mencegah kegagalan permintaan.

Komponen inti

Mekanisme failover

Sistem ini mencakup mekanisme toleransi kesalahan berlapis untuk memastikan stabilitas layanan:

• LLM Gateway (ketersediaan tinggi): Sebagai lapisan masuk trafik tanpa status, terapkan minimal dua instans. Saat suatu instans gagal, trafik secara otomatis dialihkan ke instans sehat lainnya guna menjaga ketersediaan layanan yang berkelanjutan.

• LLM Scheduler (degradasi elegan): Sebagai komponen penjadwalan permintaan, komponen ini berjalan sebagai satu instans untuk memungkinkan penjadwalan global. Jika LLM Scheduler gagal, LLM Gateway secara otomatis mengalami degradasi setelah heartbeat gagal dan menggunakan kebijakan polling untuk meneruskan permintaan langsung ke instans backend. Hal ini memastikan ketersediaan layanan tetapi mengurangi performa penjadwalan. Setelah LLM Scheduler pulih, LLM Gateway secara otomatis melanjutkan penjadwalan cerdas.

• Instans inferensi atau LLM Agent (penghapusan otomatis): Saat instans inferensi atau LLM Agent terkaitnya gagal, heartbeat antara LLM Agent dan LLM Scheduler terputus. LLM Scheduler segera menghapus instans tersebut dari daftar layanan yang tersedia dan menghentikan alokasi trafik baru kepadanya. Setelah instans tersebut pulih dan kembali melaporkan heartbeat, instans tersebut secara otomatis bergabung kembali ke daftar layanan.

Dukungan untuk beberapa mesin inferensi

Metrik yang dikembalikan oleh titik akhir /metrics bervariasi di antara mesin inferensi LLM. LLM Agent mengumpulkan metrik tersebut, memformatnya secara seragam, lalu melaporkannya. LLM Scheduler tidak perlu mengetahui detail implementasi mesin inferensi tertentu. Komponen ini hanya perlu menerapkan algoritma penjadwalan berdasarkan metrik terpadu. Mesin inferensi LLM yang didukung beserta metrik terkaitnya adalah sebagai berikut:

Langkah 1: Terapkan layanan router cerdas LLM

1. Masuk ke Konsol PAI dan pilih wilayah tujuan di bagian atas halaman.

2. Pada panel navigasi kiri, klik Elastic Algorithm Service (EAS). Pilih ruang kerja target untuk membuka halaman EAS.

3. Klik Deploy Service dan pilih Scenario-based Model Deployment > Deploy LLM gateway.

4. Konfigurasikan parameter:

   Parameter		Deskripsi
   Basic Information	Service Name	Masukkan nama layanan kustom, misalnya llm_gateway.
   Resource Information	Deployment Resources	Konfigurasi sumber daya untuk LLM Gateway. Untuk memastikan ketersediaan tinggi, Number of Replicas secara default bernilai 2. Kami menyarankan untuk mempertahankan nilai ini. CPU default adalah 4 core dan Memori default adalah 8 GB.
   	Scheduling configuration	Konfigurasi sumber daya untuk LLM Scheduler. CPU default adalah 2 core dan Memori default adalah 4 GB.
   	Scheduling Policy	Pilih kebijakan penyeimbangan beban untuk instans inferensi backend. Nilai default adalah Prefix cache. Untuk perbandingan mendetail dan rekomendasi pemilihan, lihat Penjelasan kebijakan penjadwalan.

5. Klik Deploy. Saat status layanan berubah menjadi Running, penerapan berhasil.

Setelah penerapan berhasil, sistem secara otomatis membuat kelompok layanan bernama group_<LLM_intelligent_router_service_name>. Anda dapat membuka halaman Elastic Algorithm Service (EAS) dan mengklik tab Canary Release untuk melihatnya.

Langkah 2: Terapkan layanan LLM

Anda harus mengonfigurasi fitur router cerdas saat menerapkan layanan LLM baru. Anda tidak dapat menambahkannya dengan memperbarui layanan LLM yang sudah ada.

Langkah-langkah berikut menggunakan penerapan Qwen3-8B sebagai contoh:

1. Klik Deploy Service dan pilih Scenario-based Model Deployment > LLM Deployment.

2. Konfigurasikan parameter utama berikut:

   Parameter		Nilai
   Basic Information	Model Settings	Pilih Public Model. Kemudian cari dan pilih Qwen3-8B.
   	Inference Engine	Pilih vLLM (disarankan, kompatibel dengan API OpenAI). Catatan Jika Anda memilih Prefix cache sebagai scheduling policy untuk layanan router cerdas LLM dan memilih vLLM sebagai mesin inferensi saat menerapkan layanan LLM, pastikan untuk mengaktifkan fitur prefix caching pada mesin tersebut.
   	Deployment Template	Pilih Standalone. Sistem akan secara otomatis mengisi tipe instans, citra runtime, dan parameter lainnya berdasarkan templat yang direkomendasikan.
   Features	LLM Intelligent Router	Aktifkan sakelar dan pilih layanan router cerdas LLM yang diterapkan pada Langkah 1 dari daftar drop-down.

3. Klik Deploy. Penerapan layanan membutuhkan waktu sekitar 5 menit. Saat status layanan berubah menjadi Running, penerapan berhasil.

Langkah 3: Uji layanan

Kirim semua permintaan ke titik akhir layanan router cerdas LLM, bukan ke layanan inferensi backend.

1. Dapatkan kredensial akses.

   1. Klik layanan router cerdas LLM untuk membuka halaman Overview. Di bagian Basic Information, klik View Endpoint Information.

   2. Pada halaman Endpoint Information, salin Internet Endpoint dan Token di bawah Service-specific Traffic Entry.

2. Buat URL permintaan dan lakukan panggilan.

   • Struktur URL: <LLM_intelligent_router_endpoint>/<LLM_service_API_path>

   • Contoh: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   Contoh permintaan:

   # Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan informasi aktual Anda
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   Berikut adalah contoh tanggapan:

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

Lingkungan pengujian

• Kebijakan penjadwalan: prefix-cache

• Data uji: ShareGPT_V3_unfiltered_cleaned_split.json (set data percakapan multi-putaran)

• Mesin inferensi: vLLM (0.7.3)

• Jumlah instans backend: 5

Hasil pengujian