Platform For AI：Tingkatkan efisiensi inferensi dengan router cerdas LLM

Ikhtisar arsitektur

Router cerdas LLM terdiri dari tiga komponen inti yang menyediakan distribusi dan manajemen traffic cerdas untuk kluster instans inferensi backend LLM: LLM Gateway, LLM Scheduler, dan LLM Agent.

• LLM Gateway: Berfungsi sebagai titik masuk traffic. Menerima semua permintaan pengguna dan meneruskannya ke instans inferensi backend yang ditentukan berdasarkan keputusan dari LLM Scheduler. Gateway mendukung protokol HTTP (HTTP_SSE) dan WebSocket serta dapat menyimpan cache permintaan ketika instans inferensi backend sedang mengalami beban tinggi.

• LLM Scheduler: Otak dari router cerdas. Menjalankan algoritma penjadwalan dengan mengumpulkan metrik real-time dari seluruh LLM Agent, lalu menghitung instans target optimal untuk setiap permintaan masuk berdasarkan kebijakan penjadwalan yang telah ditentukan, seperti prefix caching.

• LLM Agent: Diterapkan sebagai kontainer sidecar bersama setiap instans inferensi. Agent mengumpulkan metrik performa dari mesin inferensi, mempertahankan heartbeat dengan LLM Scheduler, serta melaporkan status kesehatan dan data beban instans tersebut.

Alur implementasi

Router cerdas LLM merupakan jenis layanan EAS khusus yang harus diterapkan dalam kelompok layanan yang sama dengan layanan inferensi agar berfungsi dengan benar. Setelah Anda menerapkan router cerdas LLM dan layanan inferensi, router tersebut akan menjadwalkan permintaan secara cerdas ke layanan inferensi backend. Prosesnya adalah sebagai berikut:

1. Pendaftaran instans: Setelah layanan inferensi dimulai, LLM Agent menunggu hingga mesin inferensi siap, kemudian mendaftarkan instans tersebut ke LLM Scheduler dan secara berkala melaporkan status kesehatan serta metrik performanya.

2. Masuknya traffic: Permintaan pengguna pertama kali tiba di LLM Gateway. Gateway mendukung protokol HTTP (SSE) dan WebSocket.

3. Permintaan penjadwalan: LLM Gateway mengirim permintaan penjadwalan ke LLM Scheduler.

4. Penjadwalan cerdas: LLM Scheduler memilih instans backend optimal berdasarkan kebijakan penjadwalannya dan metrik real-time dari setiap LLM Agent.

5. Penerusan permintaan: LLM Scheduler mengembalikan keputusannya ke LLM Gateway. LLM Gateway kemudian meneruskan permintaan pengguna asli ke instans target untuk proses inferensi.

6. Buffering permintaan: Jika semua instans backend sedang mengalami beban tinggi, LLM Gateway sementara waktu menempatkan permintaan baru ke dalam antrian. Permintaan-permintaan ini menunggu hingga LLM Scheduler menemukan waktu yang tepat untuk meneruskannya, sehingga mencegah kegagalan permintaan.

Mekanisme failover

Sistem dirancang dengan beberapa lapis toleransi kesalahan untuk memastikan stabilitas layanan:

• LLM Gateway: Sebagai lapisan masuk traffic tanpa status, `LLM Gateway` harus diterapkan dengan minimal dua instans. Jika salah satu instans gagal, traffic secara otomatis diarahkan ke instans sehat lainnya, sehingga memastikan kelangsungan layanan dan ketersediaan tinggi (HA).

• LLM Scheduler: Sebagai komponen penjadwalan permintaan, `LLM Scheduler` berjalan sebagai satu instans untuk mencapai penjadwalan global. Jika LLM Scheduler gagal, LLM Gateway secara otomatis memasuki mode degradasi setelah heartbeat gagal. Gateway kemudian beralih ke kebijakan polling untuk meneruskan permintaan langsung ke instans backend. Hal ini memastikan ketersediaan layanan tetapi mengorbankan performa penjadwalan. Setelah LLM Scheduler pulih, LLM Gateway secara otomatis kembali ke mode perutean pintar.

• Instans inferensi atau LLM Agent: Jika instans inferensi atau LLM Agent terkaitnya gagal, heartbeat antara LLM Agent dan LLM Scheduler terputus. LLM Scheduler segera menghapus instans yang gagal dari daftar layanan yang tersedia dan berhenti mengalokasikan traffic baru kepadanya. Setelah instans tersebut pulih dan kembali mengirim heartbeat, instans tersebut secara otomatis ditambahkan kembali ke daftar layanan.

Dukungan untuk beberapa mesin inferensi

Mesin inferensi LLM yang berbeda mengekspos metrik berbeda melalui antarmuka /metrics mereka. `LLM Agent` mengumpulkan metrik-metrik ini, memformatnya ke dalam struktur terpadu, lalu melaporkannya. Desain ini memungkinkan `LLM Scheduler` fokus pada algoritma penjadwalan berdasarkan metrik terpadu tanpa perlu mengetahui detail implementasi mesin inferensi tertentu. Mesin inferensi LLM yang saat ini didukung beserta metrik yang dikumpulkan adalah sebagai berikut:

Langkah 1: Terapkan layanan router cerdas LLM

Dua metode penerapan berikut didukung:

Langkah 2: Terapkan layanan model bahasa besar (LLM)

Saat menerapkan layanan LLM, Anda harus mengaitkannya dengan layanan router cerdas yang telah Anda buat. Topik ini menggunakan contoh penerapan LLM berbasis skenario EAS. Prosedurnya adalah sebagai berikut:

1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

2. Pada halaman Inference Service, klik Deploy Service, lalu pilih LLM Deployment. Di bagian Features, temukan dan aktifkan sakelar LLM Intelligent Router. Dari daftar drop-down, pilih layanan router cerdas LLM yang telah Anda terapkan di Langkah 1. Untuk informasi lebih lanjut tentang parameter lainnya, lihat LLM Deployment.

   Catatan

   Saat menggunakan vLLM untuk penerapan yang dipercepat dan Scheduling Policy layanan router cerdas LLM diatur ke Prefix Cache, Anda harus mengaktifkan fitur prefix caching pada mesin.

3. Setelah mengonfigurasi parameter, klik Deploy.

Dapatkan kredensial akses

1. Pada halaman Elastic Algorithm Service (EAS), temukan layanan router cerdas LLM yang telah diterapkan.

2. Klik nama layanan untuk membuka halaman Overview. Di bagian Basic Information, klik View Endpoint Information.

3. Pada halaman Invocation Method, salin Internet Endpoint dan Token dari bagian Service-specific Traffic Entry.

Buat dan kirim permintaan

URL permintaan akhir merupakan kombinasi dari titik akhir router cerdas LLM dan path API layanan model.

• Struktur URL: <titik akhir router cerdas LLM>/<path API layanan LLM>

• Contoh: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

Contoh permintaan

# Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan informasi aktual Anda.
# Ganti <model_name> dengan nama model aktual.
curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
     -H "Authorization: Bearer <YOUR_TOKEN>" \
     -H "Content-Type: application/json" \
     -N \
     -d '{
           "model": "<model_name>",
           "messages": [{"role": "user", "content": "Hello"}],
           "stream": true
         }'

Berikut adalah contoh hasil yang dikembalikan:

data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}

...
data: [DONE]