Platform For AI：Tingkatkan efisiensi inferensi dengan router cerdas LLM

Ikhtisar arsitektur

Router cerdas LLM terdiri dari tiga komponen inti yang menyediakan distribusi dan manajemen traffic cerdas untuk kluster instans inferensi backend LLM: LLM Gateway, LLM Scheduler, dan LLM Agent.

• LLM Gateway:

  • Bertindak sebagai titik masuk traffic, menerima semua permintaan pengguna dan meneruskannya ke instans inferensi backend tertentu berdasarkan keputusan dari LLM Scheduler.

  • Mendukung protokol HTTP (HTTP_SSE) dan WebSocket serta dapat menyimpan cache permintaan saat instans inferensi backend mengalami beban tinggi.

  • Fitur transformasi protokol API Anthropic diaktifkan secara default. Fitur ini secara otomatis mengubah permintaan yang sesuai dengan spesifikasi Anthropic ke dalam format yang kompatibel dengan OpenAI, sehingga memungkinkan integrasi tanpa hambatan. Anda dapat menggunakan tool ekosistem seperti Claude Code untuk memanggil layanan model yang mengikuti standar antarmuka OpenAI tanpa perlu mengubah kode Anda. Untuk informasi lebih lanjut, lihat Gunakan Claude Code untuk memanggil.

• LLM Scheduler: Otak dari router cerdas. Komponen ini menjalankan algoritma penjadwalan dengan mengumpulkan metrik real-time dari seluruh LLM Agent. Selanjutnya, komponen ini menghitung instans target optimal untuk setiap permintaan masuk berdasarkan kebijakan penjadwalan yang telah ditentukan, seperti prefix caching.

• LLM Agent: Diterapkan sebagai kontainer sidecar bersama setiap instans inferensi. Agen ini mengumpulkan metrik performa dari mesin inferensi, mempertahankan heartbeat dengan LLM Scheduler, serta melaporkan status kesehatan dan data beban instans tersebut.

Alur implementasi

Router cerdas LLM merupakan jenis layanan EAS khusus yang harus diterapkan dalam kelompok layanan yang sama dengan layanan inferensi agar berfungsi dengan benar. Setelah Anda menerapkan router cerdas LLM dan layanan inferensi, router tersebut akan menjadwalkan permintaan secara cerdas ke layanan inferensi backend. Prosesnya adalah sebagai berikut:

1. Pendaftaran instans: Setelah layanan inferensi dimulai, LLM Agent menunggu hingga mesin inferensi siap. Kemudian, agen tersebut mendaftarkan instans ke LLM Scheduler dan secara berkala melaporkan status kesehatan serta metrik performanya.

2. Masuknya traffic: Permintaan pengguna pertama kali tiba di LLM Gateway. Gateway ini mendukung protokol HTTP (SSE) dan WebSocket.

3. Permintaan penjadwalan: LLM Gateway mengirim permintaan penjadwalan ke LLM Scheduler.

4. Penjadwalan cerdas: LLM Scheduler memilih instans backend optimal berdasarkan kebijakan penjadwalannya dan metrik real-time dari setiap LLM Agent.

5. Penerusan permintaan: LLM Scheduler mengembalikan keputusannya kepada LLM Gateway. Selanjutnya, LLM Gateway meneruskan permintaan pengguna asli ke instans target untuk proses inferensi.

6. Buffering permintaan: Jika semua instans backend sedang mengalami beban tinggi, LLM Gateway sementara waktu menempatkan permintaan baru ke dalam antrian. Permintaan-permintaan tersebut menunggu hingga LLM Scheduler menemukan waktu yang tepat untuk meneruskannya, sehingga mencegah kegagalan permintaan.

Mekanisme failover

Sistem dirancang dengan beberapa lapis toleransi kesalahan untuk memastikan stabilitas layanan:

• LLM Gateway: Sebagai lapisan ingress traffic tanpa status, `LLM Gateway` harus diterapkan dengan minimal dua instans. Jika salah satu instans gagal, traffic secara otomatis dialihkan ke instans sehat lainnya. Hal ini menjamin kelangsungan layanan dan ketersediaan tinggi (HA).

• LLM Scheduler: Sebagai komponen penjadwalan permintaan, `LLM Scheduler` berjalan sebagai satu instans untuk mencapai penjadwalan global. Jika LLM Scheduler gagal, LLM Gateway secara otomatis memasuki mode degradasi setelah heartbeat gagal. Gateway kemudian kembali menggunakan kebijakan polling untuk meneruskan permintaan langsung ke instans backend. Hal ini menjamin ketersediaan layanan tetapi mengorbankan performa penjadwalan. Setelah LLM Scheduler pulih, LLM Gateway secara otomatis beralih kembali ke mode perutean pintar.

• Instans inferensi atau LLM Agent: Jika instans inferensi atau LLM Agent terkaitnya gagal, heartbeat antara LLM Agent dan LLM Scheduler terputus. LLM Scheduler segera menghapus instans yang gagal dari daftar layanan yang tersedia dan berhenti mengalokasikan traffic baru kepadanya. Setelah instans tersebut pulih dan kembali mengirim heartbeat, instans tersebut secara otomatis ditambahkan kembali ke daftar layanan.

Dukungan untuk beberapa mesin inferensi

Mesin inferensi LLM yang berbeda mengekspos metrik berbeda melalui antarmuka /metrics mereka. `LLM Agent` mengumpulkan metrik-metrik tersebut, memformatnya ke dalam struktur terpadu, lalu melaporkannya. Desain ini memungkinkan `LLM Scheduler` fokus pada algoritma penjadwalan berdasarkan metrik terpadu tanpa perlu mengetahui detail implementasi mesin inferensi tertentu. Mesin inferensi LLM yang saat ini didukung beserta metrik yang dikumpulkan adalah sebagai berikut:

Langkah 1: Terapkan layanan router cerdas LLM

Dua metode penerapan berikut didukung:

Langkah 2: Terapkan layanan model bahasa besar (LLM)

Saat menerapkan layanan LLM, Anda harus mengaitkannya dengan layanan router cerdas yang telah Anda buat. Topik ini menggunakan contoh penerapan LLM berbasis skenario di EAS. Prosedurnya adalah sebagai berikut:

1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Kemudian, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

2. Pada halaman Inference Service, klik Deploy Service, lalu pilih LLM Deployment. Di bagian Features, temukan dan aktifkan sakelar LLM Intelligent Router. Dari daftar drop-down, pilih layanan router cerdas LLM yang telah Anda terapkan pada Langkah 1. Untuk informasi lebih lanjut mengenai parameter lainnya, lihat LLM Deployment.

   Catatan

   Saat menggunakan vLLM untuk penerapan dipercepat dan Kebijakan Penjadwalan layanan router cerdas LLM diatur ke Prefix cache, Anda harus mengaktifkan fitur prefix caching pada mesin inferensi.

3. Setelah mengonfigurasi parameter, klik Deploy.

Dapatkan kredensial akses

1. Pada halaman Elastic Algorithm Service (EAS), temukan layanan router cerdas LLM yang telah diterapkan.

2. Klik nama layanan untuk membuka halaman Overview. Di bagian Basic Information, klik View Endpoint Information.

3. Pada halaman Invocation Method, salin Internet Endpoint dan Token dari bagian Service-specific Traffic Entry.

Buat dan kirim permintaan

URL permintaan akhir merupakan kombinasi dari titik akhir router cerdas LLM dan path API layanan model.

• Struktur URL: <titik akhir router cerdas LLM>/<path API layanan LLM>

• Contoh: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

Contoh permintaan:

# Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan informasi aktual Anda.
# Ganti <model_name> dengan nama model aktual.
curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
     -H "Authorization: Bearer <YOUR_TOKEN>" \
     -H "Content-Type: application/json" \
     -N \
     -d '{
           "model": "<model_name>",
           "messages": [{"role": "user", "content": "Hello"}],
           "stream": true
         }'

Berikut adalah contoh hasil yang dikembalikan:

data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}

...
data: [DONE]

Gunakan Claude Code untuk memanggil

1. Tetapkan BASE URL dan TOKEN untuk Claude Code, yang disediakan oleh layanan router cerdas EAS.

   # Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan nilai aktual Anda
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Jalankan tool Claude Code secara langsung.

   claude "Write a Python Hello World"