Platform For AI:Terapkan router cerdas LLM untuk meningkatkan efisiensi inferensi

Konsep utama

Layanan router cerdas LLM terdiri dari dua komponen inti:

• LLM Gateway: titik masuk traffic dan pemrosesan permintaan. Menerima permintaan pengguna dan meneruskannya ke instans inferensi target berdasarkan keputusan dari LLM Scheduler.

  • Mendukung protokol HTTP (HTTP_SSE) dan WebSocket.

  • Konversi protokol API Anthropic diaktifkan secara default. Permintaan yang diformat sesuai spesifikasi Anthropic secara otomatis dikonversi ke format yang kompatibel dengan OpenAI, sehingga Anda dapat menggunakan alat seperti Claude Code dengan layanan model yang mengikuti standar API OpenAI tanpa mengubah kode Anda. Untuk detailnya, lihat Gunakan Claude Code dengan router.

• LLM Scheduler: mesin penjadwalan. Memilih instans target optimal untuk setiap permintaan berdasarkan kebijakan penjadwalan yang dikonfigurasi (misalnya, routing berbasis prefix-cache).

Cara kerja

Alur permintaan berlangsung sebagai berikut:

1. Menerima permintaan. Permintaan pengguna tiba di LLM Gateway. Jika semua instans inferensi backend berada dalam beban tinggi, gateway akan mengantrikan permintaan tersebut.

2. Penjadwalan cerdas. LLM Gateway mengirim permintaan penjadwalan ke LLM Scheduler. LLM Scheduler memilih instans optimal berdasarkan kebijakan yang dikonfigurasi dan metrik real-time dari setiap instans.

3. Meneruskan permintaan. Setelah menerima hasil penjadwalan, LLM Gateway meneruskan permintaan pengguna langsung ke instans yang dipilih.

Mekanisme failover

Layanan ini mencakup beberapa lapis toleransi kesalahan untuk menjaga ketersediaan:

• LLM Gateway: Terapkan minimal dua instans. Jika satu instans gagal, traffic secara otomatis dialihkan ke instans yang sehat.

• LLM Scheduler: Jika penjadwal gagal, LLM Gateway secara otomatis kembali ke routing round-robin (kinerja penjadwalan berkurang, tetapi ketersediaan tetap terjaga). Saat penjadwal pulih, penjadwalan cerdas dilanjutkan secara otomatis.

• Instans inferensi: Jika suatu instans gagal, LLM Scheduler segera menghapusnya dari pool yang tersedia. Tidak ada traffic baru yang diarahkan ke instans tersebut hingga pulih dan ditambahkan kembali secara otomatis.

Langkah 1: Terapkan layanan router cerdas LLM

1. Login ke Konsol PAI dan pilih wilayah target di bagian atas halaman.

2. Di panel navigasi kiri, klik Elastic Algorithm Service (EAS), pilih ruang kerja target, lalu buka EAS.

3. Klik Deploy Service, lalu pilih Scenario-based Model Deployment>Deploy LLM gateway.

4. Konfigurasikan parameter:

   Parameter		Deskripsi
   Basic Information	Service Name	Nama kustom untuk layanan, misalnya, llm_gateway.
   Resource Information	Deployment Resources	Konfigurasi resource untuk LLM Gateway. Untuk memastikan ketersediaan tinggi, Number of Replicas default-nya adalah 2; pertahankan nilai default ini. Alokasi resource default adalah 4 vCPU dan 8 GB memori.
   	Scheduling configuration	Konfigurasi resource untuk LLM Scheduler. Nilai default-nya adalah 2 vCPU dan 4 GB memori.
   	Scheduling Policy	Kebijakan penyeimbangan beban yang digunakan untuk memilih instans inferensi backend. Nilai default-nya adalah Prefix cache. Untuk perbandingan mendetail dan panduan pemilihan, lihat Referensi kebijakan penjadwalan.
   Advanced Features	Redis config	Opsional. Menyimpan informasi pengguna dan statistik penggunaan secara persisten. Tanpa Redis, layanan menggunakan memori lokal dan data akan hilang saat layanan berhenti. Untuk detailnya, lihat Konfigurasi penyimpanan persisten Redis.

5. Klik Deploy. Saat status layanan berubah menjadi Running, penerapan selesai.

   Setelah penerapan, sistem secara otomatis membuat grup layanan bernama group_<nama layanan router cerdas LLM>. Untuk melihatnya, buka halaman Elastic Algorithm Service (EAS) dan klik tab Canary Release.

Langkah 2: Terapkan layanan LLM

Konfigurasikan router cerdas saat membuat layanan LLM baru. Anda tidak dapat menambahkannya ke layanan yang sudah ada melalui Update.

Contoh berikut menggunakan Qwen3-8B:

1. Klik Deploy Service, lalu pilih Scenario-based Model Deployment> LLM Deployment.

2. Konfigurasikan parameter berikut:

   Parameter		Nilai
   Basic Information	Model Settings	Pilih Public Model, cari, lalu pilih Qwen3-8B.
   	Inference Engine	Pilih vLLM (direkomendasikan; kompatibel dengan API OpenAI). Catatan Jika router cerdas LLM dikonfigurasi dengan Prefix cache scheduling policy dan Anda memilih vLLM sebagai mesin inferensi, pastikan prefix caching diaktifkan di vLLM.
   	Deployment Template	Pilih Single node. Sistem secara otomatis mengisi tipe instans, image, dan parameter lain yang direkomendasikan berdasarkan templat.
   Features	LLM Intelligent Router	Aktifkan toggle dan pilih layanan router cerdas LLM yang diterapkan pada Langkah 1 dari daftar drop-down.

3. Klik Deploy. Penerapan membutuhkan waktu sekitar 5 menit. Saat status layanan berubah menjadi Running, penerapan selesai.

Langkah 3: Uji layanan

Kirim semua permintaan ke URL akses layanan router cerdas LLM, bukan ke URL layanan inferensi backend individual.

1. Dapatkan kredensial akses.

   1. Klik layanan router cerdas LLM untuk membuka halaman Overview. Di bagian Basic Information, klik View Endpoint Information.

   2. Di halaman Call information, salin Service-specific Traffic Entry Internet Endpoint, dan salin Token.

   Penting

   Token layanan yang ditampilkan di sini adalah kredensial administrator. Jika administrator telah menetapkan kunci API individual kepada pengguna melalui workbench WebUI, setiap pengguna harus mengganti <YOUR_TOKEN> dalam contoh di bawah dengan kunci API mereka sendiri.

2. Buat URL permintaan dan kirim panggilan.

   • Format URL: <URL router cerdas LLM>/<path API layanan LLM>

   • Contoh: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   Contoh permintaan:

   # Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan nilai aktual Anda
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "你好"}],
              "stream": true
            }'

   Contoh tanggapan:

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

Setelah layanan diterapkan, akses workbench WebUI untuk manajemen visual, termasuk pemantauan langsung dan manajemen konfigurasi. Untuk detailnya, lihat Gunakan workbench routing cerdas LLM.

Langkah 1: Siapkan instans Tair (Redis)

1. Buka halaman pembelian Tair dan beli instans.

   Penting

   Pilih virtual private cloud (VPC) dan vSwitch yang sama dengan layanan router cerdas LLM yang akan Anda terapkan. Konfigurasikan opsi lain sesuai kebutuhan; mulailah dengan spesifikasi minimum.

2. Tambahkan blok CIDR vSwitch layanan router cerdas LLM ke daftar izin instans. Untuk detailnya, lihat Konfigurasi daftar izin.

3. Klik ID instans target untuk membuka halaman detail dan lihat informasi koneksi. Anda akan membutuhkan informasi ini saat menerapkan layanan router cerdas LLM.

   • Alamat koneksi dan port: Di Informasi instans > Informasi koneksi, dapatkan alamat koneksi VPC dan nomor port.

   • Username dan password: Di halaman Manajemen akun, lihat akun default. Jika tidak ada kata sandi yang ditetapkan saat instans dibuat, atur atau atur ulang kata sandi di sana. Anda juga dapat membuat akun baru alih-alih menggunakan akun default.

Langkah 2: Konfigurasi Redis saat penerapan

Selain konfigurasi dasar, tentukan pengaturan VPC dan parameter koneksi Redis untuk mengaktifkan penyimpanan persisten.

• Konfigurasi VPC: VPC dan vSwitch harus sesuai dengan instans Tair dari Langkah 1, agar layanan router cerdas LLM dapat mengakses instans Tair.

• Konfigurasi Redis:

  Konsol

  Di bagian Advanced Features, aktifkan Redis config dan isi:

  Parameter	Deskripsi
  Redis Address	Alamat koneksi instans Tair, dalam format <alamat VPC>:<port>, misalnya r-uxxx.redis.rds.aliyuncs.com:6379.
  Redis Username	Username untuk instans Tair.
  Redis Password	Password untuk instans Tair.

  JSON

  Di node llm_gateway pada body JSON, tambahkan parameter berikut:

  Parameter	Deskripsi
  enable_user_management	Mengaktifkan manajemen pengguna. Default-nya true.
  redis_addrs	Alamat koneksi instans Tair, dalam format <alamat VPC>:<port>, misalnya r-uxxx.redis.rds.aliyuncs.com:6379.
  redis_username	Username untuk instans Tair.
  redis_password	Password untuk instans Tair.

  Contoh JSON:

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

Contoh konfigurasi

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

Parameter

Gunakan Claude Code dengan router

1. Atur Claude Code untuk menggunakan URL dasar dan token yang disediakan oleh layanan router cerdas EAS.

   # Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan nilai aktual Anda
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Jalankan Claude Code.

   claude "写一个 Python 的 Hello World"

Referensi kebijakan penjadwalan

Memilih kebijakan penjadwalan yang tepat adalah kunci untuk memaksimalkan potensi router cerdas LLM. Tabel berikut membandingkan logika, kasus penggunaan ideal, keunggulan, dan pertimbangan masing-masing kebijakan.

Tolok ukur kinerja

Pengujian pada Distill-Qwen-7B, QwQ-32B, dan Qwen2.5-72B menunjukkan peningkatan kecepatan inferensi dan throughput saat menggunakan router cerdas LLM. Lingkungan pengujian dan hasilnya dijelaskan di bawah ini.