Platform For AI:Tingkatkan efisiensi inferensi dengan router cerdas LLM

Komponen inti

Layanan router cerdas LLM terdiri dari dua komponen inti berikut:

• LLM Gateway: Titik masuk trafik dan pusat pemrosesan permintaan. Komponen ini menerima permintaan pengguna dan meneruskannya ke instans inferensi target berdasarkan keputusan dari LLM Scheduler.

  • Mendukung protokol HTTP (HTTP_SSE) dan WebSocket.

  • Secara default, fitur konversi protokol Anthropic API diaktifkan. Fitur ini secara otomatis mengonversi permintaan yang sesuai dengan Anthropic ke format yang kompatibel dengan OpenAI, sehingga Anda dapat menggunakan alat ekosistem seperti Claude Code untuk memanggil layanan model yang mengikuti standar API OpenAI tanpa perlu modifikasi kode. Untuk informasi lebih lanjut, lihat Gunakan Claude Code untuk melakukan panggilan.

• LLM Scheduler: Mesin penjadwalan cerdas. Komponen ini memilih instans target optimal untuk setiap permintaan berdasarkan kebijakan penjadwalan, seperti routing berbasis prefix-cache.

Alur kerja

Berikut adalah alur kerja utama:

1. Menerima permintaan: Permintaan pengguna tiba di LLM Gateway. Jika instans inferensi backend mengalami beban tinggi, gateway akan mengantrikan permintaan tersebut.

2. Penjadwalan cerdas: LLM Gateway mengirim permintaan penjadwalan ke LLM Scheduler. LLM Scheduler kemudian memilih instans optimal berdasarkan kebijakan penjadwalan dan metrik real-time dari setiap instans.

3. Meneruskan permintaan: Setelah menerima keputusan penjadwalan, LLM Gateway meneruskan permintaan pengguna langsung ke instans yang dipilih.

Mekanisme failover

Mekanisme toleransi kesalahan berlapis memastikan stabilitas layanan:

• LLM Gateway: Kami merekomendasikan untuk menerapkan minimal dua instans. Jika suatu instans gagal, trafik secara otomatis dialihkan ke instans yang sehat.

• LLM Scheduler: Jika penjadwal gagal, LLM Gateway secara otomatis kembali ke routing round-robin. Hal ini memastikan ketersediaan dengan mengorbankan penjadwalan cerdas. Ketika penjadwal pulih, penjadwalan cerdas akan dilanjutkan secara otomatis.

• Instans inferensi: Jika instans inferensi gagal, LLM Scheduler segera menghapusnya dari pool yang tersedia dan menghentikan pengiriman trafik baru ke instans tersebut. Setelah instans pulih, penjadwal secara otomatis menambahkannya kembali ke dalam pool.

Langkah 1: Terapkan router cerdas LLM

1. Login ke Konsol PAI dan pilih wilayah target di bagian atas halaman.

2. Di panel navigasi sebelah kiri, klik Elastic Algorithm Service (EAS). Di halaman EAS, pilih ruang kerja target.

3. Klik Deploy Service, lalu pilih Scenario-based Model Deployment > Deploy LLM gateway.

4. Konfigurasikan parameter:

   Parameter		Deskripsi
   Basic Information	Service Name	Masukkan nama kustom untuk layanan, misalnya, llm_gateway.
   Resource Information	Deployment Resources	Menentukan konfigurasi resource untuk LLM Gateway. Untuk ketersediaan tinggi, Number of Replicas diatur ke 2 secara default; kami merekomendasikan untuk mempertahankan pengaturan ini. Konfigurasi default adalah 4 vCPUs dan 8 GB memory.
   	Scheduling configuration	Menentukan konfigurasi resource untuk LLM Scheduler. Default-nya adalah 2 vCPUs dan 4 GB memory.
   	Scheduling Policy	Kebijakan penyeimbangan beban untuk instans inferensi backend. Default-nya adalah Prefix cache. Untuk perbandingan detail guna membantu Anda memilih, lihat Referensi kebijakan penjadwalan.
   Advanced Features	Redis config	Opsional. Mempertahankan informasi pengguna dan statistik penggunaan. Jika tidak dikonfigurasi, layanan menggunakan memori lokal, dan data akan hilang ketika layanan dihentikan. Untuk detailnya, lihat Konfigurasi penyimpanan persisten Redis.

5. Klik Deploy. Saat status layanan berubah menjadi Running, penerapan berhasil.

   Setelah penerapan, sistem secara otomatis membuat grup layanan bernama group_<nama layanan router cerdas LLM>. Untuk melihat grup tersebut, buka halaman Elastic Algorithm Service (EAS) dan klik tab Group Service.

Langkah 2: Terapkan layanan LLM

Anda harus mengonfigurasi fitur router cerdas saat menerapkan layanan LLM baru. Anda tidak dapat menambahkan fitur ini ke layanan yang sudah ada melalui aksi Update.

Langkah-langkah berikut menggunakan penerapan Qwen3-8B sebagai contoh:

1. Klik Deploy Service, lalu pilih Scenario-based Model Deployment > LLM Deployment.

2. Konfigurasikan parameter kunci berikut:

   Parameter		Nilai
   Basic Information	Model Settings	Pilih Public Model, lalu cari dan pilih Qwen3-8B.
   	Inference Engine	Pilih vLLM (direkomendasikan; kompatibel dengan API OpenAI). Catatan Jika layanan router cerdas LLM menggunakan scheduling policy Prefix cache dan Anda memilih vLLM sebagai mesin inferensi, pastikan fitur prefix caching diaktifkan untuk mesin tersebut.
   	Deployment Template	Pilih Single node. Sistem kemudian secara otomatis mengisi spesifikasi instans, image, dan parameter lain yang direkomendasikan dari templat.
   Features	LLM Intelligent Router	Aktifkan toggle dan pilih layanan router cerdas LLM yang diterapkan pada Langkah 1 dari daftar drop-down.

3. Klik Deploy. Penerapan membutuhkan waktu sekitar 5 menit. Saat status layanan berubah menjadi Running, penerapan berhasil.

Langkah 3: Uji layanan

Semua permintaan harus dikirim ke titik akhir akses layanan router cerdas LLM, bukan ke layanan inferensi backend.

1. Dapatkan kredensial akses.

   1. Buka halaman Overview layanan router cerdas LLM. Di bagian Basic Information, klik View Endpoint Information.

   2. Di halaman Endpoint Information, di bawah Service-specific Traffic Entry, salin Internet Endpoint dan token.

   Penting

   Token layanan di sini adalah kunci API administrator. Jika administrator telah menetapkan kunci API terpisah untuk Anda melalui workbench WebUI, gunakan kunci API Anda sendiri untuk menggantikan <YOUR_TOKEN> pada contoh di bawah.

2. Buat URL permintaan dan panggil layanan.

   • Format URL: <titik akhir akses router cerdas LLM>/<jalur API layanan LLM>

   • Contoh: http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   Contoh permintaan:

   # Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan nilai aktual Anda
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   Contoh tanggapan:

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

Setelah menerapkan layanan, Anda dapat menggunakan workbench WebUI untuk tugas seperti pemantauan langsung dan manajemen konfigurasi. Untuk detailnya, lihat Gunakan workbench router cerdas LLM.

Langkah 1: Siapkan instans Tair (Redis)

1. Beli instans dari halaman pembelian Tair.

   Penting

   Saat membuat instans, pilih VPC dan vSwitch yang sama dengan layanan router cerdas LLM Anda. Untuk opsi lainnya, Anda dapat memulai dengan spesifikasi minimum.

2. Tambahkan Blok CIDR vSwitch layanan router cerdas LLM ke daftar izin instans. Untuk informasi lebih lanjut, lihat Konfigurasi daftar izin.

3. Klik ID instans target untuk membuka halaman detail. Anda akan memerlukan informasi koneksi saat menerapkan layanan router cerdas LLM.

   • Alamat koneksi dan port: Di bagian Instance information, temukan alamat koneksi VPC dan nomor port di bawah Connection information.

   • Username dan password: Di halaman Account management, temukan akun default. Jika Anda tidak menetapkan kata sandi saat membuat instans, Anda dapat menetapkan atau mengatur ulang di sini. Anda juga dapat membuat akun baru alih-alih menggunakan akun default.

Langkah 2: Konfigurasi Redis

Selain konfigurasi dasar, Anda harus mengonfigurasi VPC dan menambahkan parameter koneksi Redis untuk mengaktifkan penyimpanan persisten.

• Konfigurasi VPC: VPC dan vSwitch harus sama dengan instans Tair yang disiapkan pada Langkah 1. Hal ini memastikan bahwa layanan router cerdas LLM dapat terhubung ke instans Tair.

• Konfigurasi Redis:

  Konsol

  Di bagian Advanced Features, aktifkan Redis config dan masukkan parameter berikut:

  Parameter	Deskripsi
  Redis Address	Alamat koneksi instans Tair, dalam format <alamat VPC>:<port>. Contohnya, r-uxxx.redis.rds.aliyuncs.com:6379.
  Redis Username	Username untuk instans Tair.
  Redis Password	Password untuk instans Tair.

  JSON

  Di node llm_gateway pada body JSON, tambahkan parameter berikut:

  Parameter	Deskripsi
  enable_user_management	Mengaktifkan manajemen pengguna. Default-nya adalah true.
  redis_addrs	Alamat koneksi instans Tair, dalam format <alamat VPC>:<port>. Contohnya, r-uxxx.redis.rds.aliyuncs.com:6379.
  redis_username	Username untuk instans Tair.
  redis_password	Password untuk instans Tair.

  Contoh JSON:

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

Contoh konfigurasi

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

Parameter

Gunakan Claude Code

1. Konfigurasikan Claude Code untuk menggunakan BASE URL dan TOKEN dari layanan router cerdas EAS.

   # Ganti <YOUR_GATEWAY_URL> dan <YOUR_TOKEN> dengan nilai aktual Anda
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Jalankan Claude Code.

   claude "Write a Python Hello World program"

Kebijakan penjadwalan

Tabel ini membandingkan logika, kasus penggunaan, keunggulan, dan pertimbangan untuk setiap kebijakan penjadwalan.

Tolok ukur kinerja

Tolok ukur pada model Distill-Qwen-7B, QwQ-32B, dan Qwen2.5-72B menunjukkan bahwa router cerdas LLM secara signifikan meningkatkan kecepatan dan throughput inferensi.