Ringkasan dan arsitektur llmroute crd - alibaba cloud service mesh

LLMRoute adalah Kubernetes CRD yang disesuaikan, disediakan oleh Alibaba Cloud Service Mesh (ASM), dirancang untuk memberikan kemampuan konfigurasi deklaratif bagi aturan routing terkait Large Language Models (LLM). CRD ini mendukung pencocokan trafik berdasarkan kondisi seperti header permintaan dan tag sumber daya, serta dapat secara fleksibel merutekan trafik ke layanan LLM eksternal atau pool inferensi dalam klaster. Topik ini menjelaskan bidang-bidang dari sumber daya LLMRoute.

Konfigurasi contoh

Berikut adalah contoh konfigurasi LLMRoute. Untuk contoh lengkap, lihat Pengaturan Rute Trafik: Gunakan ASM untuk Mengelola Trafik LLM.

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMRoute
metadata:  
  name: dashscope-route
spec:
  host: dashscope.aliyuncs.com # Harus unik antara penyedia LLM yang berbeda
  rules:
  - name: vip-route
    matches:
    - headers:
        user-type:
          exact: subscriber  # Item rute khusus untuk pelanggan langganan
    backendRefs:
    - providerHost: dashscope.aliyuncs.com
  - backendRefs:
    - providerHost: dashscope.aliyuncs.com

Item konfigurasi

LLMRoute

Item konfigurasi	Tipe	Deskripsi
host	`String`	URL tujuan host dari rute.
gateways	`[]String`	Aturan gateway, sama seperti `gateways` di layanan virtual.
rules	`[]<a baseurl="t2875900_v1_0_0.xdita" data-node="5566497" data-root="55722" data-tag="xref" href="#9e2d23cfd9yk8" id="203ede78d1zqn">LLMRule</a>`	Daftar aturan routing.

LLMRule

LLMRule digunakan untuk menentukan satu aturan routing.

Item konfigurasi	Tipe	Deskripsi
name	`String`	Nama aturan.
matches	`[]<a baseurl="t2875900_v1_0_0.xdita" data-node="5566497" data-root="55722" data-tag="xref" href="#c6aaba9ebecml" id="1d6934e420k9v">LLMRequestMatch</a>`	Kondisi kecocokan.
backendRefs	`[]<a baseurl="t2875900_v1_0_0.xdita" data-node="5566497" data-root="55722" data-tag="xref" href="#2aa3dff7c2xdo" id="b9e9745a72gjj">LLMBackendRef</a>`	Daftar referensi backend.

LLMRequestMatch

LLMRequestMatch menentukan kondisi yang harus dipenuhi oleh permintaan.

Item konfigurasi	Tipe	Deskripsi
Headers	`map[String]<a baseurl="t2875900_v1_0_1.xdita" data-node="4225836" data-root="55722" data-tag="xref" href="t2347861.xdita#p5bt6" id="7d4183df249j1" props="china"></a><a href="https://istio.io/latest/docs/reference/config/networking/virtual-service/#StringMatch" id="c926f411acjah" props="intl">StringMatch</a>`	Header permintaan yang harus cocok dengan permintaan.
SourceLabels	`map[String]String`	Label sumber daya yang harus cocok dengan permintaan.
Gateways	`[]String`	Aturan gateway yang harus cocok dengan permintaan.

LLMBackendRef

LLMBackendRef menentukan informasi yang direferensikan oleh objek backend, termasuk bidang-bidang berikut:

Item konfigurasi	Tipe	Deskripsi
ProviderHost	`String`	Host target.
Weight	`Int32`	Nilai bobot.
BackendRef	`<a baseurl="t2875900_v1_0_0.xdita" data-node="5566497" data-root="55722" data-tag="xref" href="#3af54150fcgb0" id="5480ac9b120e3">BackendObjectReference</a>`	Referensi objek backend.

ProviderHost dan BackendRef tidak dapat ada secara bersamaan.

BackendObjectReference

BackendObjectReference menentukan informasi referensi objek backend, termasuk bidang-bidang berikut:

Item konfigurasi	Tipe	Deskripsi
Group	`String`	Grup tempat objek backend berada.
Kind	`String`	Jenis objek backend.
Name	`String`	Nama objek backend.
Namespace	`String`	Namespace objek backend.
Port	`Int32`	Port objek backend.

Saat ini, hanya InferencePool yang dapat direferensikan.