LLMRoute CRD說明 - Alibaba Cloud Service Mesh

LLMRoute 是Service Mesh (ASM)提供的定製化Kubernetes CRD，旨在為大規模語言模型（Large Language Model，LLM）相關的路由規則提供聲明式的配置能力。該CRD支援基於要求標頭、資源標籤等條件的流量匹配，並能夠靈活地將流量路由到指定的外部LLM服務或叢集內推理池（Inference Pool）。本文將詳細介紹LLMRoute資源的各個欄位。

配置樣本

以下為LLMRoute 的樣本配置。完整情境樣本，請參見流量路由：使用ASM高效管理LLM流量。

apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMRoute
metadata:  
  name: dashscope-route
spec:
  host: dashscope.aliyuncs.com # 不同LLMprovider之間不可重複
  rules:
  - name: vip-route
    matches:
    - headers:
        user-type:
          exact: subscriber  # 訂閱使用者專用的路由項
    backendRefs:
    - providerHost: dashscope.aliyuncs.com
  - backendRefs:
    - providerHost: dashscope.aliyuncs.com

配置項說明

LLMRoute

配置項	類型	描述
host	`String`	路由的目標主機地址。
gateways	`[]String`	網關規則列表，與虛擬服務中的`gateways`相同。
rules	`[]LLMRule`	路由規則列表。

LLMRule

LLMRule 用於定義單個路由規則。

配置項	類型	描述
name	`String`	規則名稱。
matches	`[]LLMRequestMatch`	匹配條件列表。
backendRefs	`[]LLMBackendRef`	後端引用列表。

LLMRequestMatch

LLMRequestMatch 用於定義請求匹配條件。

配置項	類型	描述
Headers	`map[String]StringMatch`	要求標頭匹配條件。
SourceLabels	`map[String]String`	資源標籤匹配條件。
Gateways	`[]String`	網關匹配條件。

LLMBackendRef

LLMBackendRef 定義了後端引用資訊，包含以下欄位：

配置項	類型	描述
ProviderHost	`String`	目標Host。
Weight	`Int32`	權重值。
BackendRef	`BackendObjectReference`	後端對象引用。

ProviderHost和BackendRef不可同時存在。

BackendObjectReference

BackendObjectReference 定義了後端對象的引用資訊，包含以下欄位：

配置項	類型	描述
Group	`String`	後端對象的組。
Kind	`String`	後端對象的類型。
Name	`String`	後端對象的名稱。
Namespace	`String`	後端對象的命名空間。
Port	`Int32`	後端對象的連接埠。

目前只支援引用InferencePool資源。