LLMRoute は、Service Mesh (ASM) が提供するカスタマイズされた Kubernetes CRD で、大規模言語モデル (LLM) に関連するルーティング ルールの宣言的な構成機能を提供するために設計されています。 この CRD は、リクエスト ヘッダーやリソース タグなどの条件に基づくトラフィック マッチングをサポートし、トラフィックを指定された外部 LLM サービスまたはクラスター内の推論プールに柔軟にルーティングできます。 このトピックでは、LLMRoute リソースのフィールドについて詳しく説明します。
構成例
以下は、LLMRoute の構成例です。 完全なシナリオ例については、「トラフィック ルーティング: ASM を使用した LLM トラフィックの効率的な管理」をご参照ください。
apiVersion: istio.alibabacloud.com/v1beta1
kind: LLMRoute
metadata:
name: dashscope-route
spec:
host: dashscope.aliyuncs.com # 異なる LLM プロバイダー間で一意である必要があります
rules:
- name: vip-route
matches:
- headers:
user-type:
exact: subscriber # サブスクライバー専用のルーティング項目
backendRefs:
- providerHost: dashscope.aliyuncs.com
- backendRefs:
- providerHost: dashscope.aliyuncs.com構成項目
LLMRoute
構成項目 | タイプ | 説明 |
host |
| ルートの宛先ホスト アドレス。 |
gateways |
| ゲートウェイ ルールのリスト。仮想サービスの |
rules |
| ルーティング ルールのリスト。 |
LLMRule
LLMRule は、単一のルーティング ルールを定義するために使用されます。
構成項目 | タイプ | 説明 |
name |
| ルール名。 |
matches | 一致条件。 | |
backendRefs | バックエンド リファレンスのリスト。 |
LLMRequestMatch
LLMRequestMatch は、リクエストの照合条件を定義するために使用されます。
構成項目 | タイプ | 説明 |
Headers |
| リクエスト ヘッダーの照合条件。 |
SourceLabels |
| リソース ラベルの照合条件。 |
Gateways |
| ゲートウェイの照合条件。 |
LLMBackendRef
LLMBackendRef は、バックエンド リファレンス情報を定義します。以下のフィールドが含まれます。
構成項目 | タイプ | 説明 |
ProviderHost |
| ターゲット ホスト。 |
Weight |
| 重み値。 |
BackendRef | バックエンド オブジェクト リファレンス。 |
ProviderHost と BackendRef は同時に存在できません。
BackendObjectReference
BackendObjectReference は、バックエンド オブジェクトの参照情報を定義します。以下のフィールドが含まれます。
構成項目 | タイプ | 説明 |
Group |
| バックエンド オブジェクトのグループ。 |
Kind |
| バックエンド オブジェクトのタイプ。 |
Name |
| バックエンド オブジェクトの名前。 |
Namespace |
| バックエンド オブジェクトの名前空間。 |
Port |
| バックエンド オブジェクトのポート。 |
現在、InferencePool リソースへの参照のみがサポートされています。