Platform For AI:LLM インテリジェントルーターのデプロイ

アーキテクチャ概要

LLM インテリジェントルーターは、バックエンドの LLM 推論インスタンスクラスター向けにインテリジェントなトラフィック分散および管理を提供するため、以下の 3 つのコアコンポーネントで構成されます：

• LLM ゲートウェイ：HTTP/SSE および WebSocket プロトコルをサポートする主要なトラフィック入口およびリクエスト処理コンポーネント

• LLM スケジューラ：リアルタイムメトリクスを集約し、ポリシーに基づいたスケジューリング判断を行う中央知能コンポーネント

• LLM エージェント：各推論インスタンスにサイドカーコンテナーとして展開される分散型監視プローブ

コアワークフローの処理手順は以下のとおりです：

1. インスタンス登録：推論サービスが起動すると、LLM エージェント は推論エンジンの準備完了を待機した後、LLM スケジューラ にインスタンスを登録し、定期的に健全性ステータスおよびパフォーマンスメトリクスを報告します。

2. トラフィック受信：ユーザーからのリクエストは、まず LLM ゲートウェイ で受信されます。

3. スケジューリング判断：LLM ゲートウェイ が LLM スケジューラ に対してスケジューリング要求を送信します。

4. インテリジェントスケジューリング：LLM スケジューラ は、すべての LLM エージェント から報告されたスケジューリングポリシーおよびリアルタイムメトリクスに基づき、最適なバックエンドインスタンスを選択します。

5. リクエスト転送: LLM Scheduler は、LLM Gateway に判断結果を返し、LLM Gateway がユーザーの元のリクエストをターゲット インスタンスに転送します。

6. リクエストバッファリング：すべてのバックエンドインスタンスが高負荷状態の場合、新規リクエストは一時的に LLM ゲートウェイ のキュー内でバッファリングされ、LLM スケジューラ による適切な転送機会の検出を待ちます。これにより、リクエスト失敗を防止します。

コアコンポーネント

フェイルオーバー機構

本システムでは、サービスの安定性を確保するために、複数層のフォールトトレランス機構を実装しています：

• LLM ゲートウェイ（高可用性）：LLM ゲートウェイはステートレスなトラフィックイングレスレイヤーです。高可用性を確保するためには、最低でも 2 つのインスタンスをデプロイしてください。1 つのインスタンスが障害を起こした場合、トラフィックは自動的に健全なインスタンスに切り替わり、継続的なサービス可用性が保証されます。

• LLM スケジューラ（劣化フォールトトレランス）：LLM スケジューラはリクエストスケジューリングコンポーネントであり、グローバルスケジューリングを可能にするために単一インスタンスで実行されます。もし LLM スケジューラ が障害を起こした場合、LLM ゲートウェイ はハートビート障害後に自動的に劣化モードに移行します。このモードでは、ラウンドロビン ポリシーを使用して、リクエストをバックエンドインスタンスに直接転送します。これによりサービス可用性は確保されますが、スケジューリングパフォーマンスは低下します。その後、LLM スケジューラ が復旧すると、LLM ゲートウェイ は自動的にインテリジェントスケジューリングモードへ復帰します。

• 推論インスタンスまたは LLM エージェント（自動削除）：推論インスタンスまたは関連する LLM エージェント が障害を起こすと、LLM エージェント と LLM スケジューラ 間のハートビート接続が切断されます。LLM スケジューラ は、即座に当該インスタンスを利用可能なインスタンス一覧から削除し、新たなトラフィックの割り当てを停止します。インスタンスが復旧し、ハートビート接続が再確立された後は、自動的にサービス一覧に再登録されます。

マルチ推論エンジン対応

異なる LLM 推論エンジンは、それぞれの /metrics エンドポイントを通じて異なるメトリクス情報を返却するため、LLM エージェントはこれらのメトリクスを収集し、標準化されたフォーマットに変換した上で報告します。このため、LLM スケジューラは特定の推論エンジンの実装詳細を理解する必要がなく、標準化されたメトリクスに基づくスケジューリングアルゴリズムのみを実装すればよいことになります。現在対応している LLM 推論エンジンおよびその対応メトリクスは以下のとおりです：

ステップ 1：LLM インテリジェントルーターサービスのデプロイ

1. PAI コンソール にログインし、ページ上部でターゲットリージョンを選択します。

2. 左側のナビゲーションウィンドウで、Elastic Algorithm Service (EAS) をクリックし、対象のワークスペースを選択して EAS ページに移動します。

3. Deploy Service をクリックし、Scenario-based Model Deployment > Deploy LLM gateway を選択します。

4. パラメーターを設定します：

   パラメーター		説明
   Basic Information	Service Name	サービス名をカスタマイズします（例：llm_gateway）。
   Resource Information	Deployment Resources	LLM ゲートウェイ のリソース構成です。高可用性を確保するため、デフォルトの Number of Replicas は 2 です。この設定をそのまま使用してください。デフォルトの CPU は 4 コア、メモリ は 8 GB です。
   	Scheduling configuration	LLM スケジューラ のリソース構成です。デフォルトの CPU は 2 コア、メモリ は 4 GB です。
   	Scheduling Policy	バックエンド推論インスタンス向けのロードバランスポリシーを選択します。デフォルトは Prefix cache です。詳細な比較および選択ガイドについては、「スケジューリングポリシーの詳細および選択方法」をご参照ください。

5. Deploy をクリックします。サービスステータスが Running に変わると、デプロイが成功したことを意味します。

デプロイが成功すると、システムは自動的に group_<LLM インテリジェントルーターサービス名> という名前のサービスグループを作成します。EAS ページに移動し、Elastic Algorithm Service (EAS) ページの Canary Release タブでサービスグループを確認できます。

ステップ 2：LLM サービスのデプロイ

LLM サービスをデプロイし（詳細については、「大規模言語モデルのデプロイ」をご参照ください）、先に作成したインテリジェントルーターサービスに関連付けます：

1. Features セクションで、LLM Intelligent Router スイッチをオンにします。

2. ステップ 1 でデプロイした LLM インテリジェントルーターサービスをドロップダウンリストから選択します。

ステップ 3：サービスのテスト

すべてのリクエストは、特定のバックエンド推論サービスのエンドポイントではなく、LLM インテリジェントルーターサービスのエンドポイントに送信する必要があります。

1. アクセス認証情報の取得。

   1. LLM インテリジェントルーターサービスをクリックして、Overview ページに移動します。Basic Information セクションで、View Endpoint Information をクリックします。

   2. エンドポイント情報 ページで、Internet Endpoint および トークン を Service-specific Traffic Entry セクションからコピーします。

2. リクエスト URL の構築およびサービス呼び出し。

   • URL 構造：<LLM インテリジェントルーターのエンドポイント>/<LLM サービスの API パス>

   • 例：http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   リクエストの例：

   # <YOUR_GATEWAY_URL> および <YOUR_TOKEN> を実際の値に置き換えます
   # <model_name> を実際のモデル名に置き換えます
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "model": "<model_name>",
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   応答の例：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]