Platform For AI:LLM インテリジェントルーターのデプロイによる推論効率の向上

基本概念

LLM インテリジェントルーターサービスは、2 つのコアコンポーネントで構成されています。

• LLM ゲートウェイ：トラフィックの入口とリクエスト処理。 ユーザーリクエストを受信し、LLM スケジューラ からの決定に基づいて、ターゲットの推論インスタンスに転送します。

  • HTTP (HTTP_SSE) および WebSocket プロトコルをサポートします。

  • デフォルトで Anthropic API プロトコル変換が有効になっています。Anthropic 仕様でフォーマットされたリクエストは、OpenAI 互換のフォーマットに自動的に変換されます。これにより、コードを変更することなく、OpenAI API 標準に準拠したモデルサービスで Claude Code のようなツールを使用できます。詳細については、「ルーターでの Claude Code の使用」をご参照ください。

• LLM スケジューラ：スケジューリングエンジン。 設定されたスケジューリングポリシー (例：プレフィックスキャッシュルーティング) に基づき、各リクエストに最適なターゲットインスタンスを選択します。

リクエストフロー

リクエストフローは以下の通りです。

1. リクエストの受信。 ユーザーリクエストは LLM ゲートウェイ に到達します。すべてのバックエンド推論インスタンスが高負荷の場合、ゲートウェイはリクエストをキューに入れます。

2. インテリジェントスケジューリング。 LLM ゲートウェイ は、スケジューリングリクエストを LLM スケジューラ に送信します。LLM スケジューラ は、設定されたポリシーと各インスタンスからのリアルタイムメトリクスに基づいて、最適なインスタンスを選択します。

3. リクエストの転送。 スケジューリング結果を受信した後、LLM ゲートウェイ はユーザーリクエストを選択されたインスタンスに直接転送します。

フェールオーバーメカニズム

このサービスには、可用性を維持するために、複数階層のフォールトトレランスが備わっています。

• LLM ゲートウェイ： 少なくとも 2 つのインスタンスをデプロイしてください。1 つのインスタンスに障害が発生した場合、トラフィックは自動的に正常なインスタンスに切り替わります。

• LLM スケジューラ： スケジューラに障害が発生した場合、LLM ゲートウェイ は自動的にラウンドロビンルーティングにフォールバックします (スケジューリング性能は低下しますが、可用性は維持されます)。スケジューラが復旧すると、インテリジェントスケジューリングが自動的に再開されます。

• 推論インスタンス： インスタンスに障害が発生した場合、LLM スケジューラ はそのインスタンスを直ちに利用可能プールから削除します。復旧して自動的に再追加されるまで、そのインスタンスに新しいトラフィックはルーティングされません。

ステップ 1：LLM インテリジェントルーター サービスのデプロイ

1. PAI コンソールにログインし、ページ上部でターゲットリージョンを選択します。

2. 左側のナビゲーションペインで、Elastic Algorithm Service (EAS) をクリックし、対象のワークスペースを選択して、EAS に移動します。

3. Deploy Service をクリックし、Scenario-based Model Deployment>Deploy LLM gateway を選択します。

4. パラメータを設定します。

   パラメータ		説明
   [Basic Information]	[Service Name]	任意のサービス名です。例：llm_gateway。
   [Resource Information]	[Deployment Resources]	LLM Gateway のリソース設定では、高可用性を確保するため、Number of Replicas のデフォルトは 2 です。このデフォルト値を維持することをお勧めします。デフォルトのリソース割り当ては 4 vCPU と 8 GB のメモリです。
   	[Scheduling configuration]	LLM スケジューラのリソース構成です。デフォルトは 2 vCPU および 4 GB のメモリです。
   	[Scheduling Policy]	バックエンド推論インスタンスを選択するために使用される負荷分散ポリシーです。デフォルトはPrefix cacheです。詳細な比較と選択のガイダンスについては、「スケジューリングポリシーリファレンス」をご参照ください。
   [Advanced Features]	[Redis config]	オプションです。ユーザー情報と使用統計を永続化します。Redis がない場合、サービスはローカルメモリを使用し、サービス停止時にデータが失われます。詳細については、「Redis 永続ストレージの構成」をご参照ください。

5. Deploy をクリックします。サービスステータスが Running に変わると、デプロイは完了です。

   デプロイ後、group_<LLM インテリジェントルーターサービス名> という名前のサービスグループが自動的に作成されます。 これを表示するには、Elastic Algorithm Service (EAS) ページに移動し、Canary Release タブをクリックします。

ステップ 2：LLM サービスのデプロイ

新しい LLM サービスを作成する際に、インテリジェントルーターを構成します。Update を通じて既存のサービスに追加することはできません。

次の例では Qwen3-8B を使用します。

1. Deploy Service をクリックし、次に Scenario-based Model Deployment>LLM Deployment を選択します。

2. 次のパラメータを設定します。

   パラメータ		値
   [Basic Information]	[Model Settings]	Public Modelを選択し、Qwen3-8B を検索して選択します。
   	[Inference Engine]	vLLM を選択します (推奨、OpenAI API 互換)。 説明 LLM インテリジェントルーターに Prefix cache スケジューリングポリシーが設定されており、推論エンジンとして vLLM を選択した場合は、vLLM でプレフィックスキャッシュが有効になっていることを確認してください。
   	[Deployment Template]	Single node を選択します。システムは、テンプレートに基づいて推奨されるインスタンスタイプ、イメージ、およびその他のパラメータを自動的に入力します。
   [Features]	[LLM Intelligent Router]	トグルを有効にし、ステップ 1 でデプロイした LLM インテリジェントルーター サービスをドロップダウンリストから選択します。

3. Deploy をクリックします。 デプロイには約 5 分かかります。 サービスステータスが Running に変わると、デプロイは完了です。

ステップ 3：サービスのテスト

すべてのリクエストは、個々のバックエンド推論サービスの URL ではなく、LLM インテリジェントルーター サービスのアクセス URL に送信します。

1. アクセス認証情報の取得

   1. LLM インテリジェントルーターサービスをクリックしてOverviewページを開きます。Basic Informationセクションで、View Endpoint Informationをクリックします。

   2. [呼び出し情報] ページで、Service-specific Traffic Entry Internet Endpoint と [トークン] をコピーします。

   重要

   ここに表示されるサービス トークンは管理者の認証情報です。管理者が WebUI ワークベンチを通じて個々の API キーをユーザーに割り当てている場合、各ユーザーは以下の例の <YOUR_TOKEN> を自分の API キーに置き換える必要があります。

2. リクエスト URL の構築と呼び出しの送信

   • URL 形式： <LLM インテリジェントルーター URL>/<LLM サービス API パス>

   • 例： http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   リクエスト例：

   # <YOUR_GATEWAY_URL> と <YOUR_TOKEN> を実際の値に置き換えてください
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "こんにちは"}],
              "stream": true
            }'

   レスポンス例：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

サービスのデプロイ後、ライブモニタリングや構成管理を含む視覚的な管理のために WebUI ワークベンチにアクセスしてください。詳細については、「LLM インテリジェントルーティング ワークベンチの使用」をご参照ください。

ステップ 1： Tair (Redis) インスタンスのプロビジョニング

1. Tair 購入ページにアクセスし、インスタンスを購入します。

   重要

   デプロイする予定の LLM インテリジェントルーターサービスと同じ Virtual Private Cloud (VPC) と vSwitch を選択してください。その他のオプションは必要に応じて構成します。最小仕様から開始してください。

2. LLM インテリジェントルーターサービスの vSwitch CIDR ブロックをインスタンスの許可リストに追加します。詳細については、「許可リストの構成」をご参照ください。

3. ターゲットインスタンス ID をクリックして詳細ページを開き、接続情報を確認します。この情報は、LLM インテリジェントルーターサービスをデプロイする際に必要になります。

   • 接続アドレスとポート： インスタンス情報 > 接続情報 で、VPC 接続アドレスとポート番号を取得します。

   • ユーザー名とパスワード： アカウント管理 ページで、デフォルトアカウントを確認します。インスタンス作成時にパスワードが設定されていない場合は、そこでパスワードを設定またはリセットしてください。デフォルトアカウントの代わりに新しいアカウントを作成することもできます。

ステップ 2： デプロイ時の Redis の構成

基本構成に加えて、VPC 設定と Redis 接続パラメーターを指定して、永続ストレージを有効にします。

• VPC の構成： VPC と vSwitch は、ステップ 1 の Tair インスタンスと一致させる必要があります。これにより、LLM インテリジェントルーターサービスが Tair インスタンスにアクセスできるようになります。

• Redis の構成：

  コンソール

  [Advanced Features] セクションで、[Redis config] を有効にし、以下を入力します。

  パラメーター	説明
  [Redis Address]	Tair インスタンスの接続アドレス。形式は <VPC アドレス>:<ポート> で、例は r-uxxx.redis.rds.aliyuncs.com:6379 です。
  [Redis Username]	Tair インスタンスのユーザー名です。
  [Redis Password]	Tair インスタンスのパスワードです。

  JSON

  JSON ボディの llm_gateway ノードに、次のパラメーターを追加します。

  パラメーター	説明
  enable_user_management	ユーザー管理を有効にします。デフォルトは true です。
  redis_addrs	Tair インスタンスの接続アドレス。<VPC address>:<port> 形式で、たとえば r-uxxx.redis.rds.aliyuncs.com:6379 のようになります。
  redis_username	Tair インスタンスのユーザー名です。
  redis_password	Tair インスタンスのパスワードです。

  JSON の例：

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

構成例

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

パラメーター

ルーターでの Claude Code の使用

1. Claude Code に、EAS インテリジェントルーターサービスが提供するベース URL とトークンを設定します。

   # <YOUR_GATEWAY_URL> と <YOUR_TOKEN> を実際の値に置き換えてください
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Claude Code を実行します。

   claude "Python で Hello World を書いて"

スケジューリングポリシーのリファレンス

適切なスケジューリングポリシーを選択することが、LLM インテリジェントルーターを最大限に活用する鍵です。次の表では、各ポリシーのロジック、最適なユースケース、利点、および考慮事項を比較します。

パフォーマンスベンチマーク

Distill-Qwen-7B、QwQ-32B、および Qwen2.5-72b でのテストでは、LLM インテリジェントルーターを使用した場合の推論速度とスループットの向上が示されています。テスト環境と結果を以下に説明します。