Platform For AI:LLM インテリジェントルーターによる推論効率の向上

コアコンポーネント

LLM インテリジェントルーターサービスは、以下の 2 つのコアコンポーネントで構成されています。

• LLM Gateway：トラフィックのエントリポイントであり、リクエスト処理センターです。ユーザーリクエストを受信し、LLM Scheduler からの決定に基づいてターゲットの推論インスタンスに転送します。

  • HTTP (HTTP_SSE) および WebSocket プロトコルをサポートします。

  • デフォルトでは、Anthropic API プロトコル変換機能が有効になっています。この機能は、Anthropic 準拠のリクエストを自動的に OpenAI 互換のフォーマットに変換します。これにより、Claude Code などのエコシステムツールを使用して、コードを変更することなく OpenAI API 標準に準拠したモデルサービスを呼び出すことができます。詳細については、「Claude Code を使用した呼び出し」をご参照ください。

• LLM Scheduler：インテリジェントなスケジューリングエンジンです。プレフィックスキャッシュルーティングなどのスケジューリングポリシーに基づいて、各リクエストに最適なターゲットインスタンスを選択します。

ワークフロー

以下は主要なワークフローです。

1. リクエストの受信：ユーザーリクエストが LLM Gateway に到着します。バックエンドの推論インスタンスの負荷が高い場合、ゲートウェイはリクエストをキューに入れます。

2. インテリジェントスケジューリング：LLM Gateway はスケジューリングリクエストを LLM Scheduler に送信します。LLM Scheduler は、スケジューリングポリシーと各インスタンスからのリアルタイムメトリックに基づいて最適なインスタンスを選択します。

3. リクエストの転送：スケジューリングの決定を受け取った後、LLM Gateway はユーザーリクエストを選択されたインスタンスに直接転送します。

フェイルオーバーメカニズム

多層的なフォールトトレランスメカニズムにより、サービスの安定性が保証されます。

• LLM Gateway：少なくとも 2 つのインスタンスをデプロイすることを推奨します。インスタンスに障害が発生した場合、トラフィックは自動的に正常なインスタンスにフェイルオーバーします。

• LLM Scheduler：スケジューラに障害が発生した場合、LLM Gateway は自動的にラウンドロビンルーティングにフォールバックします。これにより、インテリジェントなスケジューリングを犠牲にして可用性が確保されます。スケジューラが回復すると、自動的にインテリジェントなスケジューリングを再開します。

• 推論インスタンス：推論インスタンスに障害が発生した場合、LLM Scheduler はすぐに利用可能なプールからそれを削除し、新しいトラフィックのルーティングを停止します。インスタンスが回復すると、スケジューラは自動的にそれをプールに戻します。

ステップ 1：LLM インテリジェントルーターのデプロイ

1. PAI コンソールにログインし、ページ上部でターゲットリージョンを選択します。

2. 左側のナビゲーションウィンドウで、Elastic Algorithm Service (EAS) をクリックします。EAS ページで、ターゲットワークスペースを選択します。

3. モデルのアップロードとデプロイメント をクリックし、シナリオベースのモデルデプロイ > LLM インテリジェントルーターのデプロイメント を選択します。

4. パラメーターを設定します。

   パラメーター		説明
   基本情報	サービス名	サービスのカスタム名を入力します。例：llm_gateway。
   リソースのデプロイメント	リソースのデプロイメント	LLM Gateway のリソース構成を指定します。高可用性のために、インスタンス数： はデフォルトで 2 に設定されています。この設定を維持することを推奨します。デフォルトの構成は 4 vCPU と 8 GB のメモリです。
   	スケジューリング設定	LLM Scheduler のリソース構成を指定します。デフォルトは 2 vCPU と 4 GB のメモリです。
   	スケジューリングポリシー	バックエンド推論インスタンスの負荷分散ポリシーです。デフォルトは プレフィックスに基づくキャッシュ です。選択に役立つ詳細な比較については、「スケジューリングポリシーのリファレンス」をご参照ください。
   高度な機能	Redis の設定	任意。ユーザー情報と使用統計を永続化します。設定しない場合、サービスはローカルメモリを使用し、サービスが停止するとデータは失われます。詳細については、「Redis 永続ストレージの設定」をご参照ください。

5. デプロイメント をクリックします。サービスステータスが 実行中 に変わると、デプロイは成功です。

   デプロイ後、システムは自動的に group_<LLM インテリジェントルーターのサービス名> という名前のサービスグループを作成します。グループを表示するには、Elastic Algorithm Service (EAS) ページに移動し、グループサービス タブをクリックします。

ステップ 2：LLM サービスのデプロイ

新しい LLM サービスをデプロイする際に、インテリジェントルーター機能を設定する必要があります。既存のサービスに更新アクションでこの機能を追加することはできません。

以下の手順では、Qwen3-8B のデプロイを例として使用します。

1. モデルのアップロードとデプロイメント をクリックし、シナリオベースのモデルデプロイ > LLM 大規模言語モデル を選択します。

2. 以下の主要なパラメーターを設定します。

   パラメーター		値
   基本情報	モデル設定	パブリックモデル を選択し、Qwen3-8B を検索して選択します。
   	推論エンジン	vLLM を選択します (推奨、OpenAI API と互換性あり)。 説明 LLM インテリジェントルーターサービスが プレフィックスに基づくキャッシュ スケジューリングポリシーを使用し、推論エンジンとして vLLM を選択した場合、エンジンのプレフィックスキャッシュ機能が有効になっていることを確認してください。
   	デプロイテンプレート	単一ノードを選択します。システムはテンプレートから推奨されるインスタンス仕様、イメージ、その他のパラメーターを自動的に入力します。
   サービス機能の設定	LLM インテリジェントルーター	トグルをオンにし、ドロップダウンリストからステップ 1 でデプロイした LLM インテリジェントルーターサービスを選択します。

3. デプロイメント をクリックします。デプロイには約 5 分かかります。サービスステータスが 実行中 に変わると、デプロイは成功です。

ステップ 3：サービスのテスト

すべてのリクエストは、バックエンドの推論サービスではなく、LLM インテリジェントルーターサービスのアクセスエンドポイントに送信する必要があります。

1. アクセス認証情報の取得

   1. LLM インテリジェントルーターサービスの 概要 ページに移動します。基本情報 セクションで、エンドポイント情報の表示 をクリックします。

   2. [エンドポイント情報] ページの 独立したサービストラフィックの入口 で、インターネットエンドポイント と トークン をコピーします。

   重要

   ここでのサービストークンは、管理者 API キーです。管理者が WebUI ワークベンチを介して別の API キーを割り当てた場合は、以下の例で <YOUR_TOKEN> をご自身の API キーに置き換えてください。

2. リクエスト URL の構築とサービスの呼び出し

   • URL 形式：<LLM インテリジェントルーターのアクセスエンドポイント>/<LLM サービスの API パス>

   • 例：http://********.pai-eas.aliyuncs.com/api/predict/group_llm_gateway.llm_gateway/v1/chat/completions

   リクエスト例：

   # <YOUR_GATEWAY_URL> と <YOUR_TOKEN> を実際の値に置き換えてください
   curl -X POST "<YOUR_GATEWAY_URL>/v1/chat/completions" \
        -H "Authorization: Bearer <YOUR_TOKEN>" \
        -H "Content-Type: application/json" \
        -N \
        -d '{
              "messages": [{"role": "user", "content": "Hello"}],
              "stream": true
            }'

   応答例：

   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"role":"assistant","content":""},"logprobs":null,"finish_reason":null}]}
   data: {"id":"chatcmpl-9a9f8299*****","object":"chat.completion.chunk","created":1762245102,"model":"Qwen3-8B","choices":[{"index":0,"delta":{"content":"<think>","tool_calls":[]}}]}
   
   ...
   data: [DONE]

サービスをデプロイした後、WebUI ワークベンチを使用して、ライブモニタリングや構成管理などのタスクを実行できます。詳細については、「LLM インテリジェントルーターワークベンチの使用」をご参照ください。

ステップ 1：Tair (Redis) インスタンスのプロビジョニング

1. Tair 購入ページからインスタンスを購入します。

   重要

   インスタンスを作成する際は、LLM インテリジェントルーターサービスと同じ VPC と vSwitch を選択してください。その他のオプションについては、最小仕様から始めることができます。

2. LLM インテリジェントルーターサービスの vSwitch の CIDR ブロックをインスタンスの許可リストに追加します。詳細については、「許可リストの設定」をご参照ください。

3. ターゲットインスタンス ID をクリックして詳細ページを開きます。LLM インテリジェントルーターサービスをデプロイする際に、接続情報が必要になります。

   • 接続アドレスとポート：[インスタンス情報] セクションの[接続情報] で、VPC 接続アドレスとポート番号を確認します。

   • ユーザー名とパスワード：[アカウント管理] ページで、デフォルトのアカウントを見つけます。インスタンス作成時にパスワードを設定しなかった場合は、ここで設定またはリセットできます。デフォルトのアカウントの代わりに新しいアカウントを作成することもできます。

ステップ 2：Redis の設定

基本構成に加えて、VPC を構成し、Redis 接続パラメーターを追加して永続ストレージを有効にする必要があります。

• VPC の設定：VPC と vSwitch は、ステップ 1 でプロビジョニングした Tair インスタンスと同じである必要があります。これにより、LLM インテリジェントルーターサービスが Tair インスタンスに接続できるようになります。

• Redis の設定：

  コンソール

  高度な機能 セクションで、Redis の設定 を有効にし、以下のパラメーターを入力します。

  パラメーター	説明
  Redis アドレス	Tair インスタンスの接続アドレス。形式は <VPC アドレス>:<ポート> です。例：r-uxxx.redis.rds.aliyuncs.com:6379。
  Redis ユーザー名	Tair インスタンスのユーザー名。
  Redis パスワード	Tair インスタンスのパスワード。

  JSON

  JSON 本文の llm_gateway ノードに、以下のパラメーターを追加します。

  パラメーター	説明
  enable_user_management	ユーザー管理を有効にします。デフォルトは true です。
  redis_addrs	Tair インスタンスの接続アドレス。形式は <VPC アドレス>:<ポート> です。例：r-uxxx.redis.rds.aliyuncs.com:6379。
  redis_username	Tair インスタンスのユーザー名。
  redis_password	Tair インスタンスのパスワード。

  JSON の例：

  {
      "llm_gateway": {
          "enable_user_management": true,
          "redis_addrs": "r-uxxx.redis.rds.aliyuncs.com:6379",
          "redis_username": "xxx",
          "redis_password": "xxx"
      }
  }

設定例

{
    "cloud": {
        "computing": {
            "instance_type": "ecs.c7.large"
        }
    },
    "llm_gateway": {
        "max_queue_size": 128,
        "retry_count": 2,
        "wait_schedule_timeout": 5000,
        "wait_schedule_try_period": 500
    },
    "llm_scheduler": {
        "cpu": 2,
        "memory": 4000,
        "policy": "prefix-cache"
    },
    "metadata": {
        "group": "group_llm_gateway",
        "instance": 2,
        "name": "llm_gateway",
        "type": "LLMGatewayService",
         "rpc": {
            "disable_auth": true
        }
    }
}

パラメーター

Claude Code の使用

1. EAS インテリジェントルーターサービスから取得した BASE URL と TOKEN を使用するように Claude Code を設定します。

   # <YOUR_GATEWAY_URL> と <YOUR_TOKEN> を実際の値に置き換えてください
   export ANTHROPIC_BASE_URL=<YOUR_GATEWAY_URL>
   export ANTHROPIC_AUTH_TOKEN=<YOUR_TOKEN>

2. Claude Code を実行します。

   claude "Write a Python Hello World program"

スケジューリングポリシー

この表は、各スケジューリングポリシーのロジック、ユースケース、利点、および考慮事項を比較したものです。

パフォーマンスベンチマーク

Distill-Qwen-7B、QwQ-32B、および Qwen2.5-72B モデルでのベンチマークは、LLM インテリジェントルーターが推論速度とスループットを大幅に向上させることを示しています。