Server Load Balancer:AI サービスのフォールバック

1. ALB Extensible Edition インスタンスの作成

1. ALB コンソールにログインし、中国 (ウランチャブ) リージョンを選択してから、ALB の作成 をクリックします。

2. 購入ページで、次の設定を行い、今すぐ作成 をクリックします。

   • [リージョン]： 中国 (ウランチャブ) を選択します。

   • [インスタンスネットワークタイプ]： [インターネット] を選択します。

   • [VPC] と [アベイラビリティーゾーン]： ターゲット VPC を選択します。次に、[ウランチャブゾーン A] と [ウランチャブゾーン B] のチェックボックスをオンにし、それぞれに対応する vSwitch を選択して、[EIP の割り当て] を選択します。

   • [IPバージョン]： [IPv4] を選択します。

   • [エディション (インスタンス料金)]： [Extensible Edition] を選択します。

3. 注文確認 ページで、インスタンスの設定詳細を確認し、今すぐ有効化 をクリックします。

2. AI サーバーグループの作成

DeepSeek、OpenAI、Model Studio (Bailian) 用に、AI サービスタイプのサーバーグループを 3 つ作成します。フォールバックを実証するため、DeepSeek と OpenAI のサーバーグループは、リクエストが失敗してフォールバックメカニズムがトリガーされるように、不正な API キーを含むアイデンティティ認証情報を参照します。

3. リスナーの作成

1. ALB コンソールで、ターゲットインスタンスの ID をクリックして インスタンスの詳細 ページに移動します。リスナー タブで、リスナーの作成 をクリックします。

2. リスナーの設定 ステップで、リスナープロトコルの選択 を [HTTPS] に、リスニングポート を 443 に設定します。次に、次へ をクリックします。

3. SSL 証明書の設定 ステップで、カスタムドメインに一致するサーバー証明書を選択し、次へ をクリックします。

4. サーバーグループの選択 ステップで、AI サービス タイプとサーバーグループ sgp-fake-deepseek を選択します。次に、次へ をクリックします。

   ここで選択したサーバーグループは、他のどの転送ルールにも一致しないリクエストを処理するリスナーのデフォルトルールに使用されます。これは、ニーズに応じて調整できます。

5. 設定の確認 ステップで、設定を確認し、送信 をクリックします。

4. 転送ルールの設定

ALB は転送ルールを優先度の昇順で評価します。リクエストがルールに一致すると、ALB はそのルールのアクションを実行し、残りのルールはスキップします。

1. インスタンス詳細ページの リスナー タブで、ターゲットリスナーの ID をクリックします。リスナーの詳細 ページで、転送ルール タブに切り替えます。

2. 新しいルールの追加 をクリックし、次の設定を行ってから OK をクリックします。

   1. 転送条件： AI モデル を選択し、モデル名 に deepseek-chat を入力します。

   2. 転送操作： 転送先 先としてサーバーグループ sgp-fake-deepseek を指定します。

   3. 操作の追加： サーバーグループ sgp-fake-openai への [フォールバック] を設定し、右側の モデル名 に gpt-3.5 を入力します。

   4. [フォールバック] セクションで、サーバグループの追加 をクリックします。サーバーグループ sgp-bailian を選択し、右側の モデル名 に qwen-turbo を入力します。

AI モデル 条件は、OpenAI 互換プロトコルを使用し、リクエストパスが /v1/completions、/v1/chat/completions、または /v1/embeddings であるすべてのリクエストに一致します。モデル名 を指定した場合、リクエストボディの model フィールドも指定された名前と一致する必要があります。

フォールバックアクションにモデル名を設定すると、フォールバック時に ALB はリクエストボディの model フィールドを指定された名前に自動的に書き換えます。これにより、リクエストボディがターゲットサービスで想定されているモデルと一致することが保証されます。

5. DNS 名前解決の設定

クライアントがドメイン経由で ALB にアクセスできるように、カスタムドメインを ALB インスタンスの DNS 名にポイントする CNAME レコードを作成します。

このガイドでは、Alibaba Cloud DNS を例として使用します。ドメインが Alibaba Cloud に登録されていない場合は、まずドメインを Alibaba Cloud DNS コンソールに追加してください。

1. ALB コンソールで、ターゲットインスタンスの ドメイン名 をコピーします。

2. Alibaba Cloud DNS コンソールにログインします。ターゲットドメインの Actions 列で、解決設定 をクリックします。解決設定 ページで、Add Record をクリックします。

3. 次の情報で CNAME レコードを追加し、OK をクリックします。

   • Record Type： [CNAME] を選択します。

   • Hostname： ai などのドメインプレフィックスを入力します。ルートドメインが example.com の場合、ALB にアクセスするための完全なドメインは ai.example.com になります。

   • Query Source と TTL： デフォルト設定のままにします。

   • Record Value： ALB インスタンスの DNS 名を入力します。

4. Change Resource Record Confirmation ダイアログボックスで、DNS 情報を確認し、OK をクリックします。

6. テストと検証

• curl コマンドを使用して、リクエストが正しい大規模モデルサービスにフォールバックすることを確認します。ai.example.com を設定したドメインに置き換えます。DNS レコードが伝播していることを確認してください。

• クライアントリクエストは OpenAI 互換プロトコルを使用する必要があります。リクエストパスは /v1/completions、/v1/chat/completions、または /v1/embeddings である必要があり、リクエストボディには model フィールドが含まれている必要があります。ALB はルーティングに model の値を使用します。

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user",
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

成功したリクエストは、次のレスポンスを返します。sgp-fake-deepseek と sgp-fake-openai は不正な API キーを使用しているため、ALB は失敗のレスポンスを受け取り、順次フォールバックして、最終的にリクエストを sgp-bailian に転送します。レスポンスでは、model が qwen-turbo として表示され、content には Qwen からの自己紹介が含まれています。これにより、リクエストが Model Studio (Bailian) にフォールバックし、モデル名が qwen-turbo に書き換えられたことが確認できます。

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large language model from Alibaba's Tongyi Lab. I can answer questions, create text, use logical reasoning, and write code. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

課金

• ALB Extensible Edition： この機能は現在パブリックベータ期間中であり、無料で使用できます。

• インターネットアクセス料金： NAT Gateway はインスタンス料金とキャパシティーユニット (CU) 料金を請求します。NAT Gateway と ALB Extensible Edition インスタンスにバインドされた Elastic IP アドレス (EIP) には、EIP サービスによって請求される個別の課金ルールが適用されます。

• ドメインと DNS 料金： ドメイン登録料に加えて、Alibaba Cloud で DNS 名前解決を設定すると、パブリック権威DNS料金が発生します。

• 証明書料金： Alibaba Cloud から証明書を購入するか、サードパーティの証明書をアップロードすると、サーバー証明書料金が発生します。

• Model Studio 料金： Model Studio の大規模モデル API を呼び出すと、使用量に応じた料金が発生します。

制限事項

• フォールバックは、[サーバタイプ]、[IP タイプ]、[Function Compute タイプ]、[FQDN]、[AI サービス]のサーバーグループタイプでサポートされています。これらのサーバーグループタイプは、[転送先]およびフォールバックアクションの両方のターゲットとして使用できます。

• [AI サービス]以外のサーバーグループへのフォールバックを設定する場合、そのサーバーグループが OpenAI プロトコル互換のモデルサービスを提供していることを確認してください。

• デフォルトでは、1 つの転送ルールに対して最大 5 つのフォールバックサービスを設定できます。このクォータの引き上げを希望する場合は、チケットを起票してください。

• フォールバックのトリガー条件 (HTTP 4xx または 5xx ステータスコード) は固定されており、カスタマイズできません。

ALB Extensible Edition のリージョン

推奨事項

• フォールバック順序の計画： ALB は設定された順序でフォールバックアクションを実行します。モデルの可用性、コスト、レスポンスのレイテンシーに基づいて、各フォールバックサービスの優先度を計画してください。

• モデルの一貫性の確保： モデルプロバイダーによって、出力形式や機能は異なります。フォールバック中にビジネスロジックへの影響を最小限に抑えるために、各フォールバックサービスで同様の機能を持つモデルを選択してください。

よくある質問