Global Accelerator:Global Accelerator を使用した AI モデルのプロキシとスケジューリング

AI サービスエンドポイントグループの設定

Global Accelerator コンソールにログインし、標準タイプの従量課金型インスタンスの作成 をクリックします。

1. インスタンスの基本設定：必要に応じて 高速化 IP アドレスのタイプ を選択します。

2. アクセラレーションエリアの設定：アクセラレーションエリア と 帯域幅の割り当て を設定します。

3. リスナーの設定：スマートルーティング (ネイティブ標準リスナー) を設定します。プロトコル で HTTPS を選択します。ポート を 443 に設定します。SSL 証明書の設定 で、アップロードしたカスタムドメインに一致するサーバー証明書を選択します。

4. エンドポイントグループの設定：

   GA インスタンスを作成した後、リスナー詳細ページに移動し、エンドポイントグループ タブを選択し、エンドポイントグループの追加 をクリックします。以下の手順に従って、異なるリージョンに AI サービスエンドポイントグループを設定します。各エンドポイントグループは、AI サービス タイプのバックエンドサービスを 1 つだけサポートします。このタイプを追加した後は、他のバックエンドサービスを追加することはできません。

   • リージョン：AI プロバイダーが利用可能なサービスに最も近いリージョンを選択します。

     ご利用のビジネスが中国本土と中国 (香港)、マカオ (中国)、台湾 (中国)、またはその他の国やリージョン間の加速を含む場合、プロンプトに従って データのクロスボーダー運用に関するコンプライアンス誓約書 を読み、署名してください。

   • バックエンドサービスタイプ：AI サービス を選択します。

   • LLM プロバイダー：現在、Alibaba Cloud Model Studio と OpenAI Compatible をサポートしています。

   • サービスエンドポイント：プロバイダーを選択すると自動的に入力されます。Alibaba Cloud Model Studio のデフォルトは https://dashscope.aliyuncs.com/compatible-mode/v1 です。OpenAI 互換のデフォルトは https://api.openai.com/v1 です。自己ホスト型の OpenAI 互換サービスを使用する場合は、必要に応じて変更してください。

   • API キー：プロバイダーの API キーを入力します。複数のキーを入力できます (改行で区切ります)。GA は可用性を向上させるために、これらのキーをローテーションします。

     この API キーは、AI プロバイダーへのリクエストを認証します。安全に保管し、漏洩しないようにしてください。

   • 重み (有効値：0～255)：各エンドポイントグループは 1 つの AI サービスバックエンドタイプのみをサポートします。重みは 255 に固定されており、変更できません。

5. 設定監査：設定を送信します。

転送ルールの設定

1. GA インスタンスを作成した後、インスタンス ID をクリックし、リスナー タブを選択し、リスナー ID をクリックし、次に 転送ルール タブをクリックし、転送ルールの追加 をクリックします。

2. 異なるモデルのリクエストをそれぞれのエンドポイントグループにルーティングするように転送ルールを設定します。

   • 名前：カスタム名を入力します。

   • 転送条件：AI モデル を選択し、次のように設定します。

     • プロトコル：OpenAI 互換 に固定されます。

     • モデル名 (オプション)：Glob 構文を使用してモデル名を照合します。例えば、qwen-* はすべての Qwen シリーズモデルに一致し、* はすべてのモデルに一致します。複数のモデル名を追加でき、それらは「OR」関係で評価されます。

   • 転送操作：转发至 を選択し、対応する AI サービスエンドポイントグループを選択します。

3. OK をクリックして転送ルールを作成します。

4. 異なるモデルを複数のプロバイダーにルーティングするには、これらの手順を繰り返して、異なる Glob モデル名に対して個別の転送ルールを作成します。例えば、model=qwen-plus と model=gpt-4o を持つクライアントリクエストは、異なるルールにヒットし、それぞれのプロバイダーにルーティングされます。

モデル名が指定されていない場合、条件はすべての OpenAI 互換リクエストに一致します。指定されている場合は、指定されたモデルのみに一致します。ルールをドラッグして優先度を調整します。

DNS 名前解決の設定と検証

1. インスタンス詳細ページで、GA の高速化ドメイン名 (CNAME) をコピーします。カスタムドメインの DNS プロバイダーで、カスタムドメインを GA の高速化ドメイン名にポイントする CNAME レコードを追加します。

   DNS の伝播には通常数分かかりますが、DNS プロバイダーの TTL 設定によって異なります。

2. カスタムドメインを使用して AI サービス API を呼び出し、統合を検証します。

   モデル名 <kbd data-init-id="s2-cond-kbd-1" data-tag="userinput" id="21f447ae1e2hv">qwen-*</kbd> を例にとります。

   curl -X POST https://your-domain.com/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "qwen-plus",
       "messages": [{"role": "user", "content": "Hello"}]
     }'

   成功すると、応答の model フィールドは qwen-plus となり、リクエストが正しく Alibaba Cloud Model Studio にルーティングされたことを確認できます。

複数リージョンにまたがるエンドポイントグループの設定

Global Accelerator (GA) インスタンスを作成した後、インスタンス ID をクリックし、リスナー タブを選択します。次に、リスナー ID をクリックし、エンドポイントグループ タブを選択し、エンドポイントグループの追加 をクリックして、異なるリージョンに AI サービスのエンドポイントグループを設定します。

転送ルールの設定

設定後、プライマリエンドポイントグループに障害が発生した場合、リクエストが他のリージョンのエンドポイントグループに順番に自動的にフォールバックされ、各プロバイダーまたはリージョン経由で応答することを確認します。

1. リスナー詳細ページで、転送ルール タブをクリックし、転送ルールの追加 をクリックするか、既存のルールを 編集 します。

2. 転送ルールを設定します：

   • 転送条件： AI モデル を選択し、次のように設定します：

     • プロトコル: OpenAI 互換 に固定されています。

     • モデル名 (オプション)： Glob 構文を使用します。たとえば、qwen-* はすべての Qwen シリーズのモデルに一致し、* はすべてのモデルに一致します。複数の名前を追加すると、「OR」関係になります。

   • 転送操作： 2 つのアクションを順番に設定します：

     1. 转发至： 1 つのリージョンのエンドポイントグループを選択します。

     2. 操作の追加 をクリックし、フォールバック を選択して、別のリージョンのエンドポイントグループを選択します。

     フォールバックアクションは、転送アクションの後に設定する必要があります。各転送ルールには、転送、リダイレクト、または固定レスポンスの返却タイプのいずれかのアクションを 1 つだけ含める必要があります。

3. OK をクリックしてルールを作成します。必要に応じて、異なる Glob モデル名でこの手順を繰り返します。

モデル名が指定されていない場合、条件はすべての OpenAI 互換リクエストに一致します。指定されている場合は、指定されたモデルにのみ一致します。ルールをドラッグして優先度を調整できます。