Server Load Balancer:複数の LLM サービスへのアクセスの統合

Alibaba Cloud Model Studio サーバーグループの作成

1. ALB コンソール - サーバーグループページで、サーバーグループの作成 をクリックします。サーバーグループタイプ を AI サービス に設定します。認識しやすい名前を指定します。このチュートリアルでは sgp-ai-qwen を使用します。

2. 作成 をクリックします。サーバーグループが作成されました ダイアログボックスで、バックエンドサーバーの追加 をクリックします。

3. AI サービスの追加 ダイアログボックスで、次の設定を完了し、OK をクリックします。

   • [モデルプロバイダ]: Alibaba Cloud Model Studio を選択します。

   • [エンドポイント]: このフィールドは、モデルプロバイダ を選択すると自動的に入力されます。

   • [認証情報]：Alibaba Cloud Model Studio の API キー用に作成したアイデンティティ認証情報を選択します。複数の認証情報を選択できます。ALB は、選択された認証情報から 1 つの API キーを選択して LLM サービスと通信します。複数の認証情報を選択すると、個々の API キーの呼び出しクォータに負荷が分散され、可用性が向上します。

   • [API キーヘルスチェック]: このスイッチをオンにすることをお勧めします。バックエンドが 401 または 429 のステータスコードを返すと、ALB は対応する API キーを自動的に削除し、残りの利用可能な API キーを介してリクエストをルーティングします。

DeepSeek サーバーグループの作成

1. 上記の手順を繰り返し、sgp-ai-deepseek という名前の 2 つ目の AI サービス サーバーグループを作成します。

2. バックエンドサーバーの追加 で、モデルプロバイダ を DeepSeek に設定し、認証情報 に DeepSeek API キー用に作成された ID 認証情報を設定し (複数の認証情報もサポートされています)、API キーヘルスチェック をオンにしてから、OK をクリックします。

Alibaba Cloud Model Studio 転送ルールの設定

1. インスタンス詳細ページの リスナー タブで、目的のリスナー ID をクリックします。リスナーの詳細 ページで、転送ルール タブをクリックします。

2. 新しいルールの追加 をクリックし、以下の設定を完了した後、OK をクリックします。

   • 転送条件 では、AI モデル を選択します。

   • [モデル名]：qwen-turbo と入力します。

   • [転送操作]：sgp-ai-qwen サーバーグループに 転送先 します。

DeepSeek 転送ルールの設定

1. 上記の手順を繰り返し、2 番目の転送ルールを追加します。

2. モデル名 を deepseek-chat に設定し、転送先 に sgp-ai-deepseek サーバーグループを選択します。

Alibaba Cloud Model Studio (qwen-turbo モデル) のテスト

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

リクエストが成功すると、次のようなレスポンスが返されます。model フィールドは qwen-turbo で、content フィールドには Qwen からの自己紹介が含まれており、リクエストが Alibaba Cloud Model Studio に正しくルーティングされたことを示しています。

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large-scale language model developed by the Tongyi Lab of Alibaba Group. My Chinese name is Tongyi Qianwen, and my English name is Qwen. I can perform various tasks such as answering questions, creating text, logical reasoning, and programming. You can call me Qwen or Tongyi Qianwen. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

DeepSeek (deepseek-chat モデル) のテスト

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

リクエストが成功すると、次のようなレスポンスが返されます。model フィールドは deepseek-chat で、content フィールドには DeepSeek からの自己紹介が含まれており、リクエストが DeepSeek に正しくルーティングされたことを示しています。

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Hello! I am DeepSeek, an AI assistant created by DeepSeek company!\n\nI am a plain text model. Although I do not support multi-modal recognition, I have a file upload feature that can help you process images, txt, pdf, ppt, word, excel and other files, and read text information from them for analysis and processing.\n\nSome of my features:\n- Completely free to use, with no paid plans\n- Context length of up to 128K, allowing for very long conversations\n- Supports web search (needs to be enabled manually)\n- Can be used by downloading the app from the official app store\n- Knowledge cutoff is July 2023\n\nI am happy to help you answer questions, assist with thinking, process documents, or engage in various conversations! Is there anything I can help you with? ✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}