Server Load Balancer:複数の LLM サービスへのアクセスの統合

Alibaba Cloud Model Studio サーバーグループの作成

1. ALB コンソール - サーバーグループページで、サーバーグループの作成 をクリックします。サーバーグループタイプ を Ai に設定します。わかりやすい名前を指定します。このチュートリアルでは、sgp-ai-qwen を使用します。

2. 作成 をクリックします。サーバーグループが作成されました ダイアログボックスで、バックエンドサーバーの追加 をクリックします。

3. AI サービスの追加 パネルで、次の設定を完了し、OK をクリックします。

   • [モデルプロバイダ]: Alibaba Cloud Model Studio を選択します。

   • [エンドポイント]: モデルプロバイダ を選択すると、このフィールドは自動的に入力されます。

   • [API Key]：Alibaba Cloud Model Studio 用の API キーを入力します。

DeepSeek サーバーグループの作成

1. 上記の手順を繰り返して、sgp-ai-deepseek という名前の 2 つ目の Ai サーバーグループを作成します。

2. バックエンドサーバーの追加 の際、モデルプロバイダ を DeepSeek に設定し、DeepSeek の API キーを入力してから OK をクリックします。

Alibaba Cloud Model Studio 転送ルールの構成

1. インスタンス詳細ページのリスナータブで、対象のリスナー ID をクリックします。リスナーの詳細ページで、転送ルールタブをクリックします。

2. 新しいルールの追加 をクリックして以下の設定を行い、OK をクリックします。

   • 転送条件 には、AI モデル を選択します。

   • [モデル名]: qwen-turbo を入力します。

   • [転送操作]： 転送先 sgp-ai-qwen サーバーグループへ。

DeepSeek 転送ルールの構成

1. 前述の手順を繰り返して、2 つ目の転送ルールを追加します。

2. モデル名 を deepseek-chat に設定し、転送先 には sgp-ai-deepseek サーバーグループを選択します。

Alibaba Cloud Model Studio (qwen-turbo モデル) のテスト

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

リクエストが成功すると、次のようなレスポンスが返されます。 model フィールドは qwen-turbo で、content フィールドには Qwen からの自己紹介が含まれており、リクエストが Alibaba Cloud Model Studio に正しくルーティングされたことを示しています。

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large-scale language model developed by the Tongyi Lab of Alibaba Group. My Chinese name is Tongyi Qianwen, and my English name is Qwen. I can perform various tasks such as answering questions, creating text, logical reasoning, and programming. You can call me Qwen or Tongyi Qianwen. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

DeepSeek (deepseek-chat モデル) のテスト

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

リクエストが成功すると、次のようなレスポンスが返されます。model フィールドは deepseek-chat で、content フィールドには DeepSeek からの自己紹介が含まれており、リクエストが DeepSeek に正しくルーティングされたことを示しています。

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Hello! I am DeepSeek, an AI assistant created by DeepSeek company!\n\nI am a plain text model. Although I do not support multi-modal recognition, I have a file upload feature that can help you process images, txt, pdf, ppt, word, excel and other files, and read text information from them for analysis and processing.\n\nSome of my features:\n- Completely free to use, with no paid plans\n- Context length of up to 128K, allowing for very long conversations\n- Supports web search (needs to be enabled manually)\n- Can be used by downloading the app from the official app store\n- Knowledge cutoff is July 2024\n\nI am happy to help you answer questions, assist with thinking, process documents, or engage in various conversations! Is there anything I can help you with? ✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}