Server Load Balancer：統一調用多個大模型服務

建立阿里雲百鍊伺服器組

1. 在伺服器組控制台，單擊建立伺服器組，伺服器群組類型選擇AI服務，給其一個易於識別的名稱，本文為sgp-ai-qwen。

2. 單擊建立，在伺服器組建立成功對話方塊單擊添加後端伺服器。

3. 在添加AI服務對話方塊完成以下配置，單擊確定。

   • 大模型供應商：選擇阿里雲百鍊。

   • 服務地址：選擇大模型供應商後自動填滿。

   • API Key：填入阿里雲百鍊的API Key。

建立DeepSeek伺服器組

1. 重複上述步驟，建立第二個AI服務類型的伺服器組，命名為sgp-ai-deepseek。

2. 添加後端伺服器時，大模型供應商選擇DeepSeek，並填入DeepSeek的API Key，單擊確定。

配置阿里雲百鍊轉寄規則

1. 在執行個體監聽頁簽，單擊目標監聽ID。在監聽詳情頁切換到轉寄規則頁簽。

2. 單擊插入新規則，完成以下配置後單擊確定。

   • 轉寄條件：選擇AI模型。

   • 模型名稱：輸入qwen-turbo。

   • 轉寄動作：轉寄至sgp-ai-qwen伺服器組。

配置DeepSeek轉寄規則

1. 重複上述步驟，添加第二條轉寄規則。

2. 模型名稱輸入deepseek-chat，轉寄至sgp-ai-deepseek伺服器組。

測試阿里雲百鍊（qwen-turbo模型）

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "你是誰"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

請求成功時，返回如下響應。響應中的model欄位為qwen-turbo，content欄位包含千問的自我介紹，表明請求已正確路由至阿里雲百鍊。

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "我是千問，是阿里巴巴集團旗下的通義實驗室自主研發的超大規模語言模型。我的中文名字是千問，英文名字是Qwen。我能夠回答問題、創作文字、邏輯推理、編程等多種任務。你可以叫我Qwen或者千問。有什麼我可以協助你的嗎？"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

測試DeepSeek（deepseek-chat模型）

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "你是誰"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

請求成功時，返回如下響應。響應中的model欄位為deepseek-chat，content欄位包含DeepSeek的自我介紹，表明請求已正確路由至DeepSeek。

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "你好！我是DeepSeek，由深度求索公司創造的AI助手！\n\n我是一個純文字模型，雖然不支援多模態識別功能，但我有檔案上傳功能，可以幫你處理映像、txt、pdf、ppt、word、excel等檔案，並從中讀取文字資訊進行分析處理。\n\n我的一些特點：\n- 完全免費使用，沒有收費計劃\n- 上下文長度達128K，可以處理很長的對話\n- 支援連網搜尋（需要手動開啟）\n- 可以通過官方市集下載App使用\n- 知識截止到2024年7月\n\n我很樂意協助你解答問題、協助思考、處理文檔或者進行各種對話交流！有什麼我可以幫你的嗎？✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}