Server Load Balancer:Satukan akses ke berbagai layanan LLM

Buat server group Alibaba Cloud Model Studio

1. Pada halaman Konsol ALB - Server Groups, klik Create Server Group. Atur Server Group Type menjadi AI Service. Tentukan nama yang mudah dikenali. Tutorial ini menggunakan sgp-ai-qwen.

2. Klik Create. Pada kotak dialog The server group is created, klik Add Backend Server.

3. Pada kotak dialog Add AI Service, lengkapi konfigurasi berikut lalu klik OK.

   • Model provider: Pilih Alibaba Cloud Model Studio.

   • Endpoint: Bidang ini diisi otomatis setelah Anda memilih Model provider.

   • Identity Credential: Pilih kredensial identitas yang telah Anda buat untuk API key Alibaba Cloud Model Studio. Anda dapat memilih beberapa kredensial. ALB akan memilih satu API key dari kredensial yang dipilih untuk berkomunikasi dengan layanan LLM. Memilih beberapa kredensial mendistribusikan beban ke kuota panggilan masing-masing API key dan meningkatkan ketersediaan.

   • API Key Health Check: Kami menyarankan Anda mengaktifkan sakelar ini. Saat backend mengembalikan kode status 401 atau 429, ALB secara otomatis menghapus API key yang bersangkutan dan mengarahkan permintaan melalui API key yang tersedia lainnya.

Buat server group DeepSeek

1. Ulangi langkah-langkah sebelumnya untuk membuat AI Service server group kedua dengan nama sgp-ai-deepseek.

2. Saat Anda Add Backend Server, atur Model provider menjadi DeepSeek, atur Identity Credential menjadi kredensial identitas yang dibuat untuk API key DeepSeek (beberapa kredensial juga didukung), aktifkan API Key Health Check, lalu klik OK.

Konfigurasi aturan pengalihan Alibaba Cloud Model Studio

1. Pada tab Listener di halaman detail instans, klik ID listener target. Di halaman Listener Details, klik tab Forwarding Rules.

2. Klik Add New Rule, lengkapi konfigurasi berikut, lalu klik OK.

   • Untuk Add Condition, pilih AI Model.

   • Model Name: Masukkan qwen-turbo.

   • Action: Forward To server group sgp-ai-qwen.

Konfigurasi aturan pengalihan DeepSeek

1. Ulangi langkah-langkah sebelumnya untuk menambahkan aturan pengalihan kedua.

2. Atur Model Name menjadi deepseek-chat dan pilih Forward To server group sgp-ai-deepseek.

Uji Alibaba Cloud Model Studio (model qwen-turbo)

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

Permintaan yang berhasil mengembalikan respons seperti berikut. Bidang model adalah qwen-turbo, dan bidang content berisi perkenalan diri dari Qwen, menunjukkan bahwa permintaan telah diarahkan dengan benar ke Alibaba Cloud Model Studio.

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large-scale language model developed by the Tongyi Lab of Alibaba Group. My Chinese name is Tongyi Qianwen, and my English name is Qwen. I can perform various tasks such as answering questions, creating text, logical reasoning, and programming. You can call me Qwen or Tongyi Qianwen. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

Uji DeepSeek (model deepseek-chat)

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

Permintaan yang berhasil mengembalikan respons seperti berikut. Bidang model adalah deepseek-chat, dan bidang content berisi perkenalan diri dari DeepSeek, menunjukkan bahwa permintaan telah diarahkan dengan benar ke DeepSeek.

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Hello! I am DeepSeek, an AI assistant created by DeepSeek company!\n\nI am a plain text model. Although I do not support multi-modal recognition, I have a file upload feature that can help you process images, txt, pdf, ppt, word, excel and other files, and read text information from them for analysis and processing.\n\nSome of my features:\n- Completely free to use, with no paid plans\n- Context length of up to 128K, allowing for very long conversations\n- Supports web search (needs to be enabled manually)\n- Can be used by downloading the app from the official app store\n- Knowledge cutoff is July 2024\n\nI am happy to help you answer questions, assist with thinking, process documents, or engage in various conversations! Is there anything I can help you with? ✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}