Server Load Balancer:Unifier l'accès à plusieurs services LLM

1. Créer une instance ALB Extensible Edition

1. Connectez-vous à la console ALB, sélectionnez la région China (Ulanqab), puis cliquez sur Create ALB.

2. Sur la page d'achat, configurez les paramètres suivants et cliquez sur Create Now.

   • Region : China (Ulanqab) est sélectionnée par défaut.

   • Network Type : Sélectionnez Internet.

   • VPC et Zone : Sélectionnez le VPC cible, choisissez Ulanqab Zone A et Ulanqab Zone B, sélectionnez les vSwitches correspondants, puis activez Automatically assign EIP.

   • IP Version : Sélectionnez IPv4.

   • Edition : Sélectionnez Extensible.

3. Sur la page Confirm Order, vérifiez la configuration de l'instance et cliquez sur Activate Now.

2. Créer des groupes de serveurs AI Service

Créez deux groupes de serveurs AI Service pour vous connecter respectivement à Alibaba Cloud Model Studio et à DeepSeek.

3. Créer un listener

1. Dans la console ALB, cliquez sur l'ID de l'instance cible pour accéder à la page Instance Details. Cliquez sur l'onglet Listener puis sur Create Listener.

2. À l'étape Configure Listener, définissez Listener Protocol sur HTTPS et Listener Port sur 443. Cliquez ensuite sur Next.

3. À l'étape Configure SSL Certificate, sélectionnez le certificat serveur correspondant à votre nom de domaine personnalisé et cliquez sur Next.

4. À l'étape Select Server Group, sélectionnez le type AI Service ainsi que le groupe de serveurs Alibaba Cloud Model Studio nommé sgp-ai-qwen. Cliquez ensuite sur Next.

   Le groupe de serveurs sélectionné ici sert à la règle par défaut du listener. Cette règle traite les requêtes ne correspondant à aucune autre règle de transfert. Ajustez les paramètres selon vos besoins.

5. À l'étape Configuration Review, vérifiez la configuration et cliquez sur Submit.

4. Configurer les règles de transfert

Les requêtes sont évaluées par rapport aux règles de transfert par ordre de priorité croissante. Lorsqu'une requête correspond à une règle, l'action associée s'exécute et aucune règle ultérieure n'est évaluée. Créez des règles de transfert avec la condition AI Model pour acheminer les requêtes vers le service AI backend approprié en fonction du nom du modèle présent dans le corps de la requête.

Le paramètre Model Name est facultatif. La condition de transfert AI Model correspond à toutes les requêtes dont le chemin est /v1/completions , /v1/chat/completions ou /v1/embeddings , et dont le contenu respecte le protocole compatible OpenAI. Si vous spécifiez un Model Name , le champ model dans le corps de la requête doit également correspondre au nom de modèle spécifié.

5. Configurer la résolution DNS

Pointez votre nom de domaine personnalisé vers le nom DNS de l'instance ALB à l'aide d'un enregistrement CNAME (Canonical Name). Les clients accèdent à ALB via votre nom de domaine personnalisé.

Ce tutoriel utilise Alibaba Cloud DNS comme exemple. Pour les noms de domaine non enregistrés auprès d'Alibaba Cloud, vous devez d'abord ajouter le nom de domaine à la console Alibaba Cloud DNS.

1. Dans la console ALB, copiez le Domain Name de l'instance cible.

2. Connectez-vous à la console Alibaba Cloud DNS. Dans la colonne Actions du nom de domaine cible, cliquez sur Settings. Sur la page Settings, cliquez sur Add Record.

3. Ajoutez un enregistrement CNAME avec les informations suivantes et cliquez sur OK.

   • Record Type : Sélectionnez CNAME.

   • Hostname : Saisissez un préfixe de domaine tel que ai. Si votre domaine racine est example.com, le domaine d'accès à ALB sera ai.example.com.

   • Query Source et TTL : Conservez les valeurs par défaut.

   • Record Value : Saisissez le nom DNS de l'instance ALB.

4. Dans la boîte de dialogue Change Resource Record Confirmation, vérifiez les informations DNS et cliquez sur OK.

6. Vérifier la configuration

• Utilisez des commandes curl pour vérifier que les requêtes sont correctement acheminées vers les services LLM correspondants. Remplacez ai.example.com par votre nom de domaine réellement configuré. Assurez-vous que la résolution DNS a pris effet.

• Les requêtes client doivent respecter le protocole compatible OpenAI. Le chemin de la requête doit être /v1/completions, /v1/chat/completions ou /v1/embeddings, et le corps de la requête doit contenir un champ model. Les règles de transfert acheminent les requêtes en fonction de la valeur du champ model.

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large-scale language model developed by the Tongyi Lab of Alibaba Group. My Chinese name is Tongyi Qianwen, and my English name is Qwen. I can perform various tasks such as answering questions, creating text, logical reasoning, and programming. You can call me Qwen or Tongyi Qianwen. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Hello! I am DeepSeek, an AI assistant created by DeepSeek company!\n\nI am a plain text model. Although I do not support multi-modal recognition, I have a file upload feature that can help you process images, txt, pdf, ppt, word, excel and other files, and read text information from them for analysis and processing.\n\nSome of my features:\n- Completely free to use, with no paid plans\n- Context length of up to 128K, allowing for very long conversations\n- Supports web search (needs to be enabled manually)\n- Can be used by downloading the app from the official app store\n- Knowledge cutoff is July 2024\n\nI am happy to help you answer questions, assist with thinking, process documents, or engage in various conversations! Is there anything I can help you with? ✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}

Facturation

• ALB Extensible Edition : Actuellement en préversion publique et gratuit.

• Frais d'accès au réseau public : Internet NAT Gateway facture des frais d'instance et des frais Capacity Unit (CU). Les EIP associées à la passerelle NAT et à l'instance ALB Extensible Edition possèdent leurs propres règles de facturation, les frais étant facturés par EIP.

• Frais de nom de domaine et de résolution DNS : Outre les frais d'enregistrement de domaine facturés par votre fournisseur de domaines, la configuration de la résolution DNS sur Alibaba Cloud nécessite le paiement de frais de résolution DNS autoritative publique.

• Frais de certificat : L'achat de certificats auprès d'Alibaba Cloud ou leur importation dans Alibaba Cloud entraîne des frais de certificat serveur.

• Frais liés aux modèles : L'appel des API LLM d'Alibaba Cloud Model Studio et de DeepSeek engendre des frais.

Régions où ALB Extensible Edition est disponible