Server Load Balancer:Unificar o acesso a vários serviços de LLM

1. Criar uma instância do ALB Extensible Edition

1. Faça login no console do ALB, selecione a região China (Ulanqab) e clique em Create ALB.

2. Na página de compra, conclua as configurações a seguir e clique em Create Now.

   • Region: China (Ulanqab) vem selecionada por padrão.

   • Network Type: Selecione Internet.

   • VPC e Zone: Selecione a VPC desejada, marque Ulanqab Zone A e Ulanqab Zone B, escolha os vSwitches disponíveis e selecione Automatically assign EIP.

   • IP Version: Selecione IPv4.

   • Edition: Selecione Extensible.

3. Na página Confirm Order, verifique a configuração da instância e clique em Activate Now.

2. Criar grupos de servidores AI Service

Crie dois grupos de servidores AI Service para conectar-se ao Alibaba Cloud Model Studio e à DeepSeek, respectivamente.

3. Criar um listener

1. No console do ALB, clique no ID da instância desejada para acessar a página Instance Details. Clique na aba Listener e em Create Listener.

2. Na etapa Configure Listener, defina o Listener Protocol como HTTPS e a Listener Port como 443. Em seguida, clique em Next.

3. Na etapa Configure SSL Certificate, selecione o certificado de servidor correspondente ao seu nome de domínio personalizado e clique em Next.

4. Na etapa Select Server Group, selecione o tipo AI Service e o grupo de servidores Alibaba Cloud Model Studio denominado sgp-ai-qwen. Depois, clique em Next.

   O grupo de servidores selecionado aqui serve para a regra padrão do listener. Essa regra processa requisições que não correspondem a nenhuma outra regra de encaminhamento. Ajuste as configurações conforme necessário.

5. Na etapa Configuration Review, verifique a configuração e clique em Submit.

4. Configurar regras de encaminhamento

As requisições são avaliadas pelas regras de encaminhamento em ordem crescente de prioridade. Quando uma requisição corresponde a uma regra, a ação associada é executada e nenhuma regra subsequente é verificada. Crie regras de encaminhamento com a condição AI Model para rotear as requisições ao serviço de IA de backend apropriado com base no nome do modelo presente no corpo da requisição.

O parâmetro Model Name é opcional. A condição de encaminhamento AI Model corresponde a todas as requisições com caminhos /v1/completions , /v1/chat/completions ou /v1/embeddings , cujo conteúdo esteja em conformidade com o protocolo compatível com OpenAI. Caso você especifique um Model Name , o campo model no corpo da requisição também deve corresponder ao nome do modelo especificado.

5. Configurar a resolução de DNS

Aponte seu nome de domínio personalizado para o nome DNS da instância do ALB usando um registro de nome canônico (CNAME). Os clientes acessam o ALB por meio do seu nome de domínio personalizado.

Este tutorial usa o Alibaba Cloud DNS como exemplo. Para nomes de domínio não registrados na Alibaba Cloud, você deve primeiro adicionar o nome de domínio ao console do Alibaba Cloud DNS.

1. No console do ALB, copie o Domain Name da instância desejada.

2. Faça login no console do Alibaba Cloud DNS. Na coluna Actions do nome de domínio desejado, clique em Settings. Na página Settings, clique em Add Record.

3. Adicione um registro CNAME com as informações a seguir e clique em OK.

   • Record Type: Selecione CNAME.

   • Hostname: Insira um prefixo de domínio, como ai. Se o seu domínio raiz for example.com, o domínio para acessar o ALB será ai.example.com.

   • Query Source e TTL: Mantenha os valores padrão.

   • Record Value: Insira o nome DNS da instância do ALB.

4. Na caixa de diálogo Change Resource Record Confirmation, verifique as informações de DNS e clique em OK.

6. Verificar a configuração

• Use comandos curl para verificar se as requisições estão sendo roteadas corretamente para os serviços de LLM correspondentes. Substitua ai.example.com pelo seu nome de domínio realmente configurado. Certifique-se de que a resolução de DNS entrou em vigor.

• As requisições do cliente devem estar em conformidade com o protocolo compatível com OpenAI. O caminho da requisição deve ser /v1/completions, /v1/chat/completions ou /v1/embeddings, e o corpo da requisição deve conter um campo model. As regras de encaminhamento roteiam as requisições com base no valor do campo model.

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "qwen-turbo",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large-scale language model developed by the Tongyi Lab of Alibaba Group. My Chinese name is Tongyi Qianwen, and my English name is Qwen. I can perform various tasks such as answering questions, creating text, logical reasoning, and programming. You can call me Qwen or Tongyi Qianwen. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user", 
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

{
    "object": "chat.completion",
    "model": "deepseek-chat",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Hello! I am DeepSeek, an AI assistant created by DeepSeek company!\n\nI am a plain text model. Although I do not support multi-modal recognition, I have a file upload feature that can help you process images, txt, pdf, ppt, word, excel and other files, and read text information from them for analysis and processing.\n\nSome of my features:\n- Completely free to use, with no paid plans\n- Context length of up to 128K, allowing for very long conversations\n- Supports web search (needs to be enabled manually)\n- Can be used by downloading the app from the official app store\n- Knowledge cutoff is July 2024\n\nI am happy to help you answer questions, assist with thinking, process documents, or engage in various conversations! Is there anything I can help you with? ✨"
            },
            "logprobs": null,
            "finish_reason": "stop"
        }
    ]
}

Faturamento

• ALB Extensible Edition: Atualmente está em prévia pública e é gratuito para uso.

• Taxas de acesso à rede pública: O NAT Gateway de Internet cobra taxas de instância e taxas de Capacity Unit (CU). Os EIPs vinculados ao NAT Gateway e à instância do ALB Extensible Edition possuem suas próprias regras de faturamento, e as taxas são cobradas por EIP.

• Taxas de nome de domínio e resolução de DNS: Além das taxas de registro de domínio cobradas pelo seu provedor de domínios, configurar a resolução de DNS na Alibaba Cloud exige o pagamento de taxas de resolução de DNS autoritativo público.

• Taxas de certificado: Comprar certificados da Alibaba Cloud ou carregar certificados na Alibaba Cloud exige o pagamento de taxas de certificado de servidor.

• Taxas de modelo: Chamar as APIs de LLM do Alibaba Cloud Model Studio e da DeepSeek gera cobranças.

Regiões onde o ALB Extensible Edition está disponível