Server Load Balancer:AI service fallback

1. Criar uma instância ALB (Extended Edition)

1. Acesse o console do ALB, selecione a região China (Ulanqab) e clique em Create ALB.

2. Na página de compra, preencha as configurações abaixo e clique em Create Now.

   • Region: Selecione China (Ulanqab).

   • Instance network type: Selecione Internet.

   • VPC e Availability zone: Selecione a VPC de destino. Em seguida, marque as caixas de seleção de Ulanqab Zone A e Ulanqab Zone B, escolha o vSwitch correspondente para cada uma e selecione Assign EIP.

   • IP version: Selecione IPv4.

   • Edition (instance fee): Selecione Extended Edition.

3. Na página Confirm Order, revise os detalhes de configuração da instância e clique em Activate Now.

2. Criar grupos de servidores de IA

Crie três grupos de servidores do tipo serviço de IA para DeepSeek, OpenAI e Model Studio (Bailian). Para demonstrar o fallback, os grupos de servidores DeepSeek e OpenAI utilizam chaves de API incorretas, fazendo com que as requisições falhem e acionem o mecanismo de fallback.

3. Criar um listener

1. No console do ALB, clique no ID da instância desejada para acessar a página Instance Details. Na aba Listener, clique em Create Listener.

2. Na etapa Configure Listener, defina o Listener Protocol como HTTPS e a Listener Port como 443. Em seguida, clique em Next.

3. Na etapa Configure SSL Certificate, selecione o certificado de servidor correspondente ao seu domínio personalizado e clique em Next.

4. Na etapa Select Server Group, selecione o tipo AI Service e o grupo de servidores sgp-fake-deepseek. Depois, clique em Next.

   O grupo de servidores selecionado aqui é usado na regra padrão do listener, que processa requisições não correspondidas por outras regras de encaminhamento. Ajuste essa configuração conforme necessário.

5. Na etapa Configuration Review, confirme a configuração e clique em Submit.

4. Configurar uma regra de encaminhamento

O ALB avalia as regras de encaminhamento em ordem crescente de prioridade. Assim que uma requisição corresponde a uma regra, o ALB executa a ação dessa regra e ignora as demais.

1. Na aba Listener da página de detalhes da instância, clique no ID do listener desejado. Na página Listener Details, mude para a aba Forwarding Rules.

2. Clique em Add New Rule, preencha as configurações abaixo e clique em OK.

   1. Add Condition: Selecione AI Model e insira deepseek-chat no campo Model Name.

   2. Action: Forward To o grupo de servidores sgp-fake-deepseek.

   3. Add Action: Configure um Fallback para o grupo de servidores sgp-fake-openai e insira gpt-3.5 no campo Model Name à direita.

   4. Na seção Fallback, clique em Add Server Group. Selecione o grupo de servidores sgp-bailian e insira qwen-turbo no campo Model Name à direita.

A condição AI Model corresponde a todas as requisições que usam um protocolo compatível com OpenAI e possuem caminho de requisição /v1/completions , /v1/chat/completions ou /v1/embeddings . Se você especificar um Model Name , o campo model no corpo da requisição também deverá corresponder ao nome especificado.

Ao configurar um nome de modelo para uma ação de fallback, o ALB reescreve automaticamente o campo model no corpo da requisição para o nome especificado durante o fallback. Isso garante que o corpo da requisição corresponda ao modelo esperado pelo serviço de destino.

5. Configurar a resolução de DNS

Crie um registro CNAME que aponte seu domínio personalizado para o nome DNS da instância ALB, permitindo que os clientes acessem o ALB por meio do seu domínio.

Este guia usa o Alibaba Cloud DNS como exemplo. Se o seu domínio não estiver registrado na Alibaba Cloud, adicione o domínio ao console do Alibaba Cloud DNS primeiro.

1. No console do ALB, copie o Domain Name da instância desejada.

2. Acesse o console do Alibaba Cloud DNS. Na coluna Actions do domínio desejado, clique em Settings. Na página Settings, clique em Add Record.

3. Adicione um registro CNAME com as informações abaixo e clique em OK.

   • Record Type: Selecione CNAME.

   • Hostname: Insira um prefixo de domínio, como ai. Se o seu domínio raiz for example.com, o domínio completo para acessar o ALB será ai.example.com.

   • Query Source e TTL: Mantenha as configurações padrão.

   • Record Value: Insira o nome DNS da instância ALB.

4. Na caixa de diálogo Change Resource Record Confirmation, revise as informações de DNS e clique em OK.

6. Testar e verificar

• Use o comando curl para verificar se a requisição faz fallback corretamente para o serviço de modelo grande apropriado. Substitua ai.example.com pelo seu domínio configurado. Certifique-se de que o registro DNS foi propagado.

• A requisição do cliente deve usar o protocolo compatível com OpenAI. O caminho da requisição deve ser /v1/completions, /v1/chat/completions ou /v1/embeddings, e o corpo da requisição deve incluir o campo model. O ALB usa o valor de model para roteamento.

curl -v \
    -H "Content-Type: application/json" \
    -d '{
        "model": "deepseek-chat",
        "messages": [
            {
                "role": "user",
                "content": "Who are you"
            }
        ]
    }' \
    https://ai.example.com/v1/chat/completions

Uma requisição bem-sucedida retorna a resposta a seguir. Como sgp-fake-deepseek e sgp-fake-openai usam chaves de API incorretas, o ALB recebe respostas de falha e executa o fallback sequencialmente, encaminhando a requisição finalmente para sgp-bailian. A resposta mostra model como qwen-turbo e content contendo uma introdução do Qwen, confirmando que a requisição fez fallback para o Model Studio (Bailian) e o nome do modelo foi reescrito para qwen-turbo.

{
    "choices": [
        {
            "message": {
                "role": "assistant",
                "content": "I am Qwen, a large language model from Alibaba's Tongyi Lab. I can answer questions, create text, use logical reasoning, and write code. How can I help you?"
            },
            "finish_reason": "stop",
            "index": 0
        }
    ],
    "object": "chat.completion",
    "model": "qwen-turbo"
}

Faturamento

• ALB (Extended Edition): Este recurso está atualmente em beta público e é gratuito.

• Taxas de acesso à internet: O NAT Gateway cobra taxas de instância e taxas de unidade de capacidade (CU). Os Elastic IP Addresses (EIPs) vinculados ao NAT Gateway e à instância ALB (Extended Edition) possuem regras de faturamento separadas, cobradas pelo serviço EIP.

• Taxas de domínio e DNS: Além das taxas de registro de domínio, a configuração de resolução DNS com a Alibaba Cloud gera taxas de DNS autoritativo público.

• Taxas de certificado: A compra de um certificado na Alibaba Cloud ou o upload de um certificado de terceiros gera taxas de certificado de servidor.

• Taxas do Model Studio: A chamada à API do modelo grande do Model Studio gera taxas de uso.

Limitações

• O fallback é compatível com os seguintes tipos de grupos de servidores: Server, IP Address, Function Compute, FQDN e AI Service. Esses tipos podem ser usados como destinos tanto para ações Forward To quanto para Fallback.

• Se configurar um fallback para um grupo de servidores que não seja do tipo AI Service, garanta que ele forneça um serviço de modelo compatível com o protocolo OpenAI.

• Por padrão, é possível configurar até cinco serviços de fallback por regra de encaminhamento. Para aumentar essa cota, abra um ticket.

• As condições de acionamento do fallback (códigos de status HTTP 4xx ou 5xx) são fixas e não podem ser personalizadas.

Regiões do ALB (Extended Edition)

Recomendações

• Planeje a ordem de fallback: O ALB executa as ações de fallback na ordem em que foram configuradas. Planeje a prioridade de cada serviço de fallback com base na disponibilidade do modelo, custo e latência de resposta.

• Garanta consistência entre modelos: Os formatos de saída e capacidades variam entre provedores. Selecione modelos com capacidades semelhantes para cada serviço de fallback, minimizando assim o impacto na lógica de negócios durante o fallback.

Perguntas frequentes