Platform For AI:Deploy large language models on PAI-EAS

Etapa 1: Crie um serviço

1. Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, escolha o workspace desejado e clique em Elastic Algorithm Service (EAS).

2. Clique em Deploy Service. Na área Scenario-based Model Deployment, clique em LLM Deployment.

3. Configure os seguintes parâmetros principais:

   Parâmetro	Valor
   Model Settings	Selecione Public Model, pesquise e selecione Qwen3-8B.
   Inference Engine	Escolha vLLM (Recomendado, compatível com a API OpenAI).
   Deployment Template	Defina como Single Machine. O sistema preenche automaticamente os parâmetros recomendados, como tipo de instância e imagem, com base no modelo.

4. Clique em Deploy. A implantação do serviço leva cerca de 5 minutos. Quando o status do serviço mudar para Running, a implantação foi concluída com sucesso.

   Nota

   Se a implantação do serviço falhar, consulte Problemas de implantação e status do serviço para solucionar o problema.

Etapa 2: Verifique o serviço

Após a implantação, utilize a depuração online para confirmar que o serviço está operando corretamente.

1. Clique no nome do serviço para abrir sua página de detalhes e alterne para a aba Online Debugging.

2. Defina os seguintes parâmetros de solicitação:

   Parâmetro	Valor
   Método de solicitação	POST
   Caminho da URL	Insira o caminho completo da URL no formato /api/predict/{service_name}/v1/chat/completions, onde {service_name} é o nome do seu serviço implantado. Exemplo: /api/predict/llm_qwen3_8b_test/v1/chat/completions.
   Body	{ "model": "Qwen3-8B", "messages": [ {"role": "user", "content": "Hello!"} ], "max_tokens": 1024 }
   Headers	Garanta que a solicitação inclua Content-Type: application/json.

3. Clique em Send Request. Você deve receber uma resposta contendo a resposta do modelo.

Se a solicitação retornar um código de status 200 e uma resposta JSON do tipo chat.completion, o serviço está implantado e funcionando corretamente. O corpo da resposta contém a resposta do modelo no campo content.

Escolha o modelo certo

1. Defina seu cenário de aplicação:

   • Conversa geral: Opte sempre por um modelo ajustado por instruções, em vez de um modelo base, para garantir que o modelo compreenda e siga suas instruções.

   • Geração de código: Prefira modelos especializados em código, como a série Qwen3-Coder, pois geralmente apresentam desempenho muito superior ao de modelos de uso geral em tarefas relacionadas a código.

   • Tarefas específicas de domínio: Se sua tarefa for altamente especializada, como em finanças ou direito, considere buscar um modelo ajustado para esse domínio ou ajustar você mesmo um modelo de uso geral.

2. Equilibre desempenho e custo: Modelos maiores geralmente são mais capazes, mas exigem mais recursos de computação e têm custos de inferência mais altos. Comece com um modelo menor, como um modelo 7B, para validação. Se o desempenho não atender às suas necessidades, experimente um modelo maior.

3. Consulte benchmarks oficiais: Utilize rankings como OpenCompass e LMSys Chatbot Arena. Essas tabelas avaliam modelos em múltiplas dimensões, incluindo raciocínio, codificação e matemática, oferecendo orientações valiosas para a seleção do modelo.

Escolha o mecanismo de inferência adequado

• vLLM/SGLang: Como escolhas predominantes na comunidade de código aberto, oferecem amplo suporte a modelos, além de extensa documentação e exemplos da comunidade, facilitando a integração e a solução de problemas.

• BladeLLM: Mecanismo de inferência desenvolvido pela equipe Alibaba Cloud PAI. É profundamente otimizado para modelos específicos, especialmente a série Qwen, podendo alcançar maior desempenho e menor uso de memória GPU.

Otimização de inferência

• Implante um LLM com roteamento inteligente: Distribui solicitações dinamicamente com base em métricas em tempo real, como throughput de tokens e uso de memória GPU. Essa abordagem equilibra o poder de computação e a alocação de memória entre as instâncias de inferência, sendo adequada para implantações com múltiplas instâncias e cargas de solicitação distribuídas de forma desigual. Melhora a utilização dos recursos do cluster e a estabilidade do sistema.

• Implante modelos Mixture of Experts (MoE) usando paralelismo de especialistas e separação PD: Para modelos Mixture of Experts (MoE), esta abordagem utiliza técnicas como paralelismo de especialistas (EP) e separação Prefill-Decode (PD) para aumentar o throughput de inferência e reduzir os custos de implantação.

P: O serviço está travado no estado Pending

Siga estas etapas para solucionar o problema:

1. Verifique o status da instância: Na página de lista de serviços, clique no nome do serviço para acessar a página de detalhes. Na seção Service Instance, verifique o status da instância. Se aparecer insufficient resources, o grupo de recursos públicos atual não tem capacidade suficiente.

2. Soluções (por ordem de prioridade):

   1. Opção 1: Altere o tipo de instância. Retorne à página de implantação e selecione um modelo de GPU diferente.

   2. Solução 2: Use recursos dedicados. Para Resource Type, selecione um grupo de recursos EAS para utilizar recursos dedicados (o grupo de recursos deve ser criado antecipadamente).

3. Medidas preventivas:

   1. Crie um grupo de recursos dedicados para evitar as limitações dos recursos públicos.

   2. Durante horários de pico, realize testes em várias regiões.

P: Erros de chamada

1. A chamada de API retorna o seguinte erro: Unsupported Media Type: Only 'application/json' is allowed

   Certifique-se de que os cabeçalhos da solicitação contenham Content-Type: application/json.

2. A chamada de API retorna o seguinte erro: The model '<model_name>' does not exist.

   O mecanismo de inferência vLLM exige que o campo do modelo seja especificado corretamente. Obtenha o nome do modelo chamando o endpoint /v1/models com uma solicitação GET.