Platform For AI:Deploy, fine-tune, and evaluate Qwen3 models in PAI

Implantar um modelo

Este exemplo implanta o modelo Qwen3-235B-A22B com SGLang.

1. Acesse a página do Model Gallery.

   1. Faça login no PAI console e selecione uma região no canto superior esquerdo. Alterne entre regiões para encontrar recursos de computação disponíveis.

   2. No painel de navegação à esquerda, escolha Workspaces e clique em nome do workspace desejado para abri-lo.

   3. No painel de navegação à esquerda, escolha QuickStart > Model Gallery.

2. Na lista de modelos à direita da página do Model Gallery, clique em cartão do modelo Qwen3-235B-A22B para abrir a página de detalhes do modelo.

3. No canto superior direito, clique em Deploy. Configure os parâmetros abaixo e mantenha os padrões para os demais, a fim de implantar o modelo na plataforma de service de inferência EAS.

   • Deployment Method: Defina Inference Engine como SGLang e Deployment Template como Single-Node.

   • Resource Information: Em Resource Type, selecione recursos públicos. O sistema recomenda um tipo de instância adequado. Para a configuração mínima de cada modelo, consulte Apêndice: Recursos de computação e limites de tokens.

     Importante

     Se nenhuma especificação de instância estiver disponível, os recursos públicos nessa região estão esgotados. Considere as seguintes opções:

     • Alternar regiões. A região China (Ulanqab) oferece mais recursos preemptíveis Lingjun (ml.gu7ef.8xlarge-gu100, ml.gu7xf.8xlarge-gu108, ml.gu8xf.8xlarge-gu108, ml.gu8tf.8.40xlarge). Recursos preemptíveis podem ser recuperados, portanto defina seu lance com cuidado.

     • Usar um grupo de recursos EAS. Acesse a página de assinatura de recursos dedicados EAS para adquirir recursos dedicados EAS.

Depurar online

Na parte inferior da página Service details, clique em depuração online. A figura a seguir mostra um exemplo.

Invocar a API

1. Obtenha o endpoint e o token do service.

   1. Em Model Gallery > Job Management > Deployment Jobs, clique em nome do service implantado para abrir a página de detalhes do service.

   2. Clique em View Call Information para obter o Internet Endpoint e o token.

      

2. Exemplo de chamada à API de chat /v1/chat/completions para um service implantado com SGLang.

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, obtained from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API configuration #####
   # Replace <EAS_ENDPOINT> with the service endpoint and <EAS_TOKEN> with the service token.
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, could you please introduce yourself"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   Substitua <EAS_ENDPOINT> pelo endpoint do service e <EAS_TOKEN> pelo token do service.

Os métodos de invocação variam conforme o método de implantação. Para mais métodos de invocação, consulte Invoke an API for a deployed LLM service.

Integração com terceiros

Para se conectar ao Chatbox, Dify ou Cherry Studio, consulte Integrate with third-party clients.

Modificar limite de tokens

Os modelos Qwen3 suportam nativamente 32.768 tokens. O escalonamento RoPE estende esse valor para 131.072, embora o desempenho possa diminuir ligeiramente. Modifique o campo containers.script no JSON de configuração do service:

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

Analisar chamadas de ferramentas

O vLLM e o SGLang conseguem analisar o conteúdo de chamada de ferramentas gerado pelo modelo em mensagens estruturadas. Modifique o campo containers.script no JSON de configuração do service:

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

Controlar modo de pensamento

O Qwen3 usa o modo de pensamento por padrão. Um interruptor rígido desativa totalmente o pensamento; um interruptor suave permite que o modelo siga suas instruções sobre se deve pensar ou não.

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

Analisar conteúdo de pensamento

Para gerar o conteúdo de pensamento separadamente, modifique o campo containers.script no JSON de configuração do service:

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

P: Os services de modelo implantados no PAI suportam sessões que retêm contexto entre múltiplas requisições?

Não. As APIs de service de modelo implantadas no PAI são stateless. Cada chamada é totalmente independente, e o servidor não retém contexto ou estado de sessão entre requisições.

Para implementar conversas de múltiplas rodadas, o cliente deve armazenar o histórico da conversa e anexá-lo a cada requisição. Para um exemplo de requisição, consulte How do I implement a multi-turn conversation?