Platform For AI:Implante e invoque um service de modelo no EAS

I. Pré-requisitos

Ative o PAI e crie um workspace com sua conta principal do Alibaba Cloud. No PAI console, selecione uma região e conclua a autorização e a ativação do product.

II. Faturamento

Este tópico utiliza recursos públicos com pagamento conforme o uso para criar o service de modelo. Para obter mais informações sobre as regras de faturamento, consulte Faturamento do EAS.

III. Preparações

Para implantar um service de modelo, é necessário preparar arquivos de modelo e arquivos de código, como uma interface web. Caso as imagens disponíveis do Alibaba Cloud não atendam aos seus requisitos, crie uma imagem personalizada.

# Download the model
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3-0.6B')

from flask import Flask

app = Flask(__name__)

@app.route('/hello/model')
def hello_world():
    # You can call the model here to get results.
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

IV. Implantação do service

1. Faça logon no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Elastic Algorithm Service (EAS).

2. Clique em Deploy Service. Na seção Custom Model Deployment, clique em Custom Deployment.

3. Configure os seguintes parâmetros principais. Mantenha os padrões para os demais parâmetros.

   • Deployment Method: Selecione Image-based Deployment.

   • Image Configuration: Na lista Alibaba Cloud Image, selecione vllm:0.11.2-mows0.5.1.

   • Mount storage: Neste exemplo, o arquivo de modelo está armazenado no OSS no caminho oss://examplebucket/models/Qwen/Qwen3-0___6B. Selecione OSS e configure conforme abaixo.

     • Uri: Caminho do OSS onde o modelo está localizado. Defina como oss://examplebucket/models/.

     • Mount Path: Caminho de destino na instância do service onde o arquivo será montado, por exemplo, /mnt/data/.

   • Command: A imagem oficial possui um comando de inicialização padrão. Modifique conforme necessário. Para este exemplo, altere para vllm serve /mnt/data/Qwen/Qwen3-0___6B.

   • Resource Type: Selecione Public Resources. Para Resource Specification, selecione ecs.gn7i-c16g1.4xlarge. Para usar outros tipos de recursos, consulte Configurações de recursos.

4. Clique em Deploy. A implantação do service leva cerca de 5 minutos. Quando o Service Status mudar para Running, o service estará implantado com sucesso.

V. Depuração online

Utilize a depuração online para verificar o service. Configure o método de solicitação, o caminho e o corpo da requisição adequados ao seu modelo.

Para este exemplo:

1. Na aba Inference Service, clique no service de destino para acessar a página de visão geral do service. Alterne para a aba Online Debugging.

2. Na seção Request Parameter Online Tuning da página de depuração, defina os parâmetros da solicitação e clique em Send Request. Parâmetros da solicitação:

   • Interface de chat: Adicione /v1/chat/completions à URL existente.

   • Headers: Adicione um cabeçalho de solicitação. Defina a chave como Content-Type e o valor como application/json.

     Adicione também o cabeçalho de solicitação Authorization e defina o valor como a credencial de autenticação correspondente.

   • Body:

     {
       "model": "/mnt/data/Qwen/Qwen3-0___6B",
       "messages": [
         {
           "role": "user",
           "content": "Hello!"
         }
       ],
       "max_tokens": 1024
     }

3. Resposta:

   Na página de Online Debugging, envie uma solicitação JSON usando o método POST. O corpo da solicitação inclui model (o caminho do modelo, como /mnt/data/Qwen/Qwen3-0___6B), messages (conteúdo da mensagem do usuário: Hello!) e max_tokens (definido como 1024). O service retorna o Status Code 200, e o corpo da resposta é um objeto JSON no formato chat.completion contendo a resposta de inferência do modelo, indicando que o service de modelo foi implantado com sucesso e pode responder às solicitações normalmente.

VI. Invocação do service

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/****/v1/chat/
completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}' 

import requests

# Replace with the actual endpoint.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/***/v1/chat/completions'
# For the header, set Authorization value to the actual token.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Construct the service request based on the data format required by the model.
data = {
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}
# Send the request.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

VII. Parar ou excluir o service

Este service utiliza recursos públicos com pagamento conforme o uso. Pare ou exclua o service para evitar cobranças quando ele não for mais necessário.

Na lista de services, localize o service desejado e clique no botão correspondente na coluna Actions.

VIII. Documentação relacionada

• Melhore a eficiência do service de LLM: Implante o roteador inteligente de LLM.

• Visão geral dos recursos do EAS: Visão geral do EAS.