Platform For AI:Déployer et appeler un service de modèle sur EAS

I. Prérequis

Activez PAI et créez un espace de travail avec votre compte principal Alibaba Cloud. Dans la PAI console, sélectionnez une région, puis autorisez et activez les produits.

II. Facturation

Cette rubrique utilise des ressources publiques en paiement à l'utilisation pour créer le service de modèle. Pour plus d'informations sur les règles de facturation, consultez la section Facturation EAS.

III. Préparatifs

Pour déployer un service de modèle, préparez les fichiers de modèle et de code (par exemple, une interface web). Si les images Alibaba Cloud disponibles ne répondent pas à vos besoins, créez une image personnalisée.

# Download the model
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3-0.6B')

from flask import Flask

app = Flask(__name__)

@app.route('/hello/model')
def hello_world():
    # You can call the model here to get results.
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

IV. Déploiement du service

1. Connectez-vous à la PAI console. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Elastic Algorithm Service (EAS).

2. Cliquez sur Deploy Service. Dans la section Custom Model Deployment, cliquez sur Custom Deployment.

3. Configurez les paramètres clés suivants. Conservez les valeurs par défaut pour les autres paramètres.

   • Deployment Method : sélectionnez Image-based Deployment.

   • Image Configuration : dans la liste Alibaba Cloud Image, sélectionnez vllm:0.11.2-mows0.5.1.

   • Mount storage : cet exemple stocke le fichier de modèle dans OSS au chemin oss://examplebucket/models/Qwen/Qwen3-0___6B. Sélectionnez OSS et configurez comme suit.

     • Uri : chemin OSS où se trouve le modèle. Définissez-le sur oss://examplebucket/models/.

     • Mount Path : chemin de destination dans l'instance de service où le fichier est monté, par exemple /mnt/data/.

   • Command : l'image officielle possède une commande de démarrage par défaut. Modifiez-la si nécessaire. Pour cet exemple, remplacez-la par vllm serve /mnt/data/Qwen/Qwen3-0___6B.

   • Resource Type : sélectionnez Public Resources. Pour Resource Specification, sélectionnez ecs.gn7i-c16g1.4xlarge. Pour utiliser d'autres types de ressources, consultez la section Configurations des ressources.

4. Cliquez sur Deploy. Le déploiement du service prend environ 5 minutes. Lorsque le Service Status passe à Running, le service est déployé avec succès.

V. Débogage en ligne

Utilisez le débogage en ligne pour vérifier le service. Configurez la méthode de requête, le chemin et le corps de la requête pour votre modèle.

Pour cet exemple :

1. Dans l'onglet Inference Service, cliquez sur le service cible pour accéder à la page de vue d'ensemble du service. Basculez vers l'onglet Online Debugging.

2. Dans la section Request Parameter Online Tuning de la page de débogage, définissez les paramètres de requête et cliquez sur Send Request. Paramètres de requête :

   • Interface de chat : ajoutez /v1/chat/completions à l'URL existante.

   • En-têtes : ajoutez un en-tête de requête. Définissez la clé sur Content-Type et la valeur sur application/json.

     Ajoutez également l'en-tête de requête Authorization et définissez la valeur sur l'identifiant d'authentification correspondant.

   • Corps :

     {
       "model": "/mnt/data/Qwen/Qwen3-0___6B",
       "messages": [
         {
           "role": "user",
           "content": "Hello!"
         }
       ],
       "max_tokens": 1024
     }

3. Réponse :

   Sur la page Online Debugging, envoyez une requête JSON en utilisant la méthode POST. Le corps de la requête inclut model (le chemin du modèle, par exemple /mnt/data/Qwen/Qwen3-0___6B), messages (contenu du message utilisateur : Hello!), et max_tokens (défini sur 1024). Le service renvoie un code d'état 200 et le corps de la réponse est un objet JSON au format chat.completion contenant la réponse d'inférence du modèle, ce qui indique que le service de modèle a été déployé avec succès et peut répondre normalement aux requêtes.

VI. Appel du service

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/****/v1/chat/
completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}' 

import requests

# Replace with the actual endpoint.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/***/v1/chat/completions'
# For the header, set Authorization value to the actual token.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Construct the service request based on the data format required by the model.
data = {
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}
# Send the request.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

VII. Arrêt ou suppression du service

Ce service utilise des ressources publiques en paiement à l'utilisation. Arrêtez ou supprimez le service pour éviter toute facturation lorsque vous n'en avez plus besoin.

Dans la liste des services, localisez le service cible et cliquez sur le bouton correspondant dans la colonne Actions.

VIII. Documentation connexe

• Améliorer l'efficacité du service LLM : Déployer le routeur intelligent LLM.

• Présentation des fonctionnalités EAS : Présentation d'EAS.