Platform For AI:Invoquer un service via une passerelle partagée (point de terminaison public/VPC)

Choisir une adresse d'invocation

Une fois la passerelle partagée déployée, deux types d'adresses d'invocation sont disponibles par défaut :

Si votre application et le service EAS se trouvent dans des régions différentes, vous ne pouvez pas utiliser l'adresse VPC de la passerelle partagée pour accéder au service, même si les VPC sont connectés. Dans ce cas, accédez au service uniquement via l'adresse IP et le port de l'instance. Toutefois, comme l'adresse IP change lors du redémarrage ou de la mise à jour du service, nous recommandons d'utiliser une passerelle dédiée.

Invoquer le service

Exemple d'invocation

L'exemple suivant montre comment invoquer le service de modèle DeepSeek-R1-Distill-Qwen-7B déployé avec vLLM. Supposons que <EAS_ENDPOINT> corresponde à http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test.

Corps de la requête :

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}

Exemple de code :

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant."
    },
    {
        "role": "user",
        "content": "hello!"
    }
    ]
}' 

import requests

# Replace with your actual endpoint.
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/test/v1/chat/completions'
# The value of Authorization in the header is your actual token.
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Construct the service request based on the data format required by the specific model.
data = {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello!"
        }
    ]
}
# Send the request.
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

Pour plus d'informations sur l'invocation des services de grands modèles de langage (LLM), consultez Invocation de service LLM.

Autres scénarios de déploiement

• Modèles déployés depuis Model Gallery : La page Overview du modèle fournit généralement des exemples d'invocation d'API, y compris le chemin d'URL complet et le format de la requête.

  Commande cURL

  Paramètres courants :

  Paramètre	Description	Exemple
  -X	Spécifie la méthode HTTP.	-X POST
  -H	Ajoute un en-tête de requête.	-H "Content-Type: application/json"
  -d	Ajoute un corps de requête.	-d '{"key": "value"}'

  Exemple d'appel d'API Chat : envoyez une requête POST vers <EAS_ENDPOINT>/v1/chat/completions avec les en-têtes suivants : Content-Type: application/json et Authorization: <EAS_TOKEN>. La structure du corps de la requête JSON est la suivante :

  • model : le nom du modèle, qui peut être récupéré via l'API /v1/models.

  • messages : un tableau de messages contenant un rôle system (exemple de contenu : You are a helpful assistant.) et un rôle user (exemple de contenu : Hello!).

  Code Python

  L'exemple suivant utilise le modèle Qwen3-Reranker-8B pour montrer comment invoquer le service avec du code Python. Notez que son URL et son corps de requête diffèrent de l'exemple cURL. Suivez toujours les instructions figurant sur la page Overview du modèle.

  Le code Python contient les configurations clés suivantes : définissez url sur EAS_ENDPOINT/v1/rerank et configurez Authorization et Content-Type dans headers. Définissez les chaînes de modèle prefix, suffix, query_template et document_template (contenant les jetons spéciaux im_start/im_end). Construisez le corps de la requête data avec le champ model (valeur : Qwen3-Reranker-8B), query et les champs documents (les documents d'exemple incluent « The capital of China is Beijing »). Enfin, dans la fonction main(), envoyez une requête POST en utilisant requests.post(url, headers=headers, json=data) et affichez le résultat renvoyé.

• Déploiements basés sur des scénarios :

  • Appels d'API ComfyUI

  • Appels d'API SDWebUI

  • Appels de service TensorFlow Serving

  • Appels de service Triton

• Services déployés avec un processeur générique (tel que TensorFlow, Caffe et PMML) : consultez Construire une requête de service basée sur un processeur générique.

• Autres services personnalisés : le format de la requête est déterminé par le format d'entrée des données défini dans votre image ou votre code personnalisé.

• Modèles auto-entraînés : la méthode d'invocation est identique à celle du modèle d'origine.

FAQ

Pour les problèmes courants et les solutions liés à l'invocation de service, consultez FAQ sur l'invocation de service.