Deploy a Platform of Artificial Intelligence (PAI) Elastic Algorithm Service (EAS) model service using the TensorFlow Serving inference engine - Platform For AI

TensorFlow Serving est un moteur d'inférence pour les modèles d'apprentissage profond. Il vous permet de déployer des modèles au format standard TensorFlow SavedModel en tant que services en ligne et prend en charge des fonctionnalités telles que les mises à jour progressives et la gestion des versions de modèles. Cette rubrique décrit comment déployer un service de modèle TensorFlow Serving à l'aide d'un déploiement basé sur une image.

Prérequis

Fichiers de modèle

Pour utiliser le déploiement basé sur une image avec TensorFlow Serving, stockez vos fichiers de modèle dans Object Storage Service (OSS) avec une structure de répertoire répondant aux exigences suivantes :

Répertoire de version du modèle : chaque modèle doit comporter au moins un répertoire de version doté d'un nom entier. Ce nombre sert d'identifiant de version. Un nombre plus élevé indique une version plus récente.
Fichiers de modèle : le répertoire de version stocke les fichiers de modèle exportés au format SavedModel. Le service charge automatiquement les fichiers de modèle depuis le répertoire portant le numéro de version le plus élevé.

Procédez comme suit :

Créez un répertoire de stockage de modèle dans un compartiment OSS. Par exemple, oss://examplebucket/models/tf_serving/. Pour plus d'informations, consultez Gérer les répertoires.

Téléchargez les fichiers de modèle dans le répertoire créé à l'étape précédente. Vous pouvez télécharger et utiliser les exemples de fichiers de modèle TensorFlow Serving pour cet exemple. Le répertoire de stockage de modèle présente la structure suivante :

tf_serving 
├── modelA
│   └── 1
│       ├── saved_model.pb
│       └── variables
│           ├── variables.data-00000-of-00001
│           └── variables.index
│
├── modelB
│   ├── 1
│   │   └── ...
│   └── 2
│       └── ...
│
└── modelC
    ├── 1
    │   └── ...
    ├── 2
    │   └── ...
    └── 3
        └── ...

Fichier de configuration du modèle

Utilisez un fichier de configuration pour exécuter plusieurs modèles au sein d'un même service. Si vous devez déployer un service mono-modèle, vous pouvez ignorer cette section.

Créez un fichier de configuration et téléchargez-le sur OSS. Les exemples de fichiers fournis dans la section Préparer les fichiers de modèle incluent un fichier de configuration de modèle nommé model_config.pbtxt, que vous pouvez utiliser directement ou modifier selon vos besoins. Dans cet exemple, le fichier de configuration du modèle est téléchargé dans le répertoire oss://examplebucket/models/tf_serving/.

Voici un exemple de fichier de configuration model_config.pbtxt :

model_config_list {
  config {
    name: 'modelA'
    base_path: '/models/modelA/'
    model_platform: 'tensorflow'
    model_version_policy{
        all: {}
    }
  }
  config {
    name: 'modelB'
    base_path: '/models/modelB/'
    model_platform: 'tensorflow'
    model_version_policy{
        specific {
            versions: 1
            versions: 2
        }
    }
    version_labels {
      	key: 'stable'
      	value: 1
    }
    version_labels {
      	key: 'canary'
      	value: 2
    }
  }
  config {
    name: 'modelC'
    base_path: '/models/modelC/'
    model_platform: 'tensorflow'
    model_version_policy{
        latest {
            num_versions: 2
        }
    }
  }
}

Le tableau suivant décrit les paramètres clés.

Paramètre	Obligatoire	Description
name	Non	Un nom personnalisé pour le modèle. Ce paramètre est recommandé. Si aucun nom n'est spécifié, le service ne peut pas être invoqué car le nom du modèle est vide.
base_path	Oui	Le chemin de stockage du modèle au sein de l'instance. Le service lit les fichiers de modèle à partir de ce chemin lors du déploiement. Par exemple, si le chemin de montage est `/models` et que le modèle à charger se trouve dans le répertoire `/models/modelA`, définissez ce paramètre sur `/models/modelA`.
model_version_policy	Non	La politique de chargement des versions de modèles. Si vous ne spécifiez pas ce paramètre, la dernière version du modèle est chargée par défaut. all{} : charge toutes les versions du modèle. Dans l'exemple, toutes les versions de modelA sont chargées. latest{} : dans l'exemple, `num_versions: 2` est spécifié pour modelC, ce qui charge les deux dernières versions (versions 2 et 3). specific{} : charge les versions spécifiées. Dans l'exemple, les versions 1 et 2 de modelB sont chargées.
version_labels	Non	Spécifie une étiquette de version personnalisée pour une version de modèle. Si vous ne configurez pas d'étiquettes de version, vous ne pouvez distinguer les versions de modèle que par leur numéro de version. Le chemin de la requête est `/v1/models/<nom du modèle>/versions/<numéro de version>:predict`. Si vous configurez des étiquettes de version, vous pouvez utiliser une étiquette de version pour pointer vers une version spécifique. Le chemin de la requête est `/v1/models/<nom du modèle>/labels/<étiquette de version>:predict`. Remarque Par défaut, vous ne pouvez attribuer une étiquette de version qu'à une version de modèle chargée et en cours d'exécution. Pour attribuer une étiquette à une version qui n'est pas encore chargée, vous devez spécifier le paramètre de démarrage `--allow_version_labels_for_unavailable_models=true` dans le champ Command to Run. Le déploiement basé sur des scénarios ne prend pas en charge la configuration de Command to Run. Utilisez plutôt le déploiement personnalisé.

Déploiement de service

Déployez un service TensorFlow Serving en utilisant l'une des méthodes de déploiement basées sur une image suivantes :

Déploiement basé sur des scénarios : cette méthode est idéale pour les scénarios de base et ne nécessite la configuration que de quelques paramètres.
Déploiement personnalisé : cette méthode offre plus de flexibilité pour configurer des options, telles que la modification du port ou la définition de l'intervalle d'interrogation pour les fichiers de modèle.

Important

Les services de modèle TensorFlow Serving prennent en charge les ports 8501 et 8500.

8501 : prend en charge les requêtes HTTP. Un service HTTP ou REST est démarré sur le port 8501.
8500 : prend en charge les requêtes gRPC. Un service gRPC est démarré sur le port 8500.

La méthode de déploiement basé sur des scénarios utilise le port 8501 par défaut, qui ne peut pas être modifié. Si vous devez utiliser le port 8500, sélectionnez déploiement personnalisé.

Déploiement de scénario

Procédez comme suit :

Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Elastic Algorithm Service (EAS).
Sur la page Elastic Algorithm Service (EAS), cliquez sur Deploy Service. Dans la section Scenario-based Model Deployment, cliquez sur Tensorflow Serving Deployment.

Sur la page Tensorflow Serving Deployment, configurez les paramètres. Le tableau suivant décrit les paramètres clés. Pour plus d'informations sur les autres paramètres, consultez Déploiement personnalisé.

Paramètre

Description

Deployment Method

Les méthodes de déploiement suivantes sont prises en charge :

Standard Model Deployment : déploie un service mono-modèle.
Configuration File Deployment : déploie un service multi-modèles.

Model Settings

Si vous sélectionnez Deployment Method pour Standard Model Deployment, spécifiez le chemin OSS vers vos fichiers de modèle.

Si vous sélectionnez Deployment Method pour Configuration File Deployment, configurez les paramètres suivants :

OSS : sélectionnez le chemin OSS où se trouvent les fichiers de modèle.
Mount Path : le chemin de destination dans l'instance de service où les fichiers de modèle sont montés.
Configuration File : sélectionnez le chemin OSS où se trouve le fichier de configuration du modèle.

Les tableaux suivants présentent des exemples de configurations.

Paramètre	Exemple mono-modèle	Exemple multi-modèles
Service Name	modela_scene	multi_scene
Deployment Method	Sélectionnez Standard Model Deployment.	Sélectionnez Configuration File Deployment.
Model Settings	OSS : `oss://examplebucket/models/tf_serving/modelA/`.	OSS : `oss://examplebucket/models/tf_serving/`. Mount Path : /models Configuration File : `oss://examplebucket/models/tf_serving/model_config.pbtxt`

Une fois les paramètres configurés, cliquez sur Deploy.

Déploiement personnalisé

Procédez comme suit :

Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Elastic Algorithm Service (EAS).
Cliquez sur Deploy Service. Dans la section Custom Model Deployment, cliquez sur Custom Deployment.

Sur la page Custom Deployment, configurez les paramètres. Le tableau suivant décrit les paramètres clés. Pour plus d'informations sur les autres paramètres, consultez Déploiement personnalisé.

Paramètre	Description
Image Configuration	Dans la liste Alibaba Cloud Image, sélectionnez tensorflow-serving et la version d'image correspondante. Nous vous recommandons de sélectionner la dernière version. Remarque Si le service nécessite un GPU, la version de l'image doit être x.xx.x-gpu.
Model Settings	Vous pouvez configurer les fichiers de modèle de plusieurs manières. Cet exemple utilise OSS. Uri : sélectionnez le chemin OSS où se trouvent les fichiers de modèle. Mount Path : le chemin de destination dans l'instance de service où les fichiers de modèle sont montés.
Command to Run	Les paramètres de démarrage pour tensorflow-serving. Lorsque vous sélectionnez une image tensorflow-serving, la commande `/usr/bin/tf_serving_entrypoint.sh` est automatiquement chargée. Spécifiez les paramètres supplémentaires suivants. Paramètres de démarrage pour le déploiement mono-modèle : `--model_name` : le nom du modèle, utilisé dans l'URL de la requête de service. S'il n'est pas spécifié, la valeur par défaut est `model`. `--model_base_path` : le chemin de stockage du modèle dans l'instance. S'il n'est pas spécifié, le chemin par défaut est `/models/model`. Paramètres de démarrage pour le déploiement multi-modèles : `--model_config_file` : obligatoire. Spécifie le fichier de configuration du modèle. `--model_config_file_poll_wait_seconds` : facultatif. Pour permettre les modifications du fichier de configuration après le démarrage du service, définissez un intervalle d'interrogation en secondes. Le service relit alors périodiquement le fichier à cet intervalle. Par exemple, `--model_config_file_poll_wait_seconds=30` indique que le service lit le fichier de configuration du modèle toutes les 30 secondes. Remarque Lorsque le service de modèle lit un nouveau fichier de configuration de modèle, il traite uniquement le contenu du nouveau fichier. Par exemple, si l'ancien fichier de configuration inclut le modèle A et que le nouveau fichier de configuration supprime le modèle A et ajoute la configuration du modèle B, le service décharge le modèle A et charge le modèle B. `--allow_version_labels_for_unavailable_models` : facultatif. La valeur par défaut est false. Si vous souhaitez pré-attribuer une étiquette à une version de modèle qui n'est pas encore chargée, définissez ce paramètre sur true. Par exemple, `--allow_version_labels_for_unavailable_models=true`.

Les tableaux suivants présentent des exemples de configurations.

Paramètre	Exemple mono-modèle	Exemple multi-modèles
Deployment Method	Sélectionnez Image-based Deployment.
Image Configuration	Sélectionnez Alibaba Cloud Image : tensorflow-serving > tensorflow-serving:2.14.1.
Model Settings	Définissez le type de modèle sur OSS. Uri : `oss://examplebucket/models/tf_serving/`. Mount Path : définissez ce paramètre sur `/models`.
Command to Run	`/usr/bin/tf_serving_entrypoint.sh --model_name=modelA --model_base_path=/models/modelA`	`/usr/bin/tf_serving_entrypoint.sh --model_config_file=/models/model_config.pbtxt --model_config_file_poll_wait_seconds=30 --allow_version_labels_for_unavailable_models=true`

Le numéro de port est 8501 par défaut. Un service HTTP ou REST est démarré sur le port 8501 pour prendre en charge les requêtes HTTP. Pour permettre au service de prendre en charge les requêtes gRPC, effectuez les étapes suivantes :

Dans la section Environment Information, modifiez le Port Number en 8500.
Dans la section Environment Information, activez l'interrupteur Enable gRPC.
Dans la section Service Configurations, ajoutez la configuration suivante :
```
"networking": {
    "path": "/"
}
```

Cliquez sur Deploy.

Requêtes de service

Le protocole de requête (HTTP ou gRPC) dépend du port configuré lors du déploiement du service. Les exemples suivants utilisent modelA.

Préparez les données de test

modelA est un modèle de classification d'images entraîné sur l'ensemble de données Fashion-MNIST. Chaque échantillon est une image en niveaux de gris de 28 x 28 pixels. Le modèle génère la probabilité que l'échantillon appartienne à chacune des 10 classes. À des fins de test, utilisez [[[[1.0]] * 28] * 28] comme données d'entrée pour la requête de service modelA.

Exemples de requêtes

Requêtes HTTP

Lorsque le numéro de port est défini sur 8501, le service prend en charge les requêtes HTTP. Le tableau suivant résume les chemins de requête HTTP pour les déploiements mono-modèle et multi-modèles.

Modèle unique

Plusieurs modèles

Format du chemin : <service_url>/v1/models/<model_name>:predict

Où :

Déploiement basé sur des scénarios : <model_name> ne peut pas être personnalisé et prend par défaut la valeur model.
Déploiement personnalisé : <model_name> est le nom du modèle configuré dans le champ Command to Run. Si aucun nom de modèle n'est spécifié, la valeur par défaut est model.

Vous pouvez envoyer des requêtes sans spécifier de version ou en spécifiant une version de modèle. Les formats de chemin sont les suivants :

Sans spécifier de version (la dernière version est chargée par défaut) :

<service_url>/v1/models/<model_name>:predict
En spécifiant une version de modèle :

<service_url>/v1/models/<model_name>/versions/<version_num>:predict
Si des étiquettes de version sont définies :

<service_url>/v1/models/<model_name>/labels/<étiquette de version>:predict

Dans ce cas, <model_name> est le nom du modèle spécifié dans le fichier de configuration du modèle.

Le <service_url> est l'URL de votre service déployé. Sur la page Elastic Algorithm Service (EAS), cliquez sur Invocation Information dans la colonne Service Type du service pour afficher l'URL du service. Lors de l'utilisation du débogage en ligne, la console remplit automatiquement cette partie du chemin.

Pour un déploiement basé sur un scénario du modèle unique modelA, le chemin de la requête HTTP est <service_url>/v1/models/model:predict.

Les exemples suivants montrent comment envoyer une requête de service à l'aide de la fonctionnalité de débogage en ligne dans la console et à l'aide du code Python.

Débogage en ligne

Une fois le service déployé, cliquez sur Online Debugging dans la colonne Actions du service. Dans la section Request Parameter Online Tuning, l'URL du service est pré-remplie. Ajoutez le chemin /v1/models/model:predict à l'URL et configurez les données de la requête dans le champ Body :

{"signature_name": "serving_default", "instances": [[[[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], "], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0] "], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0] "], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]

Une fois les paramètres configurés, cliquez sur Send Request. La sortie est similaire à ce qui suit.

Status Code: 200
Connection: Keep-Alive
Content-Length: 158
Content-Type: application/json
Date: Fri, 08 Nov 2024 02:28:08 GMT
Body: {
    "predictions": [[-9.40927601, -5.41267443, -15.9157038, -15.7119455, -16.194952, -42.5621414, -7.23207045, -43.1042442, 4.25585461, -31.3991375]
    ]
}

Envoyer une requête HTTP avec Python

Voici un exemple de code Python :

from urllib import request
import json
# Replace the following placeholders with your service URL and token.
# To obtain this information, click Invocation Information in the inference services list and go to the Public Endpoint tab.
service_url = '<service_url>'
token = '<test-token>'
# For a scenario-specific single-model deployment, set model_name to "model".
# For other scenarios, refer to the path description table above.
model_name = "model"
url = "{}/v1/models/{}:predict".format(service_url, model_name)
# Create an HTTP request.
req = request.Request(url, method="POST")
req.add_header('authorization', token)
data = {
    'signature_name': 'serving_default',
    'instances': [[[[1.0]] * 28] * 28]
}
# Send the request to the service.
response = request.urlopen(req, data=json.dumps(data).encode('utf-8')).read()
# View the response.
response = json.loads(response)
print(response)

Requête gRPC

Après avoir défini le numéro de port sur 8500 et ajouté les configurations gRPC, le service prend en charge les requêtes gRPC. Le code Python suivant fournit un exemple :

import grpc
import tensorflow as tf
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc
from tensorflow.core.framework import tensor_shape_pb2
# The service URL. For the format, see the description of the host parameter below.
host = "tf-serving-multi-grpc-test.166233998075****.cn-hangzhou.pai-eas.aliyuncs.com:80"
# Replace <test-token> with the service token. You can find the token on the Public Endpoint tab.
token = "<test-token>"
# The model name. For more information, see the description of the name parameter below.
name = "<model_name>"
signature_name = "serving_default"
# The model version number. You can send a request to only one model version at a time.
version = "<version_num>"
# Create a gRPC request.
request = predict_pb2.PredictRequest()
request.model_spec.name = name
request.model_spec.signature_name = signature_name
request.model_spec.version.value = version
request.inputs["keras_tensor"].CopyFrom(tf.make_tensor_proto([[[[1.0]] * 28] * 28]))
# Send the request to the service.
channel = grpc.insecure_channel(host)
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
metadata = (("authorization", token),)
response, _ = stub.Predict.with_call(request, metadata=metadata)
print(response)

Les paramètres clés sont décrits ci-dessous :

Paramètre	Description
host	Définissez ce paramètre sur l'URL du service. Omettez `http://` de l'URL et ajoutez `:80` à la fin. Pour trouver l'URL du service, accédez à la page Elastic Algorithm Service (EAS). Ensuite, recherchez le service que vous souhaitez appeler et cliquez sur Invocation Information dans la colonne Service Type.
name	Pour envoyer une requête gRPC pour un seul modèle : Pour les déploiements basés sur des scénarios, définissez ce paramètre sur `model`. Pour les déploiements personnalisés, définissez ce paramètre sur le nom du modèle spécifié dans Command to Run. Si aucun nom de modèle n'est spécifié dans la commande, la valeur par défaut est `model`. Pour envoyer une requête gRPC pour plusieurs modèles : Définissez ce paramètre sur le nom du modèle spécifié dans le fichier de configuration du modèle.
version	Définissez ce paramètre sur le numéro de version du modèle. Vous ne pouvez envoyer une requête qu'à une seule version de modèle à la fois.
metadata	Définissez ce paramètre sur le jeton de service. Vous pouvez trouver le jeton sur la page Invocation Information.

Documents connexes

Pour déployer des services EAS à l'aide du moteur d'inférence Triton Server, consultez Déploiement basé sur une image Triton Inference Server.
Vous pouvez également déployer des services EAS à l'aide d'images personnalisées. Pour plus d'informations, consultez Images personnalisées.