Platform For AI:Deploy model services with custom images

Étape 1 : Préparer l'environnement

Avant de commencer, assurez-vous que les ressources suivantes sont disponibles dans la même région (par exemple, Chine (Hangzhou)) :

Étape 2 : Préparer les fichiers du projet

Connectez-vous à l'instance ECS, créez un dossier de projet, par exemple my-app, et ajoutez les trois fichiers suivants :

1. requirements.txt (dépendances de l'application)

   flask
   gunicorn

2. app.py (code de l'application web)

   from flask import Flask
   
   app = Flask(__name__)
   
   @app.route('/hello/model')
   def hello_world():
       # Integrate your model inference or other business logic here
       return 'Hello World from Gunicorn!'
   
   # Note: app.run() is not needed. Gunicorn starts the application.

3. Dockerfile (instructions de construction de l'image)

   # 1. Use the lightweight official Python image as the base
   FROM python:3.9-slim
   
   # 2. Set the working directory
   WORKDIR /app
   
   # 3. Copy the dependencies file and install. This layer is cached to speed up subsequent builds.
   COPY requirements.txt .
   RUN pip install --no-cache-dir -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
   
   # 4. Copy the application code
   COPY app.py .
   
   # 5. Declare the service port
   EXPOSE 8000
   
   # 6. Define the default container startup command (can be overridden by the Run Command in the EAS console)
   CMD ["gunicorn", "-w", "4", "-b", "0.0.0.0:8000", "app:app"]

Étape 3 : Construire et transférer l'image

1. Ouvrez un terminal et accédez au dossier du projet (my-app).

2. Connectez-vous à votre instance ACR. Remplacez les espaces réservés dans la commande par vos valeurs réelles.

   Remarque

   Sur la page des détails du référentiel ACR, vous trouverez des exemples de commandes de connexion, d'extraction et de transfert. Les exemples utilisent des endpoints publics. Remplacez-les par des endpoints privés.

   # Example: docker login --username=your_user my-registry-vpc.cn-hangzhou.aliyuncs.com
   docker login --username=<username> <ACR private endpoint>

3. Construisez l'image Docker et étiquetez-la avec le chemin complet du référentiel.

   # Example: docker build -t my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1 .
   # The full image address is <ACR private endpoint>/<namespace>/<repository name>:<tag>
   docker build -t <ACR private endpoint>/<namespace>/<repository name>:<tag> .

4. (Recommandé) Vérifiez l'image localement avant de la transférer. Exécutez la commande suivante pour vous assurer que l'image démarre correctement avant de la transférer vers le référentiel.

   # Replace <port> with the EXPOSE port in your Dockerfile (8000 in this example)
   docker run -p <port>:<port> <ACR private endpoint>/<namespace>/<repository name>:<tag>

   Si l'application répond comme prévu, l'image est prête à être transférée.

5. Transférez l'image vers ACR.

   # Example: docker push my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1
   docker push <ACR endpoint>/<namespace>/<repository name>:<tag>

Étape 4 : Déployer le service

1. Connectez-vous à la PAI console. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).

2. Cliquez sur Deploy Service et choisissez Custom Model Deployment > Custom Deployment.

3. Configurez les paramètres clés suivants :

   • Deployment Method : Sélectionnez Image-based Deployment.

   • Image Configuration : Sélectionnez Image Address et saisissez l'adresse complète de l'image de l'étape précédente : my-registry-vpc.cn-hangzhou.aliyuncs.com/pai-demo/flask-app:v1.

     Étant donné que cet exemple utilise ACR sous le même compte Alibaba Cloud, EAS peut extraire l'image sans identifiants. Aucun nom d'utilisateur ni mot de passe n'est requis.

   • Command to Run : gunicorn -w 4 -b 0.0.0.0:8000 app:app

     La commande Run Command dans la console EAS remplace l'instruction CMD du Dockerfile. Saisissez ici la commande de démarrage pour faciliter le débogage et la modification ultérieure.

   • Port Number : 8000.

   • Deployment : Cet exemple utilise des ressources CPU. Sélectionnez Public Resources et choisissez ecs.c6.large.

   • VPC : Sélectionnez un VPC (VPC_HZ), un vSwitch et un groupe de sécurité.

     Assurez-vous que le VPC sélectionné ici a été ajouté à la liste de contrôle d'accès de l'instance ACR. Sinon, l'extraction de l'image échoue en raison de problèmes de connectivité réseau. Une erreur courante est ImagePullBackOff .

4. Cliquez sur Deploy. Le déploiement réussit lorsque l'état du service passe à Running.

Étape 5 : Tester le service

Une fois le service déployé, obtain the endpoint and token et exécutez la commande suivante pour tester le service Flask :

# Replace <endpoint> and <token> with the actual service endpoint and token
curl <endpoint>/hello/model -H "Authorization: <token>"

Si Hello World from Gunicorn! est renvoyé, le service est déployé et accessible.

Pour plus d'informations sur l'appel de service, consultez la rubrique Service invocation methods.

Types de registres d'images

EAS extrait les images d'un registre d'images lors du déploiement des services. Nous recommandons Alibaba Cloud Container Registry (ACR) pour le stockage des images. Utilisez des endpoints VPC pour extraire les images afin d'améliorer les performances et la sécurité.

Authentification du registre d'images

Pour les registres nécessitant une authentification, fournissez les identifiants lors du déploiement du service.

Spécifiez les identifiants dans le fichier de configuration JSON via le paramètre dockerAuth. La valeur est l'encodage Base64 de username:password.

Par exemple, pour encoder abcd:abcde12345, exécutez echo -n "abcd:abcde12345" | base64 pour obtenir YWJjZDphYmNkZTEy****. Utilisez cette valeur pour le paramètre dockerAuth.

{"dockerAuth": "YWJjZDphYmNkZTEy****"}

Q : L'extraction de l'image échoue (ImagePullBackOff)

Vérifiez les éléments suivants :

1. Adresse de l'image : Vérifiez que l'adresse de l'image, le namespace et le tag sont corrects, et que l'image a bien été transférée vers le référentiel.

2. Espace disque système : Si vous voyez l'erreur no space left on device, expand the system disk.

3. Connectivité réseau :

   • Utilisation d'un endpoint public : Assurez-vous qu'EAS est configuré avec un VPC ayant accès à Internet et enable public access for ACR. L'extraction inter-régions via Internet est lente et sujette à des échecs.

   • Utilisation d'un endpoint privé : Pour les scénarios inter-régions, seule ACR Enterprise Edition est prise en charge. Vous devez connecter les VPC. Pour plus de détails, consultez la rubrique Access an ACR Enterprise Edition instance across regions or from an on-premises data center.

4. Contrôle d'accès ACR : Selon le type d'adresse d'image que vous utilisez, vérifiez si le contrôle d'accès Internet Configure internet access control ou le contrôle d'accès VPC Configure VPC access control est configuré.

5. Authentification du registre : Si vous utilisez un registre privé nécessitant une authentification (autre qu'ACR sous votre compte), vérifiez que les identifiants dans Image Configuration sont corrects.

Q : Comment utiliser les images ACR entre différentes régions ?

Par défaut, EAS peut extraire des images des référentiels ACR dans la même région via des endpoints privés VPC. Si l'instance ACR et le service EAS se trouvent dans des régions différentes, l'accès direct au réseau privé n'est pas disponible. Utilisez l'une des méthodes suivantes :

• Méthode 1 (recommandée) : Créez une instance ACR dans la même région que le service EAS, transférez l'image vers le référentiel local, puis déployez-la. Cela élimine entièrement les problèmes inter-régions.

• Méthode 2 : Utilisez CEN (Cloud Enterprise Network) pour connecter les VPC entre les régions pour l'extraction d'images via le réseau privé. Pour plus de détails, consultez la rubrique Access an Enterprise Edition instance across regions or from a data center.

• Méthode 3 (tests uniquement) : Extrayez les images via Internet. Activez l'accès public pour ACR et configurez une passerelle NAT avec accès Internet pour le service EAS. Cette méthode est lente et présente des risques de sécurité. Utilisez-la uniquement pour les tests.

Q : Le déploiement d'image personnalisée échoue avec « no match for platform in manifest »

Cette erreur signifie que l'architecture de l'image (par exemple, arm64) ne correspond pas à l'environnement d'exécution de l'instance EAS (généralement amd64/x86_64). EAS ne peut pas exécuter cette image sur le type d'instance sélectionné. Cela se produit souvent lorsque vous construisez une image sur un Mac série M (arm64) et la déployez sur une instance EAS (amd64). Pour résoudre ce problème :

1. Confirmez l'architecture CPU de l'instance EAS cible (la plupart des instances EAS utilisent amd64).

2. Reconstruisez l'image localement pour qu'elle corresponde à l'architecture de l'instance EAS :

   # Build an amd64 image (compatible with most EAS instances)
   docker build --platform linux/amd64 -t <ACR endpoint>/<namespace>/<repository name>:<tag> .

3. Transférez la nouvelle image vers ACR et redéployez le service.

Q : ACK peut-il se connecter au registre d'images dédié EAS (images officielles PAI) ?

Le registre d'images dédié EAS ne prend pas en charge les connexions ACK directes. ACK ne peut pas extraire d'images du registre d'images dédié EAS.