Platform For AI:Déploiement personnalisé via la console

Étape 1 : Préparer le fichier de code

Enregistrez le code de l'application Flask suivant dans un fichier app.py. Notez que le service écoute sur le port 8000.

from flask import Flask

app = Flask(__name__)

@app.route('/hello')
def hello_world():
    # Your model inference or other business logic goes here.
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

Étape 2 : Charger le code sur OSS

Chargez le fichier app.py dans un bucket OSS. Assurez-vous que le bucket OSS et l'espace de travail EAS se trouvent dans la même région. Par exemple, chargez le fichier dans le répertoire oss://examplebucket/code/.

Étape 3 : Configurer et déployer le service

1. Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Choisissez ensuite l'espace de travail souhaité et cliquez sur Elastic Algorithm Service (EAS).

2. Dans l'onglet Inference Service, cliquez sur Deploy Service. Dans la section Custom Model Deployment, cliquez sur Custom Deployment.

3. Sur la page de configuration, définissez les paramètres clés dans les sections Environment Information et Resource Information comme suit :

   • Deployment Method : Sélectionnez Image-based Deployment.

   • Image Configuration : Choisissez l'Alibaba Cloud Image python-inference:3.9-ubuntu2004.

   • Storage Mounting : Montez le répertoire OSS contenant le fichier app.py sur le chemin /mnt/data/ du conteneur.

     • URI : Sélectionnez le répertoire OSS où se trouve votre code. Dans cet exemple, il s'agit de oss://examplebucket/code/.

     • Mount Path : Spécifiez un chemin local dans le conteneur pour ce répertoire. Dans cet exemple, le chemin est /mnt/data/.

   • Command : Puisque app.py a été monté dans le répertoire /mnt/data/ du conteneur, la commande de démarrage est : python /mnt/data/app.py.

   • Third-party Library Settings : L'exemple de code dépend de la bibliothèque flask, qui n'est pas incluse dans l'image officielle sélectionnée. Ajoutez flask aux Third-party Libraries. EAS installe automatiquement la bibliothèque au démarrage du service.

   • Resource Configuration : Allouez les ressources de calcul appropriées au service. Pour cet exemple simple, une petite instance CPU suffit.

     • Resource Type : Ressources publiques.

     • Resource Specification : Sélectionnez ecs.c7.large.

4. Une fois la configuration terminée, cliquez sur Deploy. Lorsque le statut du service passe à Running, vous pouvez appeler le service.

Environnement d'exécution

Dans la section Environment Information, configurez l'environnement d'exécution et les dépendances de votre service.

Ressources de calcul

Dans la section Resource Information, configurez les ressources de calcul de votre service, notamment en sélectionnant un type de ressource et une spécification d'instance, en configurant le disque système, et en définissant le nombre de réplicas ainsi que les politiques de planification. Pour plus d'informations, consultez la configuration des ressources.

Réseau du service

• VPC : Configurez un VPC si votre service doit accéder à des ressources du réseau public, à des bases de données ou à des files d'attente de messages au sein d'un VPC, ou si vous souhaitez que les clients appellent le service directement via un VPC. Pour plus d'informations, consultez la rubrique Accès aux ressources du réseau public ou interne.

• Appel de service : Après le déploiement, choisissez une méthode d'appel adaptée à votre scénario métier, telle qu'une passerelle, NLB, Nacos ou gRPC. Pour plus d'informations, consultez la rubrique sur l'appel de service.

Sécurité du service

Dans la section Features, configurez l'authentification et la sécurité des données de votre service.

Stabilité du service

Dans la section Features, configurez les paramètres suivants liés à la stabilité :

• Service Response Timeout Period : Configurez le délai d'expiration pour chaque requête. La valeur par défaut est de 5 secondes. Pour les scénarios gourmands en temps, tels que l'inférence de grands modèles ou la sortie en streaming, augmentez cette valeur pour éviter que les requêtes ne soient tronquées.

• Health Check : Le système sonde périodiquement la vitalité des instances, remplaçant automatiquement les instances anormales pour permettre une auto-réparation des pannes. Pour plus d'informations, consultez la rubrique sur les contrôles de santé.

• Compute monitoring & fault tolerance : Surveille en temps réel l'état de santé des ressources de calcul pour les services d'inférence distribuée, permettant la détection automatique des pannes et l'auto-réparation intelligente. Pour plus d'informations, consultez la rubrique sur la surveillance de la puissance de calcul et la tolérance aux pannes.

• Stratégies de déploiement et de mise à jour : Utilisez des fonctionnalités telles que le déploiement canari, les mises à jour progressives, l'arrêt gracieux et les plannings de mise à jour pour garantir un service ininterrompu lors des mises à niveau de version du service. Pour plus d'informations, consultez la rubrique sur la gestion des versions.

Performances du service

Utilisez l'accélération du stockage et la planification intelligente pour améliorer les performances du service, accélérer la vitesse de démarrage, augmenter le débit et réduire la latence.

• Distributed cache acceleration : Met en cache les fichiers de modèle ou de données du stockage monté, tel qu'OSS, sur le stockage local de l'instance pour réduire la latence des E/S. Pour plus d'informations, consultez la rubrique sur l'accélération du cache de modèle.

• Model Weight Service (MoWS) : Améliore considérablement l'efficacité de la mise à l'échelle et la vitesse de démarrage du service pour les déploiements d'instances à grande échelle en mettant en cache localement les poids du modèle et en les partageant entre les instances. Pour plus d'informations, consultez le Model Weight Service.

• LLM Intelligent Router : Pour les services LLM disposant de plusieurs instances backend, cette fonctionnalité distribue dynamiquement les requêtes en fonction de la charge backend. Cela équilibre la puissance de calcul et l'utilisation de la mémoire GPU entre les instances et améliore l'utilisation des ressources du cluster. Pour plus d'informations, consultez la rubrique sur le déploiement du routeur intelligent LLM.

Observabilité du service

Dans la section Features, activez les fonctionnalités d'observabilité suivantes pour obtenir des informations sur l'état du service et résoudre les problèmes :

Services asynchrones et élastiques

• Inférence asynchrone : Pour les scénarios d'inférence de longue durée tels que l'AIGC et le traitement vidéo, nous vous recommandons d'activer une Asynchronous Queue. Le client reçoit une réponse immédiate et peut récupérer le résultat final par interrogation (polling) ou via un rappel. Pour plus d'informations, consultez la rubrique Déployer un service d'inférence asynchrone.

• Elastic Job Service : Dans la section Features, activez le Task Mode pour déployer le service d'inférence en tant que service de tâches à la demande. Ceci est adapté au traitement par lots de données et aux tâches planifiées. Les ressources sont automatiquement libérées après l'achèvement de la tâche pour réduire les coûts. Pour plus d'informations, consultez l'Elastic Job Service.

Configuration JSON

Dans la section Service Configuration, vous pouvez afficher et modifier directement la configuration JSON complète correspondant aux paramètres actuels de l'interface utilisateur.