Platform For AI:Déploiement personnalisé via la console

Étape 1 : Préparer le fichier de code

Enregistrez le code de l'application Flask suivant dans un fichier app.py. Notez que le service écoute sur le port 8000.

from flask import Flask

app = Flask(__name__)

@app.route('/hello')
def hello_world():
    # Your model inference or other business logic goes here.
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

Étape 2 : Télécharger le code vers OSS

Téléchargez le fichier app.py dans un bucket OSS. Assurez-vous que le bucket OSS et l'espace de travail EAS se trouvent dans la même région. Par exemple, téléchargez le fichier dans le répertoire oss://examplebucket/code/.

Étape 3 : Configurer et déployer le service

1. Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).

2. Dans l'onglet Inference Service, cliquez sur Deploy Service. Dans la section Custom Model Deployment, cliquez sur Custom Deployment.

3. Sur la page de configuration, définissez les paramètres clés dans les sections Environment Information et Resource Information comme suit :

   • Deployment Method : Sélectionnez Image-based Deployment.

   • Image Configuration : Sélectionnez l'Alibaba Cloud Image python-inference:3.9-ubuntu2004.

   • Storage Mounting : Montez le répertoire OSS contenant le fichier app.py sur le chemin /mnt/data/ du conteneur.

     • URI : Sélectionnez le répertoire OSS où se trouve votre code. Dans cet exemple, le répertoire est oss://examplebucket/code/.

     • Mount Path : Spécifiez un chemin local dans le conteneur pour le répertoire. Dans cet exemple, le chemin est /mnt/data/.

   • Command : Étant donné que app.py a été monté dans le répertoire /mnt/data/ du conteneur, la commande de démarrage est : python /mnt/data/app.py.

   • Third-party Library Settings : L'exemple de code dépend de la bibliothèque flask, qui n'est pas incluse dans l'image officielle sélectionnée. Ajoutez flask aux Third-party Libraries. EAS installe automatiquement la bibliothèque au démarrage du service.

   • Resource Configuration : Allouez les ressources de calcul appropriées au service. Pour cet exemple simple, une petite instance CPU suffit.

     • Resource Type : Ressources publiques.

     • Resource Specification : Sélectionnez ecs.c7.large.

4. Une fois la configuration terminée, cliquez sur Deploy. Lorsque l'état du service passe à Running, vous pouvez appeler le service.

Environnement d'exécution

Dans la section Environment Information, configurez l'environnement d'exécution et les dépendances de votre service.

Ressources de calcul

Dans la section Resource Information, vous pouvez configurer les ressources de calcul de votre service, notamment en sélectionnant un type de ressource et une spécification d'instance, en configurant le disque système et en définissant le nombre de réplicas et les politiques de planification. Pour plus d'informations, consultez la configuration des ressources.

Réseau du service

• VPC : Configurez un VPC si votre service doit accéder à des ressources du réseau public, à des bases de données ou à des files d'attente de messages au sein d'un VPC, ou si vous souhaitez que les clients appellent le service directement via un VPC. Pour plus d'informations, consultez la rubrique Accès aux ressources du réseau public ou interne.

• Appel de service : Après le déploiement, choisissez une méthode d'appel adaptée à votre scénario métier, telle qu'une passerelle, NLB, Nacos ou gRPC. Pour plus d'informations, consultez la rubrique sur l'appel de service.

Sécurité du service

Dans la section Features, configurez l'authentification et la sécurité des données pour votre service.

Stabilité du service

Dans la section Features, vous pouvez configurer les paramètres suivants liés à la stabilité :

• Service Response Timeout Period : Configurez le délai d'expiration pour chaque requête. La valeur par défaut est de 5 secondes. Pour les scénarios chronophages tels que l'inférence de grands modèles ou la sortie en streaming, augmentez cette valeur pour éviter que les requêtes ne soient tronquées.

• Health Check : Le système sonde périodiquement la disponibilité des instances, remplaçant automatiquement les instances anormales pour permettre une auto-réparation des pannes. Pour plus d'informations, consultez la rubrique sur les contrôles d'intégrité.

• Compute monitoring & fault tolerance : Surveille en temps réel l'état de santé des ressources de calcul pour les services d'inférence distribués, permettant une détection automatique des pannes et une auto-réparation intelligente. Pour plus d'informations, consultez la rubrique sur la surveillance de la puissance de calcul et la tolérance aux pannes.

• Stratégies de déploiement et de mise à jour : Utilisez des fonctionnalités telles que le déploiement canari, les mises à jour progressives, l'arrêt gracieux et les calendriers de mise à jour pour garantir la continuité du service lors des mises à niveau de version. Pour plus d'informations, consultez la rubrique sur la gestion des versions.

Performances du service

Utilisez l'accélération du stockage et la planification intelligente pour améliorer les performances du service, accélérer la vitesse de démarrage, augmenter le débit et réduire la latence.

• Distributed cache acceleration : Met en cache les fichiers de modèle ou de données du stockage monté, tel qu'OSS, vers le stockage local de l'instance pour réduire la latence des E/S. Pour plus d'informations, consultez la rubrique sur l'accélération du cache de modèle.

• Model Weight Service (MoWS) : Améliore considérablement l'efficacité de la mise à l'échelle et la vitesse de démarrage du service pour les déploiements d'instances à grande échelle en mettant en cache les poids du modèle localement et en les partageant entre les instances. Pour plus d'informations, consultez le Model Weight Service.

• LLM Intelligent Router : Pour les services LLM disposant de plusieurs instances backend, cette fonctionnalité distribue dynamiquement les requêtes en fonction de la charge du backend. Cela équilibre la puissance de calcul et l'utilisation de la mémoire GPU entre les instances et améliore l'utilisation des ressources du cluster. Pour plus d'informations, consultez le déploiement du routeur intelligent LLM.

Observabilité du service

Dans la section Features, activez les fonctionnalités d'observabilité suivantes pour obtenir des informations sur l'état du service et résoudre les problèmes :

Services asynchrones et élastiques

• Inférence asynchrone : Pour les scénarios d'inférence de longue durée tels que l'AIGC et le traitement vidéo, nous vous recommandons d'activer une Asynchronous Queue. Le client reçoit une réponse immédiate et peut récupérer le résultat final par interrogation ou en utilisant un rappel. Pour plus d'informations, consultez la rubrique Déployer un service d'inférence asynchrone.

• Elastic Job Service : Dans la section Features, activez le Task Mode pour déployer le service d'inférence en tant que service de travail à la demande. Cela convient au traitement par lots de données et aux tâches planifiées. Les ressources sont automatiquement libérées après l'achèvement de la tâche pour réduire les coûts. Pour plus d'informations, consultez l'Elastic Job Service.

Configuration JSON

Dans la section Service Configuration, vous pouvez afficher et modifier directement la configuration JSON complète correspondant aux paramètres actuels de l'interface utilisateur.