Platform For AI:Service Deployment

Fonctionnement (déploiement basé sur une image)

Chaque service EAS s'exécute dans une ou plusieurs instances de conteneur isolées. Un déploiement implique les composants principaux suivants :

• Image : Modèle en lecture seule contenant le système d'exploitation, les bibliothèques de base (telles que CUDA), l'environnement d'exécution du langage (tel que Python) et les dépendances requises. Utilisez une image PAI officielle ou créez une image personnalisée pour répondre à des besoins spécifiques.

• Code et modèle : Votre logique métier et vos fichiers de modèle. Stockez-les dans Object Storage Service (OSS) ou Apsara File Storage NAS. Cette approche découple votre code et vos modèles de l'environnement d'exécution, ce qui vous permet de les mettre à jour sans reconstruire l'image.

• Montage du stockage : Au démarrage, EAS monte les chemins de stockage externes spécifiés vers des répertoires locaux dans le conteneur. Le code exécuté dans le conteneur peut alors accéder aux fichiers externes comme s'ils étaient locaux.

• Commande de démarrage : Première commande exécutée après le lancement du conteneur. Elle démarre généralement un serveur HTTP pour recevoir les requêtes d'inférence.

Le flux de travail de déploiement est le suivant :

1. Téléchargez l'image spécifiée et créez un conteneur.

2. Montez le stockage externe sur les chemins spécifiés dans le conteneur.

3. Exécutez la commande de démarrage à l'intérieur du conteneur.

4. Une fois la commande exécutée avec succès, écoutez le port spécifié et traitez les requêtes d'inférence.

Méthodes de déploiement

La console EAS propose trois méthodes de déploiement. Toutes soumettent la même configuration de service JSON et ne diffèrent que par la manière dont la configuration est créée.

Les configurations JSON peuvent également être déployées via client eascmd ou SDK PAI Python.

PAI-EAS ne prend pas en charge le déploiement de services avec Docker Compose. Docker Compose cible les scénarios Infrastructure as a Service (IaaS) tels qu'ECS. PAI-EAS est une offre Platform as a Service (PaaS) pour les services de modèles et gère les instances de conteneur via des configurations JSON ou des formulaires de console. Utilisez l'une des trois méthodes de déploiement décrites ci-dessus. Pour l'orchestration complexe de plusieurs conteneurs, utilisez Container Service for Kubernetes (ACK).

Configurations clés

Outre le choix d'une méthode de déploiement, vous configurez généralement les éléments suivants lors du déploiement d'un service :

• Ressources de calcul : sélectionnez un type de ressource, configurez le disque système, etc. Pour plus de détails, consultez la rubrique Configuration des ressources.

• Montage du stockage : montez les fichiers de modèle et les données depuis un stockage externe tel qu'OSS et NAS vers le conteneur de service. Pour plus de détails, consultez la rubrique Montages de stockage.

• Accès réseau : configurez l'environnement réseau du service, tel que l'accès VPC et au réseau public. Pour plus de détails, consultez la rubrique Accès EAS aux ressources publiques et privées.

• Paramètres dynamiques : configurez des paires clé-valeur pouvant être mises à jour au moment de l'exécution pour ajuster le comportement d'inférence sans redémarrer le service. Pour plus de détails, consultez la rubrique Configurer des paramètres dynamiques.

FAQ