Platform For AI:Déployer un service haute performance avec un découplage frontend/backend

Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Choisissez ensuite l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).

Cliquez sur Deploy Service. Dans la section Inference Service, cliquez sur Custom Deployment dans la section Custom Model Deployment.

Sur la page Custom Deployment, configurez les paramètres clés suivants. Une fois la configuration terminée, cliquez sur Deploy.

• Deployment Method : sélectionnez Image-based Deployment.

• Image Configuration : dans la liste Alibaba Cloud Image, sélectionnez cosyvoice-backend > cosyvoice-backend:0.2.0-pytorch2.3.1-gpu-py310-cu128-ubuntu22,04.

  Remarque

  Les versions d'images sont mises à jour fréquemment. Les versions disponibles dans la console font foi. Si plusieurs versions sont répertoriées, sélectionnez la plus récente.

• Resource Type : cette solution utilise les Public Resources.

• Number of Replicas : configurez selon vos besoins. Une instance backend peut gérer jusqu'à huit instances frontend. Cette solution définit la valeur sur 1.

• Command to Run, Port Number : après la sélection d'une image, le système configure automatiquement la commande et le numéro de port. Ne les modifiez pas.

• Deployment : vous devez sélectionner un type d'instance GPU disposant d'au moins 16 Go de mémoire GPU. Parmi les exemples figurent ecs.gn8is.4xlarge et ml.gu8is.c16m128.1-gu60.

• Configure a system disk : nous recommandons un disque système de 100 GiB. Cette taille permet d'éviter les échecs de déploiement dus à un espace de stockage insuffisant pour le fichier image volumineux. Si vous ne définissez pas ce paramètre, PAI-EAS alloue par défaut 100 GiB pour ce scénario.

• VPC configuration : sélectionnez un VPC, un vSwitch et un groupe de sécurité. Assurez-vous que l'instance frontend que vous créerez ultérieurement se trouve dans le même VPC. Pour plus d'informations, consultez les rubriques Créer et gérer des VPC et Gérer les groupes de sécurité.

Une fois le déploiement terminé (environ 3 minutes), récupérez le point de terminaison VPC et le jeton (Token). Vous en aurez besoin pour connecter l'instance frontend.

1. Cliquez sur le nom du service cible. Dans la section Basic Information, cliquez sur View Endpoint Information.

2. Dans le panneau Invocation Information, accédez à l'onglet Shared Gateway. Notez le VPC endpoint et le Token. Vous pouvez cliquer sur l'icône en forme d'œil pour afficher le jeton et sur l'icône de copie pour le copier.

   Remarque

   Lors de la connexion d'une instance frontend à une instance backend, n'utilisez pas le point de terminaison public. L'utilisation du point de terminaison public est plus lente et engendre des frais supplémentaires.

Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Choisissez ensuite l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).

Cliquez sur Deploy Service. Dans la section Inference Service, cliquez sur Custom Deployment dans la section Custom Model Deployment.

Sur la page Custom Deployment, configurez les paramètres clés suivants. Une fois la configuration terminée, cliquez sur Deploy.

• Deployment Method : sélectionnez Image-based Deployment et cochez la case Enable Web App.

• Image Configuration : dans la liste Alibaba Cloud Image, sélectionnez cosyvoice-frontend > cosyvoice-frontend:0.2.0-pytorch2.3.1-gpu-py310-cu128-ubuntu22,04 .

  Remarque

  Les versions d'images sont mises à jour fréquemment. Les versions disponibles dans la console font foi. Si plusieurs versions sont répertoriées, sélectionnez la plus récente.

• Storage Mount : pour déployer plusieurs instances frontend, vous devez monter un stockage externe afin de stocker les fichiers audio téléchargés ou les modèles affinés. L'exemple suivant utilise le service Standard NAS :

  • File System : sélectionnez un système de fichiers existant. Si aucun n'est disponible, cliquez sur Create NAS File System.

  • Mount Target : sélectionnez une cible de montage. Si aucune n'est disponible, cliquez sur Create a mount point.

  • File System Path : saisissez un sous-chemin au sein du système de fichiers, par exemple /.

  • Mount Path : spécifiez le chemin de montage au sein de l'instance de service, par exemple /mnt/data/.

  Remarque

  Si une stabilité élevée n'est pas requise, comme dans un environnement de test, vous pouvez ignorer le montage du stockage externe pour réduire les coûts.

• Command to Run : après la sélection d'une image, le système fournit automatiquement une commande. Mettez à jour les paramètres suivants dans la commande : /bin/bash /tmp/entry.sh --action=start_frontend --port=9000 --data_dir=/mnt/data/ --model_dir=/nasmnt/models/pretrained_models/CosyVoice2-0.5B/ --ttsfrd_dir=/nasmnt/models/pretrained_models/CosyVoice-ttsfrd/ --llm_api_key=token --llm_base_url=http://cosyvoice-server-ip:8000/v1

  • --workers : définit le nombre de workers pour le service frontend. Si non spécifié, le système alloue les workers en fonction des spécifications de ressources sélectionnées. Pour accéder à la page WebUI depuis un navigateur, vous devez explicitement définir --workers sur 1.

  • --port : numéro de port du service. Il doit correspondre au numéro de port configuré pour le service.

  • --data_dir : répertoire de montage. Il doit correspondre au Mount path défini dans les paramètres de montage du stockage.

  • --model_dir : chemin de chargement du modèle. Si vous utilisez un stockage externe pour les fichiers de modèle affiné, ajustez ce chemin en fonction de votre chemin de montage.

  • --llm_api_key : définissez cette valeur sur le jeton (Token) du service CosyVoice-Backend. Par exemple, Yjk4YjdlNjM1YW*****GIxZDRmZmNhMjRjZmQwMz*****.

  • --llm_base_url : définissez cette valeur sur le point de terminaison VPC du service CosyVoice-Backend, et ajoutez /v1 à la fin. Par exemple, http://11577032709*****.vpc.cn-shanghai.pai-eas.aliyuncs.com/api/predict/cosyvoice_backend1/v1.

• Resource Type : cette solution utilise les Public Resources.

• Deployment : vous devez sélectionner un type d'instance GPU disposant d'au moins 16 Go de mémoire GPU. Parmi les exemples figurent ecs.gn8is.4xlarge et ml.gu8is.c16m128.1-gu60.

• Number of Replicas : configurez ce paramètre en fonction de la méthode d'appel :

  • Pour les appels via WebUI : définissez la valeur sur 1.

  • Pour les appels API : une seule instance backend prend en charge jusqu'à huit instances frontend. Si vous disposez d'une instance backend, le nombre d'instances frontend peut varier de 1 à 8.

• Configure a system disk : nous recommandons un disque système de 100 GiB. Cette taille permet d'éviter les échecs de déploiement dus à un espace de stockage insuffisant pour le fichier image volumineux. Si vous ne définissez pas ce paramètre, PAI-EAS alloue par défaut 100 GiB pour ce scénario.

• VPC configuration : si vous avez configuré un système de fichiers NAS, le VPC est configuré automatiquement. Il vous suffit de sélectionner un groupe de sécurité. Assurez-vous qu'il se trouve dans le même VPC que l'instance backend.