CosyVoice 2.0 est un modèle de synthèse vocale haute fidélité développé par Alibaba DAMO Academy. Il prend en charge le clonage vocal, y compris le clonage interlangues, à partir d'aussi peu que 30 secondes d'audio de référence. Le modèle convient parfaitement à des scénarios tels que les conversations de service client, la narration de livres audio et le doublage de vidéos courtes. Alibaba Cloud PAI-EAS met ce modèle à disposition via une interface WebUI, vous permettant de déployer rapidement un service d'inférence vocale dans le cloud.
Contexte
CosyVoice 2.0 est conçu pour produire des voix IA naturelles, chaleureuses et expressives sur le plan émotionnel. Entraîné sur de vastes corpus de parole avec une modélisation raffinée de la prosodie, il offre une expressivité vocale comparable à celle de présentateurs humains professionnels. Qu'il s'agisse d'une salutation attentionnée dans le cadre du service client ou d'une lecture expressive pour un livre audio, CosyVoice 2.0 génère une parole naturelle et chaleureuse. Il dépasse la sensation froide et mécanique des synthèses audio traditionnelles pour offrir une expérience d'écoute plus engageante.
CosyVoice 2.0 propose les fonctionnalités suivantes :
Voix naturelle et chaleureuse : Va au-delà de l'aspect robotique en imitant le rythme, l'émotion et la prosodie de la parole humaine.
Prise en charge multi-scénarios : Prend en charge les conversations de service client, la narration de livres audio, le doublage de vidéos courtes, les recommandations vocales pour le e-commerce, etc.
Haute efficacité et faible latence : Déploiement cloud léger pour une génération de parole rapide et fluide.
Contrôle élevé : Prend en charge l'ajustement du ton, le contrôle des émotions et la personnalisation du caractère vocal pour créer une voix de marque distinctive.
Le service WebUI CosyVoice 2.0 décrit dans cette rubrique est destiné uniquement à des fins d'essai. Vous pouvez également utiliser la version haute concurrence de CosyVoice 2.0 pour une inférence haute performance. Pour plus d'informations, consultez Déployer un service haute performance avec un frontend et un backend découplés.
Limites
Le mode d'inférence vocale pré-entraîné n'est pas pris en charge dans cette version.
Facturation
Lorsque vous déployez un service CosyVoice 2.0, vous êtes facturé uniquement pour l'utilisation des ressources et le disque système. Si vous n'avez plus besoin du service, cliquez sur Stop dans la colonne Actions du service cible afin d'éviter des coûts inutiles. Pour plus de détails sur la facturation, consultez Facturation d'Elastic Algorithm Service (EAS).
Déployer un service CosyVoice 2.0
Méthode 1 : Déploiement basé sur un scénario (recommandé)
Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).
Dans l'onglet Inference Service, cliquez sur Deploy Service. Dans la zone Scenario-based Model Deployment, cliquez sur Deploy CosyVoice for AI Speech Generation.
-
Configurez les paramètres clés suivants :
Paramètre
Description
Basic Information
Version selection
Sélectionnez Standard Edition.
Environment Information
Image Version
Sélectionnez une image correspondant à votre type de ressource. Cette rubrique utilise
cosyvoice-webui:3.0.6-pytorch2.3.1-gpu-py310-cu128-ubuntu22,04.RemarqueLes versions d'image sont mises à jour fréquemment. Sélectionnez la dernière version lors du déploiement.
Command
Après avoir sélectionné une version d'image, le système configure automatiquement la commande d'exécution suivante :
/bin/bash /tmp/entry.sh --action=start_webui --port=9000 --data_dir=/mnt/data/ --model_dir=/nasmnt/models/pretrained_models/Fun-CosyVoice3-0,5B/ --ttsfrd_dir=/nasmnt/models/pretrained_models/CosyVoice-ttsfrd/ --workers 1. Les paramètres sont décrits ci-dessous :-
--port : Le port du service. Il doit correspondre au port configuré pour le service EAS.
-
--data_dir : Le répertoire de montage utilisé pour stocker l'audio de référence et les modèles. La valeur par défaut est
/mnt/data. Si vous configurez un montage de stockage, ce chemin doit correspondre au chemin de montage spécifié dans Storage Mount. -
--model_dir : Le répertoire à partir duquel le modèle est chargé.
Le paramètre suivant est également pris en charge :
-
--gpu_memory_utilization : Définit la limite d'utilisation de la mémoire GPU.
Port Number
Après avoir sélectionné une version d'image, le système configure automatiquement le port
9000. Vous n'avez pas besoin de le modifier.Resource Information
Resource Type
Cette solution utilise Public Resources. Vous pouvez également sélectionner d'autres types de ressources selon vos besoins.
Instances
Définissez cette valeur sur 1.
Deployment Resources
Pour la spécification des ressources, vous devez sélectionner un type d'instance GPU, tel que
ecs.gn8is.4xlargeouml.gu8is.c16m128,1-gu60.Configure a system disk
Étant donné que le fichier image est volumineux, nous vous recommandons de définir le disque système sur 100 GiB pour éviter les échecs de déploiement dus à un espace de stockage insuffisant.
Si vous ne spécifiez pas de valeur, le backend EAS attribue par défaut 100 GiB de stockage pour CosyVoice 2.0.
Network Information
VPC
Configurez un VPC si vous devez accéder au service via une connexion directe VPC ou configurer l'accès au réseau public pour le service. Dans les listes déroulantes, sélectionnez un VPC, un vSwitch et un groupe de sécurité. Pour plus d'informations sur la création de ces ressources, consultez Créer et gérer un VPC et Gérer les groupes de sécurité.
-
-
Une fois les paramètres configurés, cliquez sur Deploy.
Le téléchargement de l'image et le déploiement prennent environ 5 à 10 minutes. Lorsque le Service Status passe à Running, le service est déployé avec succès.
Méthode 2 : Déploiement personnalisé
Connectez-vous à la console PAI. Sélectionnez une région en haut de la page. Ensuite, sélectionnez l'espace de travail souhaité et cliquez sur Enter Elastic Algorithm Service (EAS).
Cliquez sur Deploy Service. Dans la section Inference Service, cliquez sur Custom Deployment dans la section Custom Model Deployment.
-
Sur la page Custom Deployment, configurez les paramètres clés suivants. Pour plus d'informations sur les autres paramètres, consultez Déploiement personnalisé.
Paramètre
Description
Environment Information
Deployment Method
Sélectionnez Image-based Deployment et activez Enable Web App.
Image Configuration
Dans la liste Alibaba Cloud Image, sélectionnez
cosyvoice-webui:3.0.6-pytorch2.3.1-gpu-py310-cu128-ubuntu22,04.RemarqueLes versions d'image sont mises à jour fréquemment. Sélectionnez la dernière version lors du déploiement.
Command
Après avoir sélectionné une image, le système configure automatiquement la commande d'exécution suivante :
/bin/bash /tmp/entry.sh --action=start_webui --port=9000 --data_dir=/mnt/data/ --model_dir=/nasmnt/models/pretrained_models/Fun-CosyVoice3-0,5B/ --ttsfrd_dir=/nasmnt/models/pretrained_models/CosyVoice-ttsfrd/ --workers=1. Les paramètres sont décrits ci-dessous :-
--port : Le port du service. Il doit correspondre au port configuré pour le service EAS.
-
--data_dir : Le répertoire de montage utilisé pour stocker l'audio de référence et les modèles. La valeur par défaut est
/mnt/data. Si vous configurez un montage de stockage, ce chemin doit correspondre au chemin de montage spécifié dans Storage Mount. -
--model_dir : Le répertoire à partir duquel le modèle est chargé.
-
--workers : Définit le nombre de workers pour le service frontend intégré. Si non spécifié, le système configure automatiquement la valeur en fonction de la spécification des ressources. Pour accéder à WebUI depuis un navigateur, vous devez définir
--workers 1.
Le paramètre suivant est également pris en charge :
-
--gpu_memory_utilization : Définit la limite d'utilisation de la mémoire GPU.
Port Number
Après avoir sélectionné une image, le système configure automatiquement le port
9000. Vous n'avez pas besoin de le modifier.Resource Information
Resource Type
Cette solution utilise Public Resources. Vous pouvez également sélectionner d'autres types de ressources selon vos besoins.
Instances
Définissez cette valeur sur 1.
Deployment Resources
Pour la spécification des ressources, vous devez sélectionner un type d'instance GPU, tel que
ecs.gn8is.4xlargeouml.gu8is.c16m128,1-gu60.Configure a system disk
Étant donné que le fichier image est volumineux, nous vous recommandons de définir le disque système sur 100 GiB pour éviter les échecs de déploiement dus à un espace de stockage insuffisant.
Si vous ne spécifiez pas de valeur, le backend EAS attribue par défaut 100 GiB de stockage pour CosyVoice 2.0.
Network Information
VPC
Configurez un VPC si vous devez accéder au service via une connexion directe VPC ou configurer l'accès au réseau public pour le service. Dans les listes déroulantes, sélectionnez un VPC, un vSwitch et un groupe de sécurité. Pour plus d'informations sur la création de ces ressources, consultez Créer et gérer un VPC et Gérer les groupes de sécurité.
-
-
Une fois les paramètres configurés, cliquez sur Deploy.
Le téléchargement de l'image et le déploiement prennent environ 5 à 10 minutes. Lorsque le Service Status passe à Running, le service est déployé avec succès.
Générer de l'audio à l'aide du service d'inférence
Appeler le service via l'API
Pour générer de l'audio en appelant le service via l'API, consultez API CosyVoice 2.0.