O CosyVoice 2.0 é um modelo de síntese de fala de alta fidelidade desenvolvido pela Alibaba DAMO Academy. Ele oferece suporte à clonagem de voz, incluindo clonagem multilíngue, com apenas 30 segundos de áudio de prompt. O modelo é ideal para cenários como conversas de atendimento ao cliente, narração de audiolivros e locução de vídeos curtos. O Alibaba Cloud PAI-EAS disponibiliza o modelo por meio de uma WebUI, permitindo implantar rapidamente um service de inferência de fala baseado em cloud.
Contexto
O CosyVoice 2.0 foi projetado para produzir vozes de IA naturais, acolhedoras e emocionalmente expressivas. Treinado em grandes corpora de fala com modelagem refinada de prosódia, ele oferece uma expressividade vocal comparável à de apresentadores humanos profissionais. Seja para uma saudação atenciosa no atendimento ao cliente ou para uma leitura expressiva em um audiolivro, o CosyVoice 2.0 gera uma fala natural e acolhedora. Ele supera a sensação fria e mecânica do áudio sintético, proporcionando uma experiência auditiva muito mais envolvente.
O CosyVoice 2.0 oferece os seguintes recursos:
Voz natural e acolhedora: Supera a sensação robótica ao emular o ritmo, a emoção e a prosódia da fala humana.
Suporte a múltiplos cenários: Atende a conversas de atendimento ao cliente, narração de audiolivros, locução de vídeos curtos, recomendações de voz para e-commerce, entre outros.
Alta eficiência e baixa latência: Implantação leve em cloud para geração de fala rápida e fluente.
Alta controlabilidade: Permite ajuste de tom, controle de emoção e personalização das características da voz para criar uma identidade vocal exclusiva para a marca.
O service WebUI do CosyVoice 2.0 descrito neste tópico destina-se apenas a testes. Para inferência de alto desempenho, utilize a versão de alta concorrência do CosyVoice 2.0. Para mais informações, consulte Deploy a high-performance service with a decoupled frontend and backend.
Limites
Esta versão não oferece suporte ao modo de inferência de voz pré-treinada.
Faturamento
Ao implantar um service do CosyVoice 2.0, a cobrança refere-se apenas ao uso de recursos e ao disco do sistema. Caso não precise mais do service, clique em Stop na coluna Actions do service desejado para evitar custos desnecessários. Para mais detalhes sobre faturamento, consulte Elastic Algorithm Service (EAS) billing.
Implantar um service do CosyVoice 2.0
Método 1: Implantação baseada em cenário (recomendado)
Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
Na aba Inference Service, clique em Deploy Service. Na área Scenario-based Model Deployment, clique em Deploy CosyVoice for AI Speech Generation.
-
Configure os seguintes parâmetros principais:
Parameter
Description
Basic Information
Version selection
Selecione Standard Edition.
Environment Information
Image Version
Selecione uma imagem compatível com o seu tipo de recurso. Este tópico utiliza
cosyvoice-webui:3.0.6-pytorch2.3.1-gpu-py310-cu128-ubuntu22.04.NotaAs versões de imagem são atualizadas frequentemente. Selecione a versão mais recente durante a implantação.
Command
Após selecionar uma versão de imagem, o sistema configura automaticamente o seguinte comando de execução:
/bin/bash /tmp/entry.sh --action=start_webui --port=9000 --data_dir=/mnt/data/ --model_dir=/nasmnt/models/pretrained_models/Fun-CosyVoice3-0.5B/ --ttsfrd_dir=/nasmnt/models/pretrained_models/CosyVoice-ttsfrd/ --workers 1. Os parâmetros são descritos abaixo:-
--port: A porta do service. Deve corresponder à porta configurada para o service EAS.
-
--data_dir: O diretório de montagem usado para armazenar áudios de referência e modelos. O padrão é
/mnt/data. Se você configurar uma montagem de armazenamento, este caminho deve corresponder ao caminho especificado em Storage Mount. -
--model_dir: O diretório de onde o modelo é carregado.
O seguinte parâmetro também é suportado:
-
--gpu_memory_utilization: Define o limite de utilização de memória da gpu.
Port Number
Após selecionar uma versão de imagem, o sistema configura automaticamente a porta
9000. Não é necessário alterá-la.Resource Information
Resource Type
Esta solução utiliza Public Resources. Você também pode selecionar outros tipos de recurso conforme necessário.
Instances
Defina este valor como 1.
Deployment Resources
Para a especificação de recurso, selecione um tipo de instância gpu, como
ecs.gn8is.4xlargeouml.gu8is.c16m128,1-gu60.Configure a system disk
Como o arquivo de imagem é grande, recomendamos definir o disco do sistema como 100 GiB para evitar falhas na implantação devido a armazenamento insuficiente.
Se nenhum valor for especificado, o backend do EAS definirá automaticamente 100 GiB de armazenamento para o CosyVoice 2.0.
Network Information
VPC
Configure uma VPC se precisar acessar o service por meio de uma conexão direta VPC ou configure public network access para o service. Nas listas suspensas, selecione uma VPC, um vSwitch e um grupo de segurança. Para obter informações sobre como criar esses recursos, consulte Create and manage a VPC e Manage security groups.
-
-
Após configurar os parâmetros, clique em Deploy.
O download da imagem e a implantação levam aproximadamente de 5 a 10 minutos. Quando o Service Status mudar para Running, a implantação terá sido concluída com sucesso.
Método 2: Implantação personalizada
Faça login no PAI console. Selecione uma região na parte superior da página. Em seguida, selecione o workspace desejado e clique em Enter Elastic Algorithm Service (EAS).
Clique em Deploy Service. Na seção Inference Service, clique em Custom Deployment na área Custom Model Deployment.
-
Na página Custom Deployment, configure os seguintes parâmetros principais. Para obter informações sobre outros parâmetros, consulte Custom deployment.
Parameter
Description
Environment Information
Deployment Method
Selecione Image-based Deployment e marque Enable Web App.
Image Configuration
Na lista Alibaba Cloud Image, selecione
cosyvoice-webui:3.0.6-pytorch2.3.1-gpu-py310-cu128-ubuntu22.04.NotaAs versões de imagem são atualizadas frequentemente. Selecione a versão mais recente durante a implantação.
Command
Após selecionar uma imagem, o sistema configura automaticamente o seguinte comando de execução:
/bin/bash /tmp/entry.sh --action=start_webui --port=9000 --data_dir=/mnt/data/ --model_dir=/nasmnt/models/pretrained_models/Fun-CosyVoice3-0.5B/ --ttsfrd_dir=/nasmnt/models/pretrained_models/CosyVoice-ttsfrd/ --workers=1. Os parâmetros são descritos abaixo:-
--port: A porta do service. Deve corresponder à porta configurada para o service EAS.
-
--data_dir: O diretório de montagem usado para armazenar áudios de referência e modelos. O padrão é
/mnt/data. Se você configurar uma montagem de armazenamento, este caminho deve corresponder ao caminho especificado em Storage Mount. -
--model_dir: O diretório de onde o modelo é carregado.
-
--workers: Define o número de workers para o service frontend integrado. Se não for especificado, o sistema configurará automaticamente o valor com base na especificação do recurso. Para acessar a WebUI pelo navegador, defina
--workers 1.
O seguinte parâmetro também é suportado:
-
--gpu_memory_utilization: Define o limite de utilização de memória da gpu.
Port Number
Após selecionar uma imagem, o sistema configura automaticamente a porta
9000. Não é necessário alterá-la.Resource Information
Resource Type
Esta solução utiliza Public Resources. Você também pode selecionar outros tipos de recurso conforme necessário.
Instances
Defina este valor como 1.
Deployment Resources
Para a especificação de recurso, selecione um tipo de instância gpu, como
ecs.gn8is.4xlargeouml.gu8is.c16m128,1-gu60.Configure a system disk
Como o arquivo de imagem é grande, recomendamos definir o disco do sistema como 100 GiB para evitar falhas na implantação devido a armazenamento insuficiente.
Se nenhum valor for especificado, o backend do EAS definirá automaticamente 100 GiB de armazenamento para o CosyVoice 2.0.
Network Information
VPC
Configure uma VPC se precisar acessar o service por meio de uma conexão direta VPC ou configure public network access para o service. Nas listas suspensas, selecione uma VPC, um vSwitch e um grupo de segurança. Para obter informações sobre como criar esses recursos, consulte Create and manage a VPC e Manage security groups.
-
-
Após configurar os parâmetros, clique em Deploy.
O download da imagem e a implantação levam aproximadamente de 5 a 10 minutos. Quando o Service Status mudar para Running, a implantação terá sido concluída com sucesso.
Gerar áudio usando o service de inferência
Chamar o service por meio da API
Para gerar áudio chamando o service por meio da API, consulte CosyVoice 2.0 API.