Alibaba Cloud Model Studio:Imagem para vídeo de transmissão - LivePortrait

O LivePortrait gera vídeos dinâmicos de retratos a partir de imagens estáticas e arquivos de áudio com voz humana. A solução inclui dois modelos: LivePortrait-detect (valida a conformidade da imagem) e LivePortrait (gera os vídeos).

Visão geral do modelo

Introdução ao modelo

• O LivePortrait-detect verifica se as imagens de entrada atendem aos requisitos do LivePortrait.
• O LivePortrait cria vídeos dinâmicos de retratos combinando imagens estáticas e arquivos de áudio com voz humana.

Demonstração de desempenho

Entradas: Imagem de retrato humano + Arquivo de áudio com voz humana	Saídas: Vídeo dinâmico de retrato humano
Retrato humano: Áudio com voz humana: Consulte o vídeo à direita	Vídeo humano:
Retrato humano: Áudio com voz humana: Consulte o vídeo à direita	Vídeo humano:
Retrato humano: Áudio com voz humana: Consulte o vídeo à direita	Vídeo humano:

Faturamento e limitação de taxa

Modelo	Preço unitário	Limite de QPS para API de envio de tarefas	Número de tarefas simultâneas
liveportrait-detect	Chamada de modelo, pagamento conforme o uso: $0,000574/imagem	5	Sem limite para APIs síncronas
liveportrait	Chamada de modelo, pagamento conforme o uso: $0,002868/segundo		1 (A qualquer momento, apenas um job está em execução. Os demais jobs na fila permanecem em espera.)

Pré-requisitos

Ative o Alibaba Cloud Model Studio e obtenha uma chave de API: Obter sua chave de API.

Chamada de modelo

Os modelos aceitam chamadas no modelo de pagamento conforme o uso. Para invocá-los:

1. Invoque o LivePortrait-detect para validar se a imagem de retrato atende aos requisitos. Para mais informações, consulte Detecção de imagem do LivePortrait.
2. Em seguida, invoque o LivePortrait com a imagem aprovada na detecção e um arquivo de áudio (com voz humana clara) para gerar o vídeo dinâmico do retrato. Para mais detalhes, consulte Geração de vídeo do LivePortrait.