O modelo de destilação de texto para vídeo constrói conjuntos de dados SFT pareados de texto e vídeo em grande escala e com alta qualidade. A partir de um pequeno conjunto de prompts iniciais, executa um pipeline de aumento de prompts, geração de vídeos e pontuação por quadro para produzir dados de treinamento para o ajuste fino de modelos de texto para vídeo.
Visão geral do modelo
Este modelo gera dados de treinamento de texto para vídeo em grande escala. A partir de um pequeno conjunto de prompts iniciais, aumenta e diversifica os prompts, alinha-os ao formato de instrução do modelo de geração, usa um modelo de texto para vídeo para gerar vídeos em lote e, em seguida, atribui pontuação aos vídeos gerados com base na consistência do prompt, na qualidade visual e na consistência do sujeito. O processo filtra amostras de baixa qualidade e resulta em um conjunto de dados SFT de texto para vídeo pronto para ajuste fino.
Este modelo oferece suporte apenas à criação em estágio único: construção de dados de destilação. Não inclui um estágio de treinamento do modelo aluno.
O pipeline de destilação de texto para vídeo consiste nas seguintes etapas:
|
Etapa |
Nome |
Descrição |
|
1 |
Aumento de dados |
Aumenta um pequeno conjunto de prompts iniciais em um conjunto maior e mais diversificado de prompts de vídeo e, em seguida, balanceia e filtra os resultados. |
|
2 |
Filtragem de dados |
Filtra e balanceia os prompts aumentados para reter amostras de alta qualidade. |
|
3 |
Alinhamento de instruções |
Alinha os prompts ao modelo de instrução preferido pelo modelo de geração. |
|
4 |
Geração pelo professor |
Um modelo de texto para vídeo gera vídeos em lote a partir dos prompts alinhados. |
|
5 |
Pontuação de qualidade |
Avalia os vídeos gerados por amostragem de quadros em dimensões como consistência do prompt, qualidade visual e consistência do sujeito. |
|
6 |
Filtragem de qualidade |
Filtra amostras de baixa qualidade com base em um limiar. A saída é um conjunto de dados SFT de texto para vídeo pronto para ajuste fino. |
Procedimento
Acesse o PAI console. No painel de navegação à esquerda, escolha Model Application > Model Distillation (ModelDistill).
Clique em Create task para acessar a aba Distillation Template ou navegue diretamente para a aba Distillation Template.
Selecione Text-to-Video Distillation, clique em Use Template e acesse a página Create Distillation Task. Configure os principais parâmetros descritos abaixo e mantenha os valores padrão para as outras configurações.
-
Configure a Basic Configuration:
Task name: Preenchido automaticamente pelo sistema.
-
Output Path: Especifique um caminho do OSS ao qual você tenha permissão de acesso, como
oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/t2v-distill/.Notacrie um diretório de saída separado para cada tarefa de destilação para evitar que os arquivos sejam sobrescritos. O bucket do OSS deve estar na mesma região do service do PAI.
-
Clique em Next para acessar Build distillation data:
Teacher model: A destilação de texto para vídeo requer três modelos professor (o modelo de construção de instruções é obrigatório; o modelo de texto para vídeo e o modelo avaliador são opcionais). Consulte a seção Configuration parameters abaixo para mais detalhes.
Dataset: Selecione um diretório ou arquivo do OSS ao qual você tenha permissão de acesso. Baixe e use os dados de amostra.
-
Distillation Configuration: Os valores padrão são preenchidos automaticamente. Modifique-os conforme necessário.
generation.resolution: Resolução do vídeo. Padrão: 720P. Valores suportados: 480P, 720P, 1080P. Resoluções mais altas aumentam o custo de geração.
generation.duration: Duração do vídeo em segundos. Padrão: 5. Intervalo válido: [3, 15].
Compute Resource: Defina o Resource Type como General Computing, defina o Source como Public Resources e selecione um Instance Type adequado no Job Resource, como
ecs.c6.large.
Clique em Create e, em seguida, clique em OK na caixa de diálogo de confirmação de faturamento. A página redireciona para a página de configuração básica dos detalhes da tarefa, para acompanhar o status da tarefa.
Parâmetros de configuração
Esta seção descreve os principais parâmetros de configuração específicos do modelo de destilação de texto para vídeo. As configurações básica e de recursos são iguais às da destilação geral. Esta seção lista apenas as diferenças de parâmetros específicos do modelo.
Configuração básica
A configuração básica inclui o nome da tarefa e o caminho de saída. O caminho de saída é o diretório raiz para todos os artefatos da tarefa, incluindo o conjunto de dados de destilação. Não é necessário especificar um caminho de saída separado para o conjunto de dados.
Construção de dados de destilação
Modelo professor
O modelo de destilação de texto para vídeo requer vários modelos professor, cada um com uma função diferente no pipeline:
|
Nº |
Função do modelo |
Descrição |
|
1 |
Instruction-Building Model (obrigatório) |
Um modelo de linguagem de texto ou visão responsável pelo aumento de prompts e pelo alinhamento de instruções. Escolha um modelo com forte capacidade de seguir instruções e de descrição. |
|
2 |
Text-to-Video Model (obrigatório) |
O modelo professor que gera os vídeos. A geração de vídeo é lenta — um único vídeo pode levar até 30 minutos. |
|
3 |
Judge Model (opcional) |
Um modelo de linguagem de visão que avalia os vídeos gerados por amostragem de quadros. Se não for preenchido, o modelo de construção de instruções é reutilizado. No entanto, modelos apenas de texto geralmente não conseguem analisar quadros de vídeo — especifique um modelo separado. |
Conjunto de dados
Selecione um diretório ou arquivo de entrada. Os requisitos de formato de dados são os seguintes:
Formato: JSONL, um prompt inicial de vídeo por linha.
O campo do prompt deve ser nomeado como
prompt.Apenas prompts de texto são suportados. Não inclua campos de imagem.
Dados de amostra:
{"id": "t2v_001", "prompt": "A cat walks slowly across the lunar surface, kicking up fine dust, static camera"}
{"id": "t2v_002", "prompt": "Slow push-in on a rainy cyberpunk street at night, neon signs flickering in the reflections"}Configuração de destilação
A configuração de destilação é fornecida no formato yaml com os padrões recomendados pela equipe de algoritmos. Ajuste os parâmetros conforme necessário. A tabela a seguir descreve os principais parâmetros.
Seção | Descrição |
backend | Parâmetros de solicitação para o modelo de construção de instruções.
|
t2v_backend | Parâmetros de solicitação para o modelo de texto para vídeo.
|
generation |
|
eval | A avaliação de vídeo usa um VLM (modelo de linguagem de visão) para atribuir pontuação por amostragem de quadros.
|
pipeline |
|