Destilação de raciocínio chain-of-thought - Platform For AI: Central de Documentação do Alibaba Cloud

O modelo de destilação de raciocínio chain-of-thought (CoT) gera rastros completos de raciocínio a partir de um modelo professor, pontua-os com base na verbosidade do raciocínio e na dificuldade cognitiva e produz um conjunto de dados SFT balanceado por amostragem em faixas de dificuldade — pronto para ajuste fino do modelo aluno.

Visão geral

O modelo de destilação de raciocínio CoT foi projetado para domínios que exigem raciocínio em múltiplas etapas, como matemática, lógica e geração de código. Um modelo professor gera rastros completos de raciocínio para seu conjunto de perguntas. Cada rastro recebe pontuação de verbosidade do raciocínio (RV) e dificuldade cognitiva (CD). A amostragem por faixas de dificuldade cria um conjunto de dados com distribuição equilibrada, evitando concentração excessiva em questões fáceis. O resultado é um conjunto de dados SFT chain-of-thought pronto para ajuste fino do modelo aluno.

Nota

Este modelo oferece suporte a um fluxo de trabalho opcional de dois estágios: o Estágio 1 constrói os dados de destilação e o Estágio 2 realiza o treinamento do modelo aluno (opcional). Execute apenas o Estágio 1 ou ambos os estágios em sequência.

O pipeline de destilação de raciocínio CoT consiste nas seguintes etapas:

Etapa	Nome	Descrição
1	Gerar chain-of-thought	Chama o modelo professor para gerar uma resposta com rastro completo de raciocínio para cada pergunta de entrada.
2	Pontuação RV/CD	Avalia cada rastro gerado quanto à verbosidade do raciocínio (RV), dificuldade cognitiva (CD) e correção lógica para dar suporte à filtragem subsequente.
3	Mistura de faixas de dificuldade	Amostra por faixas de dificuldade cognitiva e ajusta a verbosidade do raciocínio para produzir um conjunto de dados balanceado, evitando excesso de questões fáceis.
4	Construir conjunto de dados SFT	Filtra amostras vazias e com tamanho excessivo, gerando um conjunto de dados de treinamento SFT padronizado.

Procedimento

Faça login no PAI console. No painel de navegação à esquerda, escolha Model Application> Model Distillation (ModelDistill).
Clique em Create task para acessar a aba Distillation Template ou navegue diretamente para a aba Distillation Template.
Selecione Chain-of-thought reasoning distillation e clique em Use Template para ir à página Create Distillation Task. Configure os parâmetros principais descritos abaixo e mantenha os valores padrão para as demais configurações.
Configure a Basic Configuration:
- Task name: Preenchido automaticamente pelo sistema.
- Output Path: Especifique um caminho do OSS ao qual você tenha permissão de acesso, por exemplo, oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/cot-distill/.
  
  Nota
  Crie um diretório de saída separado para cada tarefa de destilação a fim de evitar sobreposição de arquivos. O bucket do OSS deve estar na mesma região do service PAI.
Clique em Next para acessar a página Build distillation data:
- Teacher model: Em Teacher Model Source, selecione Token Service e escolha um modelo com forte capacidade de raciocínio, como qwen3.8-max.
- Dataset: Selecione um diretório ou arquivo do OSS ao qual você tenha permissão de acesso. Baixe e utilize o conjunto de dados de exemplo, se preferir.
- Distillation Configuration: Os valores padrão vêm pré-preenchidos. Modifique-os conforme necessário.
  - dataset.input_path: Se já houver um arquivo selecionado para o conjunto de dados, o nome de arquivo configurado aqui não terá efeito.
  - Para mais parâmetros específicos do modelo de destilação de raciocínio CoT, como dimensões de pontuação RV/CD e estratégias de mistura de faixas, consulte a seção Configuration parameters abaixo.
- Compute Resource: Defina Resource Type como General Computing, defina Source como Public Resources e selecione um Instance Type adequado em Job Resource, como ecs.c6.large.
Clique em Next: Student Model Training para continuar a configuração ou selecione Run Only Distillation Data Build para pular esta etapa:
- Student Model: Selecione Public Model e escolha um modelo menor na lista suspensa, como Qwen3-4B.
- Training Mode: Selecione LoRA.
Clique em Job Resource e, em seguida, clique em Create na caixa de diálogo de confirmação de faturamento. A página redireciona para a página de configuração básica dos detalhes da tarefa, onde é possível acompanhar o status da tarefa.

Parâmetros de configuração

Esta seção descreve os principais parâmetros específicos do modelo de destilação de raciocínio CoT. As configurações básicas e de recursos seguem o mesmo padrão da destilação geral. Apenas as diferenças de parâmetros específicos do modelo estão listadas aqui.

Configuração básica

A configuração básica inclui o nome da tarefa e o caminho de saída. O caminho de saída é o diretório raiz para todos os outputs da tarefa. O conjunto de dados de destilação também é gravado neste diretório — não é necessário especificar um caminho separado para o conjunto de dados.

Dados de destilação

Modelo professor

O modelo de destilação de raciocínio CoT requer apenas um modelo professor, responsável por gerar rastros completos de raciocínio para cada pergunta de entrada. Escolha um modelo com forte capacidade de raciocínio. A fonte do modelo professor suporta apenas PAI Token Service.

Conjunto de dados

Selecione um diretório ou arquivo de entrada. Os requisitos de formato de dados são:

Formato: JSONL, com uma pergunta por linha.
Cada entrada deve conter o campo instruction.
A anotação manual de respostas não é obrigatória. O modelo professor gera tanto o rastro de raciocínio quanto a resposta.

Dados de exemplo:

{"instruction": "Prove that the square root of 2 is an irrational number."}
{"instruction": "If 4 machines can produce 800 parts in 5 hours, how many parts can 6 machines produce in 8 hours?"}

Configuração de destilação

A configuração de destilação é fornecida em formato YAML com valores padrão recomendados pela equipe de algoritmos. Ajuste-os conforme necessário. A tabela a seguir descreve os principais parâmetros.

Seção de configuração	Descrição
dataset	`output_path` (padrão: `distillation_dataset.json`): Caminho de saída para os artefatos de destilação. Altere para outro arquivo .json em um caminho relativo ou coloque-o em um subdiretório (por exemplo, `sft_dataset.json` ou `output/sft_dataset.json`).
backend	`timeout` (padrão: `1200.0`): Tempo máximo de espera por requisição em segundos. Respostas que utilizam todo o orçamento de `max_tokens` (16384) exigem mais de 400 segundos, considerando um throughput observado de 38–58 tokens/s.
generation	`system_prompt` (padrão: "You are a helpful assistant. Think step by step and provide clear reasoning."): Prompt de sistema usado quando o modelo professor gera rastros de raciocínio. `temperature` (padrão: `0,7`): Controla a diversidade da geração. `max_tokens` (padrão: `16384`): Número máximo de tokens por geração.
sft	`skip_empty` (padrão: `true`): Ignora amostras vazias. `min_length` (padrão: `10`): Filtra amostras curtas demais. `max_length` (padrão: `131072`): Filtra amostras longas demais.
eval	Dimensões de pontuação (`metrics`): reasoning_verbosity, cognitive_difficulty e logical_correctness. Utiliza um arquivo dedicado de prompts de avaliação CoT (`configs/prompts/default_cot_eval_prompts.yaml`).
pipeline	Estágio de geração chain-of-thought (`cot_distill`): Usa o modelo de prompt de geração CoT. Estágio de pontuação RV/CD (`cot_rvcd_score`): `max_workers` tem como padrão 4 (threads de pontuação simultâneas). Estágio de mistura de faixas de dificuldade (`cot_mix_by_rv_cd`): `cd_bins` tem como padrão [0, 3, 6, 10] (limites das faixas de dificuldade cognitiva — 4 limites criam 3 faixas) `rv_target` tem como padrão matched (alinha a verbosidade do raciocínio à dificuldade cognitiva) `samples_per_bin` tem como padrão 0 (máximo de amostras por faixa de dificuldade; 0 significa sem limite; o limite padrão de saída é 300) `min_correctness` tem como padrão 1 (limiar mínimo de correção lógica)