Platform For AI:Instruction distillation

Visão geral do modelo

O modelo de destilação de instruções atende a cenários em que você possui um pequeno conjunto de instruções de alta qualidade e deseja aumentar o volume de dados de treinamento em larga escala. A partir de algumas instruções iniciais, o modelo as expande para gerar mais instruções no mesmo estilo. Em seguida, refina cada instrução para corresponder melhor às consultas reais dos usuários e gera respostas com o modelo professor. Por fim, pontua e filtra os resultados em quatro dimensões (informatividade, utilidade, generalização e correção) para produzir um conjunto de dados SFT pronto para ajuste fino.

O pipeline de destilação de instruções consiste nas seguintes etapas:

1. Expansão de instruções: usa as instruções iniciais como exemplos para gerar novas instruções do mesmo cenário e estilo, aumentando o volume de dados.

   Input example:
   {"instruction": "Create a two-day travel itinerary for Hangzhou."}
   Output examples:
   {"instruction": "Create a three-day travel itinerary for Beijing."}
   {"instruction": "I want to visit Shanghai. Recommend a travel itinerary."}

2. Refinamento de instruções: reescreve cada instrução para remover ambiguidades e redundâncias, aproximando-a da forma como os usuários reais formulam suas consultas.

   Input example:
   {"instruction": "Create a two-day travel itinerary for Hangzhou."}
   Output example:
   {"instruction": "Please create a two-day Hangzhou travel plan covering itinerary, food recommendations, accommodation, and best times to visit."}

3. Geração pelo professor: chama o modelo professor para gerar uma resposta para cada instrução. Essa resposta serve como saída-alvo para o aprendizado do modelo aluno.

4. Pontuação de qualidade: avalia cada par de perguntas e respostas em quatro dimensões (informatividade, utilidade, generalização e correção) para fornecer uma base para a filtragem.

5. Filtragem de qualidade: remove amostras de baixa qualidade com base nos limiares de pontuação de cada dimensão e retém a parte com as maiores pontuações.

6. Construção do conjunto de dados SFT: remove amostras vazias e muito longas, e gera um conjunto de dados de treinamento SFT padronizado.

Procedimento

1. Acesse o PAI console. No painel de navegação à esquerda, escolha Model Application > Model Distillation (ModelDistill).

2. Clique em Create task para acessar a aba Distillation Template ou acesse a aba Distillation Template diretamente.

3. Selecione Instruction Distillation, clique em Use Template e acesse a página Create Distillation Task. Configure os principais parâmetros descritos abaixo e mantenha os valores padrão para as outras configurações.

4. Preencha a Basic Configuration:

   • Task name: pré-preenchido pelo sistema.

   • Output Path: especifique um caminho do OSS ao qual você tenha acesso, como oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/instruct-distill/.

     Nota

     Crie um diretório de saída separado para cada tarefa de destilação para evitar a sobrescrita de arquivos. O bucket do OSS deve estar na mesma região do serviço do PAI.

5. Clique em Next para acessar a etapa Build distillation data:

   • Teacher model: Teacher Model Source — selecione Token Service e escolha um modelo na lista suspensa, como qwen3.8-max.

   • Dataset: selecione um diretório ou arquivo do OSS ao qual você tenha acesso. Baixe e use o conjunto de dados de amostra diretamente.

   • Distillation Configuration: valores padrão estão disponíveis. Modifique-os conforme necessário.

     • dataset.input_path: se você selecionou um arquivo específico para o conjunto de dados, o sistema ignora o nome do arquivo configurado aqui.

     • pipeline: no estágio de expansão de instruções (stage: instruction_expansion), num_output_sample determina o número total de itens de dados de destilação gerados. Ajuste esse valor conforme necessário.

     • Para obter mais parâmetros específicos do modelo de destilação de instruções (como temperature, max_workers e limiares de pontuação para cada estágio), consulte Configuration reference abaixo.

   • Configure Computing Resource: defina Resource Type como General Computing e Source como Public Resources. Em seguida, selecione um Instance Type adequado em Job Resource, como ecs.c6.large.

6. Clique em Next: Student Model Training para continuar a configuração (ou selecione Run Only Distillation Data Build):

   • Student model: selecione Public Model e escolha um modelo menor na lista suspensa, como Qwen3-4B.

   • Training Mode: selecione LoRA.

   • Compute Resource: defina Resource Type como General Computing e Source como Public Resources. Em seguida, selecione um Instance Type adequado em Job Resource.

7. Clique em Create e, em seguida, clique em OK no aviso de faturamento. A página redireciona para a página de detalhes da tarefa para acompanhar o status da tarefa.

Referência de configuração

Esta seção descreve os principais parâmetros de configuração específicos do modelo de destilação de instruções. A configuração básica e a configuração de recursos são iguais às da destilação de uso geral. Esta seção lista apenas as diferenças de parâmetros específicos do modelo.

{"instruction": "Explain what machine learning is."}
{"instruction": "How to prevent the common cold?"}