思维链推理蒸馏 - 人工智能平台 PAI

思维链推理蒸馏模板让教师模型为问题集生成完整推理过程，再按推理冗余度与认知难度打分、按难度分箱采样，产出可直接用于学生模型微调的思维链 SFT 数据集。

模板概述

思维链推理蒸馏模板适用于数学、逻辑、代码等需要多步推理的场景。让教师模型为您的问题集生成完整的推理过程，再按推理冗余度（Reasoning Verbosity, RV）与认知难度（Cognitive Difficulty, CD）打分，按难度分箱采样，使数据集在难易分布上更均衡，避免样本集中于简单题目，最终产出可直接用于学生模型微调的思维链 SFT 数据集。

说明

该模板支持可选两段式创建：第一段蒸馏数据构建，第二段学生模型训练（可选）。您可以选择仅运行蒸馏数据构建，也可以两段连续运行。

思维链推理蒸馏模板的流水线包含以下步骤：

步骤	名称	说明
1	生成思维链	调用教师模型为每个输入问题生成带完整推理过程的回答。
2	RV/CD 评分	对生成结果按推理冗余度（RV）、认知难度（CD）与逻辑正确性打分，为后续筛选提供依据。
3	难度分箱混合	按认知难度分箱采样并匹配推理冗余度，使数据集在难易分布上更均衡，避免样本集中于简单题目。
4	构建 SFT 数据集	过滤空样本与超长样本，输出规范的 SFT 训练数据集。

操作步骤

登录PAI控制台，在左侧导航栏选择模型应用> 模型蒸馏（ModelDistill）。
单击新建任务，跳转到蒸馏模板页签，或者直接进入蒸馏模板页签。
选择思维链推理蒸馏，单击使用模板，进入新建蒸馏任务页面。如下配置关键参数，其他保持默认。
进行基础配置：
- 任务名称：系统已自动填充。
- 输出路径：指定一个有权限访问的OSS路径，如oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/cot-distill/。
  说明
  请确保为每个蒸馏任务创建独立的输出目录，避免文件被覆盖。OSS Bucket需与PAI服务在同一地域。
单击下一步，进入蒸馏数据构建：
- 教师模型：教师模型来源选择Token服务，并下拉选择一个推理能力强的模型如qwen3.8-max。
- 数据集：选择一个有权限访问的OSS目录或文件。可直接下载示例使用。
- 蒸馏配置：已提供了默认配置，根据实际需要修改。
  - dataset.input_path：如果数据集已选择到了文件，此处配置的文件名不生效。
  - 更多思维链推理蒸馏模板的专有配置参数（如 RV/CD 评分维度、分箱混合策略等），请参见本节下方的配置说明。
- 计算资源：资源类型选择通用计算，资源来源选择公共资源，在任务资源中选择合适的资源规格，如ecs.c6.large。
单击下一步：学生模型训练继续配置（也可选择仅运行蒸馏数据构建）：
- 学生模型：选择公共模型，并在下拉列表中选择一个较小的模型，如 Qwen3-4B。
- 训练方式：选择LoRA。
- 计算资源：资源类型选择通用计算，资源来源选择公共资源，在任务资源中选择合适的资源规格。
单击创建，然后在弹出的计费提醒中单击确定，页面将自动跳转至任务详情的基础配置页面，可在此跟踪任务状态。

配置说明

以下说明思维链推理蒸馏模板的关键配置参数。基础配置和资源配置与通用蒸馏一致，此处仅列出本模板特有的参数差异。

基础配置

基础配置包含任务名称和输出路径两项。输出路径为任务全部产物的输出根目录，蒸馏数据集也写在该目录下，无需再单独指定数据集输出路径。

蒸馏数据构建

教师模型

思维链推理蒸馏模板只需配置一个教师模型，负责为每个输入问题生成完整推理过程。建议选择推理能力强的大参数模型。教师模型来源仅支持 PAI Token 服务。

数据集

选择输入目录或文件，数据格式要求如下：

格式：JSONL，每行一条问题。
每条数据必须包含 instruction 字段。
无需人工标注答案，教师模型会自动生成推理过程和答案。

示例数据：

{"instruction": "证明根号2是无理数"}
{"instruction": "如果3个人3天喝3桶水，9个人9天喝几桶水？"}

蒸馏配置

蒸馏配置以 YAML 格式提供，预置了算法团队的推荐默认值，可按需调整。下表列出部分建议关注的参数及其说明。

配置段	说明
dataset	`output_path`（默认 `distillation_dataset.json`）：蒸馏产物输出路径。可改为其他相对路径的 .json 文件，也可以放进子目录（如 `sft_dataset.json`、`output/sft_dataset.json`）。
backend	`timeout`（默认 `1200.0`）：单次请求等待上限（秒）。需覆盖写满 `max_tokens`（16384）的回答，实测 38~58 token/s 时需 400 秒以上。
generation	`system_prompt`（默认 "You are a helpful assistant. Think step by step and provide clear reasoning."）：教师模型生成推理过程时的系统提示词。 `temperature`（默认 `0.7`）：控制生成多样性。 `max_tokens`（默认 `16384`）：单次生成的最大 token 数。
sft	`skip_empty`（默认 `true`）：跳过空样本。 `min_length`（默认 `10`）：过滤过短样本。 `max_length`（默认 `131072`）：过滤超长样本。
eval	评分维度（`metrics`）：reasoning_verbosity（推理冗余度）、cognitive_difficulty（认知难度）、logical_correctness（逻辑正确性）。使用专用 CoT 评估提示词文件（`configs/prompts/default_cot_eval_prompts.yaml`）。
pipeline	思维链生成阶段（`cot_distill`）：使用 CoT 生成提示词模板。 RV/CD 评分阶段（`cot_rvcd_score`）：`max_workers` 默认 4（并发评分线程数）。难度分箱混合阶段（`cot_mix_by_rv_cd`）： `cd_bins` 默认 [0, 3, 6, 10]（认知难度分箱边界，4 个边界分成 3 个箱） `rv_target` 默认 matched（按推理冗余度匹配认知难度） `samples_per_bin` 默认 0（每个难度箱最多保留条数，0 表示不限制，默认产出上限 300 条） `min_correctness` 默认 1（最低逻辑正确性要求）