思維鏈推理蒸餾 - Platform For AI

思維鏈推理蒸餾模板讓教師模型為問題集產生完整推理過程，再按推理冗餘度與認知難度打分、按難度分箱採樣，產出可直接用於學生模型微調的思維鏈 SFT 資料集。

模板概述

思維鏈推理蒸餾模板適用於數學、邏輯、代碼等需要多步推理的情境。讓教師模型為您的問題集產生完整的推理過程，再按推理冗餘度（Reasoning Verbosity, RV）與認知難度（Cognitive Difficulty, CD）打分，按難度分箱採樣，使資料集在難易分布上更均衡，避免樣本集中於簡單題目，最終產出可直接用於學生模型微調的思維鏈 SFT 資料集。

說明

該模板支援可選兩段式建立：第一段蒸餾資料構建，第二段學生模型訓練（可選）。您可以選擇僅運行蒸餾資料構建，也可以兩段連續運行。

思維鏈推理蒸餾模板的流水線包含以下步驟：

步驟	名稱	說明
1	產生思維鏈	調用教師模型為每個輸入問題產生帶完整推理過程的回答。
2	RV/CD 評分	對產生結果按推理冗餘度（RV）、認知難度（CD）與邏輯正確性打分，為後續篩選提供依據。
3	難度分箱混合	按認知難度分箱採樣並匹配推理冗餘度，使資料集在難易分布上更均衡，避免樣本集中於簡單題目。
4	構建 SFT 資料集	過濾空樣本與超長樣本，輸出規範的 SFT 訓練資料集。

操作步驟

登入PAI控制台，在左側導覽列選擇模型应用> 模型蒸馏（ModelDistill）。
單擊新建任务，跳轉到蒸馏模板頁簽，或者直接進入蒸馏模板頁簽。
選擇思維鏈推理蒸餾，單擊使用模板，進入新建蒸馏任务頁面。如下配置關鍵參數，其他保持預設。
進行基础配置：
- 任务名称：系統已自動填滿。
- 输出路径：指定一個有許可權訪問的OSS路徑，如oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/cot-distill/。
  說明
  請確保為每個蒸餾任務建立獨立的輸出目錄，避免檔案被覆蓋。OSS Bucket需與PAI服務在同一地區。
單擊下一步，進入蒸馏数据构建：
- 教师模型：教师模型来源選擇Token服務，並下拉選擇一個推理能力強的模型如qwen3.8-max。
- 数据集：選擇一個有許可權訪問的OSS目錄或檔案。可直接下載樣本使用。
- 蒸馏配置：已提供了預設配置，根據實際需要修改。
  - dataset.input_path：如果資料集已選擇到了檔案，此處配置的檔案名稱不生效。
  - 更多思維鏈推理蒸餾模板的專有配置參數（如 RV/CD 評分維度、分箱混合策略等），請參見本節下方的配置說明。
- 计算资源：资源类型選擇通用计算，资源来源選擇公共资源，在任务资源中選擇合適的资源规格，如ecs.c6.large。
單擊下一步：学生模型训练繼續配置（也可選擇仅运行蒸馏数据构建）：
- 学生模型：選擇公共模型，並在下拉式清單中選擇一個較小的模型，如 Qwen3-4B。
- 训练方式：選擇LoRA。
- 计算资源：资源类型選擇通用计算，资源来源選擇公共资源，在任务资源中選擇合適的资源规格。
單擊创建，然後在彈出的計費提醒中單擊确定，頁面將自動跳轉至任務詳情的基礎配置頁面，可在此跟蹤任務狀態。

配置說明

以下說明思維鏈推理蒸餾模板的關鍵配置參數。基礎配置和資源配置與通用蒸餾一致，此處僅列出本模板特有的參數差異。

基礎配置

基礎配置包含任務名稱和輸出路徑兩項。輸出路徑為任務全部產物的輸出根目錄，蒸餾資料集也寫在該目錄下，無需再單獨指定資料集輸出路徑。

蒸餾資料構建

教師模型

思維鏈推理蒸餾模板只需配置一個教師模型，負責為每個輸入問題產生完整推理過程。建議選擇推理能力強的大參數模型。教師模型來源僅支援 PAI Token 服務。

資料集

選擇輸入目錄或檔案，資料格式要求如下：

格式：JSONL，每行一條問題。
每條資料必須包含 instruction 欄位。
無需人工標註答案，教師模型會自動產生推理過程和答案。

樣本資料：

{"instruction": "證明根號2是無理數"}
{"instruction": "如果3個人3天喝3桶水，9個人9天喝幾桶水？"}

蒸餾配置

蒸餾配置以 YAML 格式提供，預置了演算法團隊的推薦預設值，可按需調整。下表列出部分建議關注的參數及其說明。

配置段	說明
dataset	`output_path`（預設 `distillation_dataset.json`）：蒸餾產物輸出路徑。可改為其他相對路徑的 .json 檔案，也可以放進子目錄（如 `sft_dataset.json`、`output/sft_dataset.json`）。
backend	`timeout`（預設 `1200.0`）：單次請求等待上限（秒）。需覆蓋寫滿 `max_tokens`（16384）的回答，實測 38~58 token/s 時需 400 秒以上。
generation	`system_prompt`（預設 "You are a helpful assistant. Think step by step and provide clear reasoning."）：教師模型產生推理過程時的系統提示詞。 `temperature`（預設 `0.7`）：控制產生多樣性。 `max_tokens`（預設 `16384`）：單次產生的最大 token 數。
sft	`skip_empty`（預設 `true`）：跳過空樣本。 `min_length`（預設 `10`）：過濾過短樣本。 `max_length`（預設 `131072`）：過濾超長樣本。
eval	評分維度（`metrics`）：reasoning_verbosity（推理冗餘度）、cognitive_difficulty（認知難度）、logical_correctness（邏輯正確性）。使用專用 CoT 評估提示詞檔案（`configs/prompts/default_cot_eval_prompts.yaml`）。
pipeline	思維鏈產生階段（`cot_distill`）：使用 CoT 產生提示詞模板。 RV/CD 評分階段（`cot_rvcd_score`）：`max_workers` 預設 4（並發評分線程數）。難度分箱混合階段（`cot_mix_by_rv_cd`）： `cd_bins` 預設 [0, 3, 6, 10]（認知難度分箱邊界，4 個邊界分成 3 個箱） `rv_target` 預設 matched（按推理冗餘度匹配認知難度） `samples_per_bin` 預設 0（每個難度箱最多保留條數，0 表示不限制，預設產出上限 300 條） `min_correctness` 預設 1（最低邏輯正確性要求）