通用蒸餾 - Platform For AI

經典三步式蒸餾：基礎配置 → 蒸餾資料構建 → 學生模型訓練。自由選擇教師/學生模型與資料集，靈活配置蒸餾與訓練參數，適合大多數通用需求。

模板概述

通用蒸餾模板是 ModelDistill 的基礎模板，採用黑盒蒸餾方式（產生式資料增強 + SFT 訓練）。

與情境化蒸餾模板相比，通用蒸餾保留標準的三步管線，不預置特定任務類型的運算元編排，每個環節的選擇權完全交給使用者。情境化模板已覆蓋指令蒸餾、思維鏈蒸餾、多模態蒸餾、Agent工具調用蒸餾等常見任務類型——建議優先評估情境化模板是否匹配您的任務；若不匹配，再使用通用蒸餾自訂配置。

通用蒸餾採用固定的三階段管線，各階段均可在建立嚮導中按需配置，蒸餾資料與訓練產物分別儲存以便複用。

基礎配置：定義任務名稱和輸出模型的名稱路徑等資訊。
蒸餾資料構建：調用教師模型對來源資料產生高品質響應，構建蒸餾 SFT 資料集。
學生模型訓練：基於蒸餾資料對學生模型進行監督微調，輸出可部署的蒸餾模型。

快速開始

以下使用PAI提供的公用資料集和預設配置，示範如何完成一個通用蒸餾任務。

登入PAI控制台，在左側導覽列選擇模型应用> 模型蒸馏（ModelDistill）。
單擊新建任务，跳轉到蒸馏模板頁簽，或者直接進入蒸馏模板頁簽。
選擇通用蒸餾，單擊使用模板，進入新建蒸馏任务頁面。如下配置關鍵參數，其他保持預設。
進行基础配置：
- 任务名称及模型名称：系統已自動填滿。
- 模型输出路径：指定一個有許可權訪問的OSS路徑，如oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/model-distill/model。
  說明
  請確保為每個蒸餾任務建立獨立的輸出目錄，避免模型檔案被覆蓋。OSS Bucket需與PAI服務在同一地區。
單擊下一步，進入蒸馏数据构建：
- 教师模型：教师模型来源選擇Token服務，並下拉選擇一個模型如qwen3.8-max。
- 数据集：選擇公共数据集，並從下拉式清單中選擇Chinese-medical-dialogue-data。也可以選擇自定义数据集來使用您自己的資料。
- 蒸馏数据确认：指定一個有許可權訪問的OSS路徑作為蒸馏数据集输出路径，如oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/model-distill/dist-data。
- 计算资源：资源类型選擇通用计算，资源来源選擇公共资源，在任务资源中選擇合適的资源规格。
單擊下一步，進入学生模型训练：
- 学生模型：選擇公共模型，並在下拉式清單中選擇一個較小的模型，如 Qwen3-4B。
- 训练方式：選擇LoRA。
- 计算资源：资源类型選擇通用计算，资源来源選擇公共资源，在任务资源中選擇合適的资源规格。
單擊确定，然後在彈出的計費提醒中單擊确定，頁面將自動跳轉至任務詳情的基礎配置頁面，可在此跟蹤任務狀態。參考執行時間：小資料集（100-1000條）約20-40分鐘。

配置詳解

蒸餾資料構建

教師模型：支援以下兩種來源：
- PAI Token 服務。
- PAI-EAS 服務：僅支援基於 Model Gallery 模型直接部署、或基於 Model Gallery 模型訓練後的模型所部署的 EAS 服務。
資料集：支援公用蒸餾資料集和自訂資料集。資料必須為 JSON 格式，必須包含 instruction 欄位（問題列），無需包含 output 欄位（輸出資料行）。
```
[
    {
        "instruction": "中國的首都是哪裡？"
    },
    {
        "instruction": "請解釋一下什麼是人工智慧。"
    }
]
```
蒸馏数据确认：選擇資料構建完成後，系統如何處理產生的蒸餾資料。
- 自动确认（推薦）：資料構建完成後，系統自動校正資料並通過，直接啟動後續的學生模型訓練。適用於使用公用資料集或對資料品質有信心的情境。
- 手动确认：資料構建完成後，需要人工審核心數據品質。適用於對資料品質要求極高或首次使用自訂資料集的情境。操作方式如下：
  1. 蒸餾資料構建完成後，在蒸餾工作清單中，任務狀態會變為等待確認蒸餾資料。
  2. 單擊操作列的确认蒸馏数据按鈕，系統彈出確認對話方塊。
  3. 在對話方塊中單擊点击查看查看蒸餾資料集的詳細內容。
    - 確認資料品質符合預期後，單擊确认繼續執行學生模型訓練。
    - 如果資料不符合預期，可以單擊取消，任務將停止在當前階段。

學生模型訓練

學生模型支援 Model Gallery 公用模型和自訂模型（自訂模型當前僅支援在 Model Gallery 中微調後的 LLM）。請確保學生模型參數量小於教師模型。

訓練方式

選擇對學生模型進行監督微調（SFT）的具體方法。

LoRA（推薦）：參數高效微調方法，在保持較好效果的同時，顯著降低訓練所需的顯存。
QLoRA：LoRA的量化版本，進一步降低顯存佔用，適合在資源更受限的環境下訓練。
全參數微調：更新模型的所有參數，理論上效果最好，但需要巨大的計算資源和時間，成本極高。

驗證集配置

選擇在訓練過程中用於評估模型效能的驗證資料集。

不配置：訓練過程中不進行驗證，適用於快速實驗或資料量較小的情境。
蒸馏数据自动拆分（推薦）：系統自動從產生的蒸餾資料集中按比例劃分出訓練集和驗證集，預設5%驗證集。
添加验证数据集：指定一個獨立的OSS資料集作為驗證集，適用於有標準驗證集的情境。

超參數配置

此處的超參數用於控制學生模型的SFT訓練過程。

參數	說明	調優建議
`learning_rate`	學習率，控制模型參數更新的步長。預設5e-5。	• 如果訓練損失（Loss）下降緩慢，可嘗試適當調大學習率。 • 如果Loss劇烈震蕩或不收斂，應調小學習率。
`num_train_epochs`	訓練輪數，即整個資料集被重複訓練的次數。預設1。	• 對於巨量資料集，1-3個epoch通常足夠。 • 過多的epoch可能導致過擬合。
`per_device_train_batch_size`	每個GPU裝置單次訓練處理的樣本數。預設1。	• 在顯存允許的情況下，適當增大此值可以加速訓練並可能穩定訓練過程。 • 如果遇到顯存不足（OOM）錯誤，應首先減小此值。
`seq_length`	輸入給學生模型的最大序列長度（Token數）。預設128。	• 此值應根據您的資料特徵和應用情境設定。較長的文本需要更大的`seq_length`。 • 增大此值會顯著增加顯存消耗。

生產實踐

成本最佳化策略

資源來源選擇：
- 測試/小任務：使用公用資源，按需付費，靈活方便。
- 生產/高優任務：使用資源配額，確保資源穩定性和成本可控。
- 成本敏感/可容錯任務：嘗試競價資源，以更低價格擷取算力，但需接受任務可能被中斷的風險。
從小資料集開始：在進行大規模蒸餾前，務必使用一小部分資料（如100-1000條）完整運行一次流程，以驗證配置的正確性，避免因配置錯誤導致大規模計算資源的浪費。
最佳化資料集：使用更小但更高品質的種子資料集，可以減少教師模型的推理開銷和學生模型的訓練時間。
選擇QLoRA訓練：QLoRA通過在量化模型上訓練，顯著降低了對顯存的需求，使您可以在更低規格（也更便宜）的GPU上進行訓練。
合理設定運行時間長度：為任務設定一個合理的最大運行時間長度，防止因意外情況導致任務長時間運行，產生不必要的費用。

效果調優指南

資料集品質是關鍵：蒸餾的上限由教師模型決定，但下限由蒸餾資料集的品質決定。確保用於產生蒸餾資料的未經處理資料集覆蓋業務情境、指令清晰、內容多樣。
超參數調優：
- 如果學生模型訓練的loss不下降或發散，應優先降低學習率（learning_rate）。
- 如果遇到顯存不足（OOM）錯誤，應優先減小批次大小（per_device_train_batch_size）或序列長度（seq_length）。
監控GPU利用率：在任務監控中關注GPU利用率。如果利用率過低，說明GPU資源未被充分利用，可嘗試增大per_device_train_batch_size以提高效率。

效果評估

蒸餾完成後，對學生模型的效果進行評估。

部署模型：在蒸餾任務詳情頁，單擊右上方的部署按鈕，將蒸餾產出的學生模型部署為線上推理服務。
對比評測：使用PAI的模型評測功能，在同一份評測集上對比教師模型和學生模型的效能指標（如準確率、BLEU等），量化效能損失。
生產驗證：在正式上線前，進行小流量灰階測試，對比蒸餾前後模型在真實業務情境中的推理速度、資源佔用和業務效果。