PAI 模型蒸餾（ModelDistill）提供一站式的模型蒸餾服務，支援通用蒸餾和多種情境化蒸餾模板。本文介紹模型蒸餾的工作原理、模板選型、任務管理和計費方式。
什麼是模型蒸餾
模型蒸餾是一種模型壓縮技術，通過將大參數量模型（教師模型）的知識遷移到小參數量模型（學生模型），在保持模型效能的同時顯著降低參數量，解決大模型推理成本高、響應速度慢的問題。PAI ModelDistill 基於阿里雲自研模型蒸餾架構PAI-EasyDistill提供一鍵式模型蒸餾功能，無需編碼即可完成模型蒸餾全流程。
工作原理
PAI ModelDistill當前提供的模型蒸餾功能採用黑盒蒸餾方式，其本質是產生式資料增強，即利用教師模型產生高品質的標註資料，然後使用這些資料對學生模型進行監督微調（Supervised Fine-Tuning, SFT）。
工作流程分為兩個關鍵階段：
蒸餾資料構建：選擇來源資料集，通過資料合成（如指令擴寫、指令精鍊）擴充資料規模，再由教師模型推理產生高品質的蒸餾資料。教師模型支援 PAI Token 服務和 PAI-EAS 服務兩種來源。
學生模型訓練：使用蒸餾資料集，通過監督微調（SFT）訓練學生模型。支援 LoRA、QLoRA、全參微調三種訓練方式。
應用情境
適合使用模型蒸餾的情境：
端側/邊緣部署：將大模型壓縮為輕量模型，適配手機、IoT 裝置等資源受限環境。
成本最佳化：當線上業務使用的模型推理成本過高時，可蒸餾出一個更小的模型來降低成本。
推理加速：對於延遲敏感的線上應用，通過蒸餾在保持高精度的同時減少延遲與 GPU 資源消耗，提升服務輸送量。
領域知識繼承：將一個在特定領域（如醫學、法律）表現優異的大模型知識，遷移到一個更具性價比的小模型上，用於該領域的特定任務。
可能不適合或需謹慎評估的情境：
追求100%效能保真：任何效能下降都不可接受的情境。蒸餾始終伴隨一定的效能損失。
任務過於簡單：對於分類、文本匹配等簡單任務，直接微調一個小模型可能比蒸餾更具成本效益。
缺乏高品質種子資料：蒸餾的效果很大程度上依賴於種子資料的品質。如果種子資料與實際業務情境偏差過大，效果可能不佳。
蒸餾模板
蒸餾模板封裝了標準化的蒸餾流水線和預設演算法配置（以 YAML 格式提供）。選擇模板後，系統自動預置流水線步驟和參數，您只需填寫基礎配置即可提交任務。
模板分類
模型蒸餾提供兩類蒸餾模板：通用蒸餾模板和情境化蒸餾模板。
通用蒸餾模板：採用標準三步式管線（基礎配置 → 蒸餾資料構建 → 學生模型訓練），支援靈活配置所有參數，適用於通用情境的蒸餾需求。詳見通用蒸餾。
情境化蒸餾模板：針對特定情境（如思維鏈推理、多模態、Agent工具調用等）預置了最佳化的流水線和演算法參數，選擇情境即可複用最佳實務配置，快速產出 SFT / DPO / 多模態訓練資料。
說明部分模板僅支援蒸餾資料構建，部分模板支援端到端的蒸餾資料構建與學生模型訓練，其中學生模型訓練為可選步驟，您可以僅運行蒸餾資料構建。
模板
適用情境
詳情
指令蒸餾
指令跟隨能力蒸餾
將教師模型的指令跟隨能力遷移到學生模型，詳見指令蒸餾。
思維鏈推理蒸餾
CoT 推理能力遷移
將教師模型的思維鏈推理能力遷移到學生模型，詳見思維鏈推理蒸餾。
Agent工具調用蒸餾
工具/函數調用能力
將教師模型的工具和函數調用能力遷移到學生模型，詳見Agent 工具調用蒸餾。
文生視頻蒸餾
文本產生視頻能力
將教師模型的文本產生視頻能力遷移到學生模型，詳見文生視頻蒸餾。
Coding Agent 蒸餾
代碼 Agent 能力訓練
通過編程 Agent 在遠程沙箱中實際修改代碼並重放測實驗證，產出高品質 SFT 資料集，訓練小模型在真實代碼倉庫中定位問題、修改代碼並驗證結果，詳見Coding Agent 蒸餾。
選型建議
優先評估情境化蒸餾模板是否匹配您的業務情境。如果匹配，直接使用對應的情境化模板可獲得最優效果；如果不匹配，則使用通用蒸餾模板進行自訂配置。
任務管理
在任务列表頁簽查看所有蒸餾任務的狀態和進度：
任务阶段：展示當前任務所處的階段（蒸餾資料構建、蒸餾資料確認、學生模型訓練），方便您快速瞭解任務進展。
蒸餾產物：蒸餾完成後，蒸餾資料集和蒸餾後的學生模型都儲存在指定的 OSS 路徑中。您可以在任務詳情頁擷取模型路徑，並將其部署為線上推理服務。
效果評估：部署後建議使用模型評測功能，在同一份評測集上對比教師模型和學生模型的效能指標，量化蒸餾效果。正式上線前，可進行小流量灰階測實驗證業務效果。
計費說明
蒸餾任務通過 DLC 訓練任務執行，支援隨用隨付和訂用帳戶兩種計費方式。資料構建階段（需CPU資源）和學生模型訓練階段（需GPU資源）均會產生計算資源費用，詳見分布式訓練（DLC）計費說明。
蒸餾過程中還涉及以下費用：
教師模型費用：教師模型使用 PAI-Token 服務時按 Token 消耗計費，詳見PAI Token服務計費說明。教師模型使用PAI- EAS服務，產生EAS資源計費，詳見模型線上服務（EAS）計費說明。
OSS 儲存費用：蒸餾資料（資料集、中間產物、訓練產物）儲存在 OSS 中，按 OSS 計費規則收費。
常見問題
Q：如何選擇合適的教師模型和學生模型？
教師模型：選擇在您的業務情境中已經驗證過、表現優異的大參數量模型。通常，參數量越大，知識越豐富，蒸餾效果的上限也越高。
學生模型：建議選擇與教師模型同系列、但參數量更小的模型。例如，從
Qwen-30B蒸餾到Qwen-8B。這能確保模型架構的相容性，最大化知識遷移的效率。
Q：蒸餾任務大概需要多長時間？
耗時主要取決於資料集大小、模型規模、訓練方式和計算資源。小規模資料集（數千條）和中等模型（7B-14B）的蒸餾任務通常在數十分鐘到幾小時內完成。
Q：任務因逾時中斷，可以恢複嗎？
不可以。如果任務因達到設定的最大運行時間長度而中斷，則任務失敗且不可恢複。您需要分析任務日誌，判斷是資源不足導致運行緩慢還是設定時間過短，然後增加最大運行時間長度或使用更高規格的資源後，重新提交任務。
Q：蒸餾任務失敗，日誌顯示 CUDA out of memory？
這是典型的GPU顯存不足錯誤。請按以下步驟排查解決：
減小批次大小：在学生模型训练配置中，找到超参数，將
per_device_train_batch_size的值減半（例如從2改為1）後重試。切換訓練方式：如果減小批次大小無效，返回配置頁面，將訓練方式 從
LoRA或全參微調切換到QLoRA。QLoRA能極大降低顯存佔用。升級GPU規格：如果以上方法仍無法解決，說明模型和資料規模確實需要更高規格的硬體。請在计算资源中選擇一款顯存更大的GPU機型。