PAI 模型蒸馏（ModelDistill）提供一站式的模型蒸馏服务，支持通用蒸馏和多种场景化蒸馏模板。本文介绍模型蒸馏的工作原理、模板选型、任务管理和计费方式。
什么是模型蒸馏
模型蒸馏是一种模型压缩技术，通过将大参数量模型（教师模型）的知识迁移到小参数量模型（学生模型），在保持模型性能的同时显著降低参数量，解决大模型推理成本高、响应速度慢的问题。PAI ModelDistill 基于阿里云自研模型蒸馏框架PAI-EasyDistill提供一键式模型蒸馏功能，无需编码即可完成模型蒸馏全流程。
工作原理
PAI ModelDistill当前提供的模型蒸馏功能采用黑盒蒸馏方式，其本质是生成式数据增强，即利用教师模型生成高质量的标注数据，然后使用这些数据对学生模型进行监督微调（Supervised Fine-Tuning, SFT）。
工作流程分为两个关键阶段：
蒸馏数据构建：选择源数据集，通过数据合成（如指令扩写、指令精炼）扩充数据规模，再由教师模型推理生成高质量的蒸馏数据。教师模型支持 PAI Token 服务和 PAI-EAS 服务两种来源。
学生模型训练：使用蒸馏数据集，通过监督微调（SFT）训练学生模型。支持 LoRA、QLoRA、全参微调三种训练方式。
应用场景
适合使用模型蒸馏的场景：
端侧/边缘部署：将大模型压缩为轻量模型，适配手机、IoT 设备等资源受限环境。
成本优化：当线上业务使用的模型推理成本过高时，可蒸馏出一个更小的模型来降低成本。
推理加速：对于延迟敏感的在线应用，通过蒸馏在保持高精度的同时减少延迟与 GPU 资源消耗，提升服务吞吐量。
领域知识继承：将一个在特定领域（如医疗、法律）表现优异的大模型知识，迁移到一个更具性价比的小模型上，用于该领域的特定任务。
可能不适合或需谨慎评估的场景：
追求100%性能保真：任何性能下降都不可接受的场景。蒸馏始终伴随一定的性能损失。
任务过于简单：对于分类、文本匹配等简单任务，直接微调一个小模型可能比蒸馏更具成本效益。
缺乏高质量种子数据：蒸馏的效果很大程度上依赖于种子数据的质量。如果种子数据与实际业务场景偏差过大，效果可能不佳。
蒸馏模板
蒸馏模板封装了标准化的蒸馏流水线和默认算法配置（以 YAML 格式提供）。选择模板后，系统自动预置流水线步骤和参数，您只需填写基础配置即可提交任务。
模板分类
模型蒸馏提供两类蒸馏模板：通用蒸馏模板和场景化蒸馏模板。
通用蒸馏模板：采用标准三步式管线（基础配置 → 蒸馏数据构建 → 学生模型训练），支持灵活配置所有参数，适用于通用场景的蒸馏需求。详见通用蒸馏。
场景化蒸馏模板：针对特定场景（如思维链推理、多模态、Agent工具调用等）预置了优化的流水线和算法参数，选择场景即可复用最佳实践配置，快速产出 SFT / DPO / 多模态训练数据。
说明部分模板仅支持蒸馏数据构建，部分模板支持端到端的蒸馏数据构建与学生模型训练，其中学生模型训练为可选步骤，您可以仅运行蒸馏数据构建。
模板
适用场景
详情
指令蒸馏
指令跟随能力蒸馏
将教师模型的指令跟随能力迁移到学生模型，详见指令蒸馏。
思维链推理蒸馏
CoT 推理能力迁移
将教师模型的思维链推理能力迁移到学生模型，详见思维链推理蒸馏。
Agent工具调用蒸馏
工具/函数调用能力
将教师模型的工具和函数调用能力迁移到学生模型，详见Agent 工具调用蒸馏。
文生视频蒸馏
文本生成视频能力
将教师模型的文本生成视频能力迁移到学生模型，详见文生视频蒸馏。
Coding Agent 蒸馏
代码 Agent 能力训练
通过编程 Agent 在远程沙箱中实际修改代码并重放测试验证，产出高质量 SFT 数据集，训练小模型在真实代码仓库中定位问题、修改代码并验证结果，详见Coding Agent 蒸馏。
选型建议
优先评估场景化蒸馏模板是否匹配您的业务场景。如果匹配，直接使用对应的场景化模板可获得最优效果；如果不匹配，则使用通用蒸馏模板进行自定义配置。
任务管理
在任务列表页签查看所有蒸馏任务的状态和进度：
任务阶段：展示当前任务所处的阶段（蒸馏数据构建、蒸馏数据确认、学生模型训练），方便您快速了解任务进展。
蒸馏产物：蒸馏完成后，蒸馏数据集和蒸馏后的学生模型都保存在指定的 OSS 路径中。您可以在任务详情页获取模型路径，并将其部署为在线推理服务。
效果评估：部署后建议使用模型评测功能，在同一份评测集上对比教师模型和学生模型的性能指标，量化蒸馏效果。正式上线前，可进行小流量灰度测试验证业务效果。
计费说明
蒸馏任务通过 DLC 训练任务执行，支持按量计费和包年包月两种计费方式。数据构建阶段（需CPU资源）和学生模型训练阶段（需GPU资源）均会产生计算资源费用，详见分布式训练（DLC）计费说明。
蒸馏过程中还涉及以下费用：
教师模型费用：教师模型使用 PAI-Token 服务时按 Token 消耗计费，详见PAI Token服务计费说明。教师模型使用PAI- EAS服务，产生EAS资源计费，详见模型在线服务（EAS）计费说明。
OSS 存储费用：蒸馏数据（数据集、中间产物、训练产物）存储在 OSS 中，按 OSS 计费规则收费。
常见问题
Q：如何选择合适的教师模型和学生模型？
教师模型：选择在您的业务场景中已经验证过、表现优异的大参数量模型。通常，参数量越大，知识越丰富，蒸馏效果的上限也越高。
学生模型：建议选择与教师模型同系列、但参数量更小的模型。例如，从
Qwen-30B蒸馏到Qwen-8B。这能确保模型架构的兼容性，最大化知识迁移的效率。
Q：蒸馏任务大概需要多长时间？
耗时主要取决于数据集大小、模型规模、训练方式和计算资源。小规模数据集（数千条）和中等模型（7B-14B）的蒸馏任务通常在数十分钟到几小时内完成。
Q：任务因超时中断，可以恢复吗？
不可以。如果任务因达到设置的最大运行时长而中断，则任务失败且不可恢复。您需要分析任务日志，判断是资源不足导致运行缓慢还是设置时间过短，然后增加最大运行时长或使用更高规格的资源后，重新提交任务。
Q：蒸馏任务失败，日志显示 CUDA out of memory？
这是典型的GPU显存不足错误。请按以下步骤排查解决：
减小批次大小：在学生模型训练配置中，找到超参数，将
per_device_train_batch_size的值减半（例如从2改为1）后重试。切换训练方式：如果减小批次大小无效，返回配置页面，将训练方式 从
LoRA或全参微调切换到QLoRA。QLoRA能极大降低显存占用。升级GPU规格：如果以上方法仍无法解决，说明模型和数据规模确实需要更高规格的硬件。请在计算资源中选择一款显存更大的GPU机型。