简而言之
先检查您的模型是否已有蒸馏版本。如果没有,就用大型“教师”模型为您的任务标注或生成示例,用这些示例训练一个小型“学生”模型,再用您自己的真实案例测试学生模型。早期的例子 DistilBERT 比 BERT 小 40%、快 60%,同时保留了 BERT 97% 的语言理解能力。
步骤
- 为您的任务寻找该模型现成的蒸馏版本或更小的版本。
- 从您的任务中收集一组真实输入。
- 用大模型为这些输入生成标签或输出,并人工抽查一部分样本。
- 用这些数据训练一个小型学生模型。
- 按照您的质量要求测试学生模型,并把它没有把握的情况交给大模型处理。
蒸馏能把大模型关于您的任务所掌握的知识,转移到一个运行成本低廉的小模型中。 您只需为训练学生模型付出一次代价,之后每个请求都能节省。
为什么这很重要?
把大型通用模型部署到一项范围很窄的工作上,例如对工单分类或提取字段,就是在为这项工作永远用不到的知识买单。Luccioni、Jernite 和 Strubell 发现,在相同任务上,专用系统的运行成本比多用途生成式模型低几个数量级。Green Software Foundation 把蒸馏列为其“规模合适、节能的 AI 模型”模式之一。
它是如何运作的?
教师是大模型,学生是小模型。在经典方法中,学生学习的是匹配教师的输出概率,而不仅仅是最终答案,这样每个示例能传递更多信息。Sanh 等人用这种方法开发了 DistilBERT,它比 BERT 小 40%、快 60%,同时保留了 BERT 97% 的语言理解能力。
对于生成式模型,常见的实用做法更简单:让教师为您的真实输入生成答案,抽查一部分样本,再用这些答案对小模型进行微调。
常见错误
- 在已有小模型的情况下仍去蒸馏。 请先搜索:参阅如何找到专用模型。
- 盲目信任教师的输出。 教师的错误会变成学生的错误。
- 没有后备方案。 对学生没有把握的情况,保留大模型来处理,可借助模型路由。
- 忽视许可协议。 有些模型的条款限制用其输出训练其他模型。
更多内容请阅读高效训练与推理。
来源
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)