greenai.guide

首页 › 我该如何……? › 如何把大模型蒸馏成小模型?

我该如何……?

如何把大模型蒸馏成小模型?

更新于 · 阅读约需 1 分钟

简而言之

先检查您的模型是否已有蒸馏版本。如果没有,就用大型“教师”模型为您的任务标注或生成示例,用这些示例训练一个小型“学生”模型,再用您自己的真实案例测试学生模型。早期的例子 DistilBERT 比 BERT 小 40%、快 60%,同时保留了 BERT 97% 的语言理解能力。

步骤

  1. 为您的任务寻找该模型现成的蒸馏版本或更小的版本。
  2. 从您的任务中收集一组真实输入。
  3. 用大模型为这些输入生成标签或输出,并人工抽查一部分样本。
  4. 用这些数据训练一个小型学生模型。
  5. 按照您的质量要求测试学生模型,并把它没有把握的情况交给大模型处理。

蒸馏能把大模型关于您的任务所掌握的知识,转移到一个运行成本低廉的小模型中。 您只需为训练学生模型付出一次代价,之后每个请求都能节省。

为什么这很重要?

把大型通用模型部署到一项范围很窄的工作上,例如对工单分类或提取字段,就是在为这项工作永远用不到的知识买单。Luccioni、Jernite 和 Strubell 发现,在相同任务上,专用系统的运行成本比多用途生成式模型低几个数量级。Green Software Foundation 把蒸馏列为其“规模合适、节能的 AI 模型”模式之一。

它是如何运作的?

教师是大模型,学生是小模型。在经典方法中,学生学习的是匹配教师的输出概率,而不仅仅是最终答案,这样每个示例能传递更多信息。Sanh 等人用这种方法开发了 DistilBERT,它比 BERT 小 40%、快 60%,同时保留了 BERT 97% 的语言理解能力。

对于生成式模型,常见的实用做法更简单:让教师为您的真实输入生成答案,抽查一部分样本,再用这些答案对小模型进行微调。

常见错误

  • 在已有小模型的情况下仍去蒸馏。 请先搜索:参阅如何找到专用模型。
  • 盲目信任教师的输出。 教师的错误会变成学生的错误。
  • 没有后备方案。 对学生没有把握的情况,保留大模型来处理,可借助模型路由。
  • 忽视许可协议。 有些模型的条款限制用其输出训练其他模型。

更多内容请阅读高效训练与推理。

来源

  1. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  2. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  3. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私