# 如何把大模型蒸馏成小模型？

> 知识蒸馏的原理：用大型教师模型为您的任务训练一个小型学生模型，然后对其进行测试，并保留大模型作为后备。

Source: https://greenai.guide/zh/如何/如何把大模型蒸馏成小模型/  
Updated: 2026-11-19

## 简而言之

先检查您的模型是否已有蒸馏版本。如果没有，就用大型“教师”模型为您的任务标注或生成示例，用这些示例训练一个小型“学生”模型，再用您自己的真实案例测试学生模型。早期的例子 DistilBERT 比 BERT 小 40%、快 60%，同时保留了 BERT 97% 的语言理解能力。

## Steps

1. 为您的任务寻找该模型现成的蒸馏版本或更小的版本。
2. 从您的任务中收集一组真实输入。
3. 用大模型为这些输入生成标签或输出，并人工抽查一部分样本。
4. 用这些数据训练一个小型学生模型。
5. 按照您的质量要求测试学生模型，并把它没有把握的情况交给大模型处理。

**蒸馏能把大模型关于您的任务所掌握的知识，转移到一个运行成本低廉的小模型中。** 您只需为训练学生模型付出一次代价，之后每个请求都能节省。

## 为什么这很重要？ {#why-does-it-matter}

把大型通用模型部署到一项范围很窄的工作上，例如对工单分类或提取字段，就是在为这项工作永远用不到的知识买单。Luccioni、Jernite 和 Strubell 发现，在相同任务上，专用系统的运行成本比多用途生成式模型低几个数量级。Green Software Foundation 把蒸馏列为其“规模合适、节能的 AI 模型”模式之一。

## 它是如何运作的？ {#how-does-it-work}

**教师**是大模型，**学生**是小模型。在经典方法中，学生学习的是匹配教师的输出概率，而不仅仅是最终答案，这样每个示例能传递更多信息。Sanh 等人用这种方法开发了 DistilBERT，它比 BERT 小 40%、快 60%，同时保留了 BERT 97% 的语言理解能力。

对于生成式模型，常见的实用做法更简单：让教师为您的真实输入生成答案，抽查一部分样本，再用这些答案对小模型进行微调。

## 常见错误 {#common-mistakes}

- **在已有小模型的情况下仍去蒸馏。** 请先搜索：参阅[如何找到专用模型](/zh/如何/如何找到专用模型-而不是使用通用聊天机器人/)。
- **盲目信任教师的输出。** 教师的错误会变成学生的错误。
- **没有后备方案。** 对学生没有把握的情况，保留大模型来处理，可借助[模型路由](/zh/如何/如何把请求路由到更小的模型/)。
- **忽视许可协议。** 有些模型的条款限制用其输出训练其他模型。

更多内容请阅读[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
