简而言之
从可能达到质量要求的最小模型开始,再通过蒸馏、量化和剪枝进一步缩小,每一步都在目标设备上测试。在真实硬件上同时测量每次推理的能耗、延迟和准确率,并在电量低或设备过热时让模型降级运行。
步骤
- 为目标设备设定质量标准,以及内存、延迟和能耗预算。
- 从小型或蒸馏过的模型开始,而不是去缩小一个大型通用模型。
- 把权重量化到 8 位或 4 位,并用您自己的测试用例检查准确率。
- 剪除贡献很小的权重,然后在设备上重新测试。
- 在真实硬件上同时测量每次推理的能耗、延迟和准确率。
- 在电量低或设备过热时,切换到更小的模型或降低运行频率。
以小模型为起点,结合蒸馏、量化和剪枝,并在设备本身上评判每一步。 边缘设备内存很小,而且常常靠电池供电,所以模型太大要么装不下,要么耗尽电量并导致降频。把规模控制好,还意味着数据不必发送到云端。
哪些技术最能缩小模型?
- 蒸馏训练一个小的“学生”模型去模仿一个大的“教师”模型。DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力。
- 量化用更少的位数存储权重。Hugging Face 的文档举例说,一个 80 亿参数的模型,其权重在 16 位精度下约需 16 GB,8 位下约需 8 GB,4 位下约需 4–5 GB,但准确率会有一定损失。参见如何量化模型。
- 剪枝去除几乎不影响输出的权重。参见如何对神经网络剪枝。
模型在设备上应如何运行?
绿色软件基金会(Green Software Foundation)的边缘 AI 模式建议同时跟踪每次推理的能耗、延迟和准确率,并根据条件调整:在电量低或设备过热时,使用更小的模型或降低推理频率。
常见错误
- 只在笔记本电脑上测试。 加速器、内存和散热限制各不相同;请在目标硬件上测量。
- 缩小到低于质量标准。 模型一旦失败、不得不回退调用云端,花费可能比节省的还多。
- 持续不停地运行推理。 能按事件触发的,就不要每一帧或每一秒都运行。
边缘还是云端更环保,要视具体情况而定:参见边缘还是云端和边缘 AI。
来源
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)