greenai.guide

首页 › 我该如何……? › 如何把模型缩小到能在边缘设备上运行?

我该如何……?

如何把模型缩小到能在边缘设备上运行?

更新于 · 阅读约需 1 分钟

简而言之

从可能达到质量要求的最小模型开始,再通过蒸馏、量化和剪枝进一步缩小,每一步都在目标设备上测试。在真实硬件上同时测量每次推理的能耗、延迟和准确率,并在电量低或设备过热时让模型降级运行。

步骤

  1. 为目标设备设定质量标准,以及内存、延迟和能耗预算。
  2. 从小型或蒸馏过的模型开始,而不是去缩小一个大型通用模型。
  3. 把权重量化到 8 位或 4 位,并用您自己的测试用例检查准确率。
  4. 剪除贡献很小的权重,然后在设备上重新测试。
  5. 在真实硬件上同时测量每次推理的能耗、延迟和准确率。
  6. 在电量低或设备过热时,切换到更小的模型或降低运行频率。

以小模型为起点,结合蒸馏、量化和剪枝,并在设备本身上评判每一步。 边缘设备内存很小,而且常常靠电池供电,所以模型太大要么装不下,要么耗尽电量并导致降频。把规模控制好,还意味着数据不必发送到云端。

哪些技术最能缩小模型?

  • 蒸馏训练一个小的“学生”模型去模仿一个大的“教师”模型。DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力。
  • 量化用更少的位数存储权重。Hugging Face 的文档举例说,一个 80 亿参数的模型,其权重在 16 位精度下约需 16 GB,8 位下约需 8 GB,4 位下约需 4–5 GB,但准确率会有一定损失。参见如何量化模型。
  • 剪枝去除几乎不影响输出的权重。参见如何对神经网络剪枝。

模型在设备上应如何运行?

绿色软件基金会(Green Software Foundation)的边缘 AI 模式建议同时跟踪每次推理的能耗、延迟和准确率,并根据条件调整:在电量低或设备过热时,使用更小的模型或降低推理频率。

常见错误

  • 只在笔记本电脑上测试。 加速器、内存和散热限制各不相同;请在目标硬件上测量。
  • 缩小到低于质量标准。 模型一旦失败、不得不回退调用云端,花费可能比节省的还多。
  • 持续不停地运行推理。 能按事件触发的,就不要每一帧或每一秒都运行。

边缘还是云端更环保,要视具体情况而定:参见边缘还是云端和边缘 AI。

来源

  1. Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
  2. Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
  3. Quantization overview, Hugging Face Transformers documentation (2026)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私