# 如何把模型缩小到能在边缘设备上运行？

> 为手机、传感器和嵌入式板卡缩小模型：从小模型起步，进行蒸馏、量化和剪枝，再在真实设备上测试准确率和能耗。

Source: https://greenai.guide/zh/如何/如何把模型缩小到能在边缘设备上运行/  
Updated: 2026-11-19

## 简而言之

从可能达到质量要求的最小模型开始，再通过蒸馏、量化和剪枝进一步缩小，每一步都在目标设备上测试。在真实硬件上同时测量每次推理的能耗、延迟和准确率，并在电量低或设备过热时让模型降级运行。

## Steps

1. 为目标设备设定质量标准，以及内存、延迟和能耗预算。
2. 从小型或蒸馏过的模型开始，而不是去缩小一个大型通用模型。
3. 把权重量化到 8 位或 4 位，并用您自己的测试用例检查准确率。
4. 剪除贡献很小的权重，然后在设备上重新测试。
5. 在真实硬件上同时测量每次推理的能耗、延迟和准确率。
6. 在电量低或设备过热时，切换到更小的模型或降低运行频率。

**以小模型为起点，结合蒸馏、量化和剪枝，并在设备本身上评判每一步。** 边缘设备内存很小，而且常常靠电池供电，所以模型太大要么装不下，要么耗尽电量并导致降频。把规模控制好，还意味着数据不必发送到云端。

## 哪些技术最能缩小模型？ {#which-techniques-shrink-a-model-most}

- **蒸馏**训练一个小的“学生”模型去模仿一个大的“教师”模型。DistilBERT 比 BERT 小 40%、快 60%，同时保留了其 97% 的语言理解能力。
- **量化**用更少的位数存储权重。Hugging Face 的文档举例说，一个 80 亿参数的模型，其权重在 16 位精度下约需 16 GB，8 位下约需 8 GB，4 位下约需 4–5 GB，但准确率会有一定损失。参见[如何量化模型](/zh/如何/如何对模型进行量化/)。
- **剪枝**去除几乎不影响输出的权重。参见[如何对神经网络剪枝](/zh/如何/如何对神经网络进行剪枝/)。

## 模型在设备上应如何运行？ {#how-should-the-model-behave-on-the-device}

绿色软件基金会（Green Software Foundation）的边缘 AI 模式建议同时跟踪每次推理的能耗、延迟和准确率，并根据条件调整：在电量低或设备过热时，使用更小的模型或降低推理频率。

## 常见错误 {#common-mistakes}

- **只在笔记本电脑上测试。** 加速器、内存和散热限制各不相同；请在目标硬件上测量。
- **缩小到低于质量标准。** 模型一旦失败、不得不回退调用云端，花费可能比节省的还多。
- **持续不停地运行推理。** 能按事件触发的，就不要每一帧或每一秒都运行。

边缘还是云端更环保，要视具体情况而定：参见[边缘还是云端](/zh/良好实践/边缘还是云端-ai-应该在哪里运行/)和[边缘 AI](/zh/文章/边缘-ai-更环保-还是只是更不显眼/)。

## 来源

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
