# 如何对神经网络进行剪枝？

> 如何对训练好的神经网络剪枝，去除贡献很小的权重，测试准确率还能保留多少，并核实硬件上是否真的节省了资源。

Source: https://greenai.guide/zh/如何/如何对神经网络进行剪枝/  
Updated: 2026-11-19

## 简而言之

对训练好的网络剪枝，即去除贡献最小的权重、神经元或层，然后进行简短的微调使其恢复，并按您的质量标准进行测试。剪枝曾把 AlexNet 的参数减少到九分之一而不损失准确率，超大型语言模型也已能一次性剪枝到至少 50% 的稀疏度。如果您希望在普通硬件上运行得更快，请优先选择结构化剪枝。

## Steps

1. 先测量未剪枝模型的准确率、延迟和能耗。
2. 除非您的硬件能利用稀疏权重，否则选择结构化剪枝（整个神经元、注意力头或层）。
3. 按重要性（例如数值最小）去除适度比例的权重。
4. 进行简短的微调，让网络恢复。
5. 分步重复，每一步都进行测试，质量低于您的标准时就停止。

**大型网络携带的权重通常远远超过任务所需，所以训练完成后可以去掉其中很多。** 剪枝让模型变小，在合适的硬件上运行成本也更低。

## 证据显示了什么？ {#what-does-the-evidence-show}

Han 及其同事在 2015 年表明，剪枝把 AlexNet 图像模型的参数减少到九分之一，把 VGG-16 减少到十三分之一，且准确率没有损失。Frankle 和 Carbin 提出的彩票假说发现，大型网络中包含小得多的子网络，其准确率可以与完整网络相当。在语言模型方面，Frantar 和 Alistarh 的 SparseGPT 无需重新训练，就能把超大型模型一次性剪枝到至少 50% 的稀疏度，困惑度只略有上升。

## 结构化还是非结构化？ {#structured-or-unstructured}

- **非结构化剪枝**去除单个权重。它能去除的最多，但留下的零散零值往往是普通 GPU 和 CPU 无法跳过的。
- **结构化剪枝**去除整个神经元、注意力头、通道或层。它去除的较少，但缩小后的模型在任何硬件上都运行得更快。

## 常见错误 {#common-mistakes}

- **只数零值而不测量能耗。** 理论上的节省往往超过实测的节省。2026 年，英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit（研讨工作坊）指出，稀疏性至今仍未得到充分利用，部分原因是主流芯片难以利用它。
- **一次剪得太多。** 应分步进行，每步之间进行微调。
- **只在基准测试上检验。** 请检查您自己的用例，包括罕见用例，因为剪枝最先损害的往往就是它们。

Hoefler 及其同事在 2021 年对 300 多篇论文所作的综述是这方面的标准指南。关于理论，请阅读[高效 AI 的数学](/zh/文章/让-ai-更高效的数学/)。

## 来源

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
