greenai.guide

首页 › 我该如何……? › 如何对神经网络进行剪枝?

我该如何……?

如何对神经网络进行剪枝?

更新于 · 阅读约需 1 分钟

简而言之

对训练好的网络剪枝,即去除贡献最小的权重、神经元或层,然后进行简短的微调使其恢复,并按您的质量标准进行测试。剪枝曾把 AlexNet 的参数减少到九分之一而不损失准确率,超大型语言模型也已能一次性剪枝到至少 50% 的稀疏度。如果您希望在普通硬件上运行得更快,请优先选择结构化剪枝。

步骤

  1. 先测量未剪枝模型的准确率、延迟和能耗。
  2. 除非您的硬件能利用稀疏权重,否则选择结构化剪枝(整个神经元、注意力头或层)。
  3. 按重要性(例如数值最小)去除适度比例的权重。
  4. 进行简短的微调,让网络恢复。
  5. 分步重复,每一步都进行测试,质量低于您的标准时就停止。

大型网络携带的权重通常远远超过任务所需,所以训练完成后可以去掉其中很多。 剪枝让模型变小,在合适的硬件上运行成本也更低。

证据显示了什么?

Han 及其同事在 2015 年表明,剪枝把 AlexNet 图像模型的参数减少到九分之一,把 VGG-16 减少到十三分之一,且准确率没有损失。Frankle 和 Carbin 提出的彩票假说发现,大型网络中包含小得多的子网络,其准确率可以与完整网络相当。在语言模型方面,Frantar 和 Alistarh 的 SparseGPT 无需重新训练,就能把超大型模型一次性剪枝到至少 50% 的稀疏度,困惑度只略有上升。

结构化还是非结构化?

  • 非结构化剪枝去除单个权重。它能去除的最多,但留下的零散零值往往是普通 GPU 和 CPU 无法跳过的。
  • 结构化剪枝去除整个神经元、注意力头、通道或层。它去除的较少,但缩小后的模型在任何硬件上都运行得更快。

常见错误

  • 只数零值而不测量能耗。 理论上的节省往往超过实测的节省。2026 年,英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)指出,稀疏性至今仍未得到充分利用,部分原因是主流芯片难以利用它。
  • 一次剪得太多。 应分步进行,每步之间进行微调。
  • 只在基准测试上检验。 请检查您自己的用例,包括罕见用例,因为剪枝最先损害的往往就是它们。

Hoefler 及其同事在 2021 年对 300 多篇论文所作的综述是这方面的标准指南。关于理论,请阅读高效 AI 的数学。

来源

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私