简而言之
AI 所用的能源中,有很大一部分花在了任务并不需要的计算和数据搬运上。剪枝、稀疏性、随机草图(sketching)、随机矩阵理论以及内置结构的模型等数学方法可以消除这些冗余,而且往往几乎不损失准确率。只有当节省被实际测量、而不是被直接花在更大的模型上时,这些方法才真正节省能源。
要点
- 大型神经网络是过参数化的;训练后通过剪枝可以去掉其大部分权重,而准确率损失很小。
- 只有当硬件和软件能够跳过零值时,稀疏性才能节省能源;否则只是纸面上的节省。
- 搬运数据所耗的能源往往比算术运算更多,因此减少内存访问的方法(如草图算法和 IO 感知注意力)很重要。
- 把已知的物理规律或对称性内置到模型中,可以减少模型所需的参数和数据。
- 经典数值方法有时是更环保的答案,混合流程可以只在有帮助的地方使用一个小型网络。
神经网络所用的能源大部分花在两件事上:算术运算,以及在内存和处理器之间搬运数字。数学可以同时减少这两方面的消耗。本文用通俗的语言解释主要方法,附上相关的已发表论文,并说明每种方法在什么情况下不再划算。
2026 年,英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)把这个问题放在了核心位置:随着需求增长,数学科学如何减少 AI 所需的能源和资源?下面介绍的是会上最常提到的方法,并对照已发表的证据加以说明。
为什么会有冗余可以去除?
大型模型比任务严格所需的规模更大,因为规模大更容易训练。 训练在高维空间中效果更好,但训练完成后,许多权重的作用其实很小。
这就留下了三类节省空间:更少的权重(剪枝)、任一时刻更少的活跃数值(稀疏性),以及更少的数据搬运(草图算法和内存感知算法)。第四类方法则从一开始就避免冗余,即把已知的结构内置到模型中。
什么是剪枝?它能去掉多少?
剪枝删除贡献最小的权重,然后让网络恢复性能。 Han 等人在 2015 年表明,剪枝使 AlexNet 图像模型的参数减少到原来的九分之一,使 VGG-16 的参数减少到原来的十三分之一,而准确率没有损失。
后续研究让这一思路更加精准:
- 彩票假设(lottery ticket hypothesis,Frankle 和 Carbin,2019)发现,大型网络中包含小得多的子网络,只要从正确的起点开始训练,就能达到完整网络的准确率。
- SparseGPT(Frantar 和 Alistarh,2023)一次性把超大型语言模型剪枝到至少 50% 的稀疏度,无需重新训练,困惑度(perplexity)只略有上升。
- Hoefler 等人 2021 年对 300 多篇论文的综述,是了解剪枝何时有效、何时无效的标准指南。
稀疏性真的能节省能源吗?
只有当零值被跳过时才能。 一个 80% 是零的矩阵,如果硬件对每个元素都做乘法,代价仍然是全额的。区分非结构化稀疏(零值散布在任何位置)和结构化稀疏(整块、整个通道或成固定模式的零值)很有帮助,后者更容易被标准芯片利用。
稀疏性可以在两个地方找到:
- 在权重中,通过剪枝获得。
- 在激活值中,即对于给定输入在网络中流动的数值。Kurtz 等人(2020)表明,提高 ReLU 激活函数的阈值可以让更多激活值恰好为零,从而在推理时跳过。Mirzadeh 等人(2024)认为,使用 ReLU 激活的大语言模型(LLM)也可以利用同样的效应来减少计算。
激活稀疏性是动态的:哪些数值为零会随每个输入而变化。这使它更难在硬件中加以利用,这也是研讨工作坊把软硬件协同设计视为数学的一部分、而不是事后补充的原因之一。
为什么数据搬运如此重要?
从内存中取出一个数字所耗的能源,可能比用它做算术运算还多。 减少数据搬运的算法,往往比减少运算次数的算法节省得更多。
有两类方法专门解决这个问题:
- 随机草图。 草图(sketch)是大矩阵的一个小得多的随机投影,保留了您需要的性质。Halko、Martinsson 和 Tropp 2011 年的论文,以及 Martinsson 和 Tropp 2020 年的综述,阐述了随机数值线性代数的理论,为这些近似给出了可证明的误差界。应用于神经网络时,草图可以在大型中间结果被搬出芯片之前对其进行压缩。
- IO 感知算法。 FlashAttention(Dao 等人,2022)计算出的注意力结果与标准方法完全相同,但重新组织了计算过程,减少了 GPU 大而慢的内存与小而快的内存之间的读写。节省来自调度,而不是近似。
随机矩阵理论能带来什么?
随机矩阵理论描述大型随机矩阵的行为,而神经网络的权重在训练开始时正是这样的矩阵。 这让数学家可以在训练网络之前预测它的性质。
Pennington 和 Worah(2017)用它分析了信号如何穿过宽网络。Martin 和 Mahoney(2021)研究了训练后权重矩阵的谱,发现了一些能够反映某一层学习效果的规律。这类结果有助于设定稀疏度,并诊断出那些规模超出需要的层,而无需通过训练许多变体来反复试错。
结构能替代数据和参数吗?
能,只要结构是已知的。 如果一个问题遵循某种物理定律或对称性,那么内置了这些知识的模型就不必从数据中学习它。
- 物理信息神经网络(Raissi、Perdikaris 和 Karniadakis,2019)把控制方程加入训练目标,使网络在给出物理上不可能的答案时受到惩罚。
- 几何深度学习(Bronstein 等人,2021)设计尊重旋转或置换等对称性的网络,因此所需的参数和样本更少。
- 算法展开(Monga、Li 和 Eldar,2021)把经典迭代算法的各个步骤变成网络的各层,从而得到小巧、可解释的模型。
研讨工作坊上反复提到一个相关的思路:混合流程。在经典方法或基于物理的方法擅长的步骤上保留它们,只在适合学习的部分使用小型网络,例如为模拟中某个代价高昂的组件建立代理模型。有时,最环保的答案是一种现有的数值方法,完全不用神经网络。
自动微分和量化处于什么位置?
自动微分(AD)计算程序的精确导数,它是训练的引擎。 正如 Baydin 等人 2018 年的综述所解释的,反向传播就是反向模式的自动微分。高效的自动微分本身对绿色 AI 就很重要,正是它使剪枝感知训练和可微分能耗惩罚等技术成为可能。
量化用更少的比特位存储数字,例如用 8 位整数代替 32 位浮点数。Jacob 等人(2018)展示了如何训练只用整数推理的网络,从而减少每次运算的内存和能耗。比特位更少也意味着需要搬运的数据更少。
能否复用模型,而不是训练新模型?
通常可以。 Wortsman 等人(2022)表明,对同一模型的几个微调版本的权重求平均,即所谓“模型汤”(model soup),可以提高准确率,而推理时不增加任何成本。合并和改造现有模型,可以避免重复承担从零开始训练的成本。编排优于生成把同样的复用思路又推进了一步。
局限在哪里?
效率提升是真实的,但并不会自动变成节省。 上述每种方法都有三点需要注意:
- 纸面上的节省(更少的参数、更少的运算)必须通过在真实硬件上测量能耗来确认。参见测量 AI 能耗。
- 必须在实际任务上检查准确率,而不只是看基准测试的平均值。
- 更便宜的计算往往会被用来做更多的计算。效率不等于充足解释了这种反弹效应。
下一步怎么做
- 如果您训练或微调模型,请先尝试训练后剪枝和量化:这是代价最低的收益。参见高效训练与推理。
- 在指望稀疏性之前,先检查您的硬件和软件库是否真的能利用它。
- 在动用神经网络之前,先问问经典方法或混合方法是否已经能解决问题。
- 在任何改动前后,都在您将要使用的硬件上测量能耗。
- 研究人员:请在研究和博士项目列表中寻找高效 AI 方面的资助项目和博士职位,并参阅研究人员指南。
常见问题
AI 中的剪枝是什么?
剪枝是从训练好的神经网络中删除对输出贡献很小的权重或整个神经元。较小的网络需要的内存更少,在合适的硬件上,所需的计算和能源也更少。
稀疏模型总是更省能源吗?
不是。一个充满零值的模型,只有在硬件和软件跳过这些零值时才能节省能源。在标准 GPU 上,非结构化稀疏的运行速度可能并不比稠密模型快,这就是结构化稀疏和稀疏计算内核之所以重要的原因。
什么是物理信息神经网络?
一种经过训练、能够遵守已知物理定律的神经网络,通常是把控制方程加入其损失函数。内置这些知识意味着网络只需更少的数据就能学到有用的解。
与更好的芯片相比,数学真能带来改变吗?
能,而且两者可以结合。更好的算法减少需要完成的工作量;更好的硬件以更低的成本完成这些工作。AI 领域几项最大的节省,例如量化和高效注意力机制,来自数学和算法,而不是新芯片。
来源
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
- ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
- Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
- Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
- FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
- Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
- Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
- Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)