简而言之
研究人员可以通过两种方式让 AI 更绿色:开发所需计算更少的方法,以及测量并报告自身工作所消耗的能源。剪枝、量化、蒸馏、更好的数值方法和物理与机器学习混合模型能够降低 AI 的成本,而 CodeCarbon 和 Green Algorithms 计算器等工具则能让这些成本在论文中清楚呈现。
要点
- Patterson 及其同事发现,模型、数据中心和处理器的选择,可以把训练的碳足迹降低多达约 100 到 1,000 倍。
- 值得研究关注的不仅是训练,还有推理:模型每被使用一次,推理就运行一次。
- 在每篇论文中报告能耗、硬件、运行时间和地点,可使用 CodeCarbon 或 Green Algorithms 计算器等免费工具。
- 数学的贡献不止于算法,还包括指标、不确定性、基准测试,以及对 AI 使用如何扩散的建模。
- 为项目设定算力预算,其中要包括失败的运行和超参数搜索,而不只是最终模型。
绿色 AI 为什么对研究很重要?
因为研究确立的方法会被所有人效仿,而研究本身也要消耗大量计算资源。一项能把推理成本减半的技术一旦被采用,任何使用它的模型每运行一次都会节省能源。
这一论点很早就有人提出。Strubell、Ganesh 和 McCallum 在 2019 年的论文中量化了训练若干语言模型的经济和环境成本,并提出了降低成本的方法。Patterson 及其同事后来发现,模型架构、数据中心和处理器的选择,可以把训练的碳足迹降低多达约 100 到 1,000 倍。Luccioni、Jernite 和 Strubell 表明,完成同一项任务时,运行多用途生成式模型的成本可能比专用模型高出几个数量级。
2026 年,英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)把研究议程分为三个阶段,每个阶段适用不同的技术:从零开始训练、微调或适配,以及部署(无论是在云端还是在低能耗设备上)。研讨会还指出,许多已有工作散落在项目交付成果和鲜为人知的代码库中,因此任何项目的第一步,都是先弄清楚已经做过哪些工作。
哪些方法能让模型更高效?
主要的几类方法是:去掉模型不需要的部分、使用更少的比特、从更少的数据中学习,以及把已知结构融入模型。大多数方法可以组合使用。
剪枝与稀疏性
剪枝会去掉对输出贡献很小的权重。稀疏性是指矩阵或激活值中的大多数数值为零,因此计算时可以跳过它们。大型网络的参数往往远多于最终任务所需,因为过度参数化有助于优化,所以训练后可以去掉很多参数。
尚待解决的问题包括:如何在训练前设定稀疏性目标,而不是靠反复试错;如何让动态稀疏性(零值的位置取决于输入)在真实硬件上保持高效;以及鉴于主流芯片的架构限制,为什么稀疏性至今仍未被充分利用。理论上的收益往往超过实测的加速效果,因此在真实硬件上得到的实证结果很重要。
量化与混合精度
量化是用更少的比特来存储和计算,例如用 8 位整数代替 32 位浮点数。混合精度是在安全的地方使用较低精度,在需要的地方使用较高精度。联合国教科文组织和伦敦大学学院报告称,量化等压缩方法可以在保持准确率的同时节能多达 44%。数值分析学者很适合判断在哪些地方降低精度是安全的,以及误差如何传播。
蒸馏与更小的模型
蒸馏是训练一个小型“学生”模型来模仿一个大型“教师”模型。学生模型处理每个请求时的运行成本都更低。相关的工作还有参数高效微调(只调整少量额外参数,而不是整个模型)和持续学习,它们都能避免从零开始重新训练。
重复利用模型
与其训练新模型,不如组合现有模型。Wortsman 及其同事表明,对若干个微调模型的权重取平均(“模型汤”,model soups),可以在不增加任何推理成本的情况下提高准确率。合并和重复利用模型是效率研究中一个很有前景的方向。
数据效率
用更少但更好的数据进行训练,可以直接降低训练能耗。相关技术包括删除重复和低价值的样本、主动学习(选择信息量最大的样本进行标注),以及能从少量样本中泛化的架构。
数值方法与数据移动
AI 的很大一部分是线性代数,几十年来的数值分析成果都可以用上。随机数值线性代数和草图方法(sketching,在保留矩阵重要性质的同时对其进行压缩)可以同时减少算术运算和数据移动;在许多设备上,数据移动消耗的能源比算术运算本身还多。近似注意力只计算注意力矩阵中重要的部分,是大型语言模型中一个活跃的研究实例。自动微分是反向传播背后的通用技术,它把 AI 与现有的科学计算代码联系在一起。
物理与机器学习混合
与其用神经网络取代整个模拟,不如只替换适合替换的部分。一种常见模式是,为气候模型或工程模型中能耗最高的组件学习一个代理模型(surrogate),其余部分仍保留物理模型。物理信息模型把已知定律融入损失函数或架构中,所需的参数和数据可能少得多。其他结构性工具还包括凸性、展开算法(把经典求解器的各个步骤变成网络层)以及对称性,例如几何深度学习中的应用。
这场研讨会还提出了一些较少被探索的想法:
- 在训练目标中加入能耗或“碳”项,例如在混合专家模型中惩罚激活的神经元或代价高昂的专家;
- 在长时间计算过程中进行纠错,定期检查,使一次运行不必从头重来;以及
- 检测多智能体 AI 系统何时陷入循环、浪费 token(词元)。
我应该如何在论文中测量和报告能耗?
边做边测量,报告一套标准信息,并把没有写进论文的运行也包括在内。否则,关于效率的说法就无法核查或比较。
免费工具:
- CodeCarbon 是一个开源 Python 包,根据 CPU、GPU 和内存的耗电量以及当地电网的碳强度来估算排放。可以把它加入训练和评估脚本中。
- Green Algorithms 计算器由 Lannelongue、Grealey 和 Inouye 开发,根据硬件、运行时间、内存和地点来估算一次计算的足迹。它适用于 HPC 作业,以及在您开始记录之前完成的工作。
- 硬件计数器,例如许多 CPU 上的 RAPL 和 GPU 厂商的功耗接口,可以提供直接读数,上述工具正是以此为基础。
需要报告的内容:
| 项目 | 示例 |
|---|---|
| 硬件 | GPU 型号和数量、CPU、内存 |
| 运行时间 | 最终运行的 GPU 小时数,以及所有调参和失败运行的 GPU 小时数 |
| 能耗 | kWh,实测或估算,并注明工具及版本 |
| 地点 | 国家或电网区域,以及所使用的碳强度 |
| 排放 | kg CO₂e |
| 推理 | 在给定批量大小和序列长度下,每 1,000 次请求的能耗 |
| 边界 | 是否包括冷却和数据中心的额外开销(PUE) |
要说清楚不确定性。基于功耗模型的估算可能与电表读数不同;提供商给出的数字,例如 Google 报告的 Gemini 文本提示能耗中位数 0.24 Wh,采用的是它们自己的方法和边界。我们的测量 AI 能耗指南和测量是瓶颈一文有更深入的介绍。
我该如何设定算力预算?
提前决定一个项目可以使用多少计算资源,并像管理资金一样跟踪它。预算能让取舍变得清晰,也能防止无休止的调参。
- 估算主要实验所需的 GPU 小时数,再为探索性工作留出余量。
- 用小规模试点在扩大规模之前排除不可行的想法。
- 进行超参数搜索时,优先采用高效的搜索方法,例如提前终止表现不佳的运行,而不是大规模网格搜索。
- 在合适的地方重复利用检查点和预训练模型。
- 把时间灵活的作业安排在电网更清洁的时段或地区运行。
- 报告结果与算力的关系,例如每 kWh 的准确率,而不只是最佳准确率。
Lannelongue 及其同事提出的 GREENER 原则(治理、责任、估算、能源与隐含影响、新的合作、教育与研究)为研究团队和机构提供了一个框架。
效率如何影响可重复性?
报告能耗和算力能让研究更容易重复,而高效的方法能让重复研究的成本更低。一个需要数千 GPU 小时的结果,只有少数团队能够核查。
- 公开代码、配置和随机种子,并说明一个结果基于多少次运行。
- 报告多次运行之间的方差。对一个非确定性过程只运行一次得到的单一准确率数字,可能具有误导性。
- 尽可能发布模型的更小版本或蒸馏版本,以便他人在此基础上开展工作。
- 分享效率方法的负面结果,让他人不必重复同样的尝试。
数学可以在哪些方面做出贡献?
数学的作用不只是让算法更快,还在于决定测量什么、对模型能有多大信任,以及 AI 的使用如何在社会中扩散。研讨会强调,数学家必须用工具和证据来证明自己能改进什么。
- 效率理论: 用于剪枝和稀疏性的随机矩阵理论,用于小模型的逼近理论,用于加快训练的优化理论。
- 数值分析: AI 流程中的精度、稳定性、误差界和求解器。
- 不确定性量化: 一个代理模型能被信任到什么程度,尤其是在其训练数据范围之外;这决定了它能否取代代价高昂的物理模型。
- 指标与基准测试: 公认的、可比较的能耗与质量衡量标准,以及内含效率考量的质量指标。
- 情景与系统建模: 效率提升如何改变总用量(回弹效应),用博弈论解释组织为何感到被迫使用 AI,以及边缘计算与集中计算之间的平衡。
- 方法的选择: 判断一个问题何时真正需要 AI、何时经典算法已能很好解决的框架。
我该如何寻找经费和合作者?
把一个效率研究问题与一个在意成本或速度的真实应用合作伙伴结合起来。如果节能的同时还能带来更快、更便宜或更可靠的结果,资助方和业界的反响会更好。
- 国家研究理事会,例如英国的 EPSRC、美国的 NSF 及其他国家的同类机构,资助方法研究;请关注有关 AI、数字研究基础设施和净零排放的项目征集。
- 欧洲计划,例如“地平线欧洲”(Horizon Europe)以及 ITEA 等 Eureka 集群,资助与业界合作的项目。ITEA 项目 GreenCode 就是绿色 AI 和软件能耗领域的一个例子。
- 短期产业项目、实习和联合资助的博士生名额,是开始合作的低成本方式。
- 研究软件工程师和 HPC 中心通常具备绿色计算方面的专业知识,并提供培训。
跨学科团队的效果最好:让硬件、软件、数值方法和领域专家坐在一起。研究目录列出了绿色 AI 领域的研究团队和项目。
有哪些博士途径?
在高效机器学习、数值分析、可持续与低碳计算、HPC 以及软硬件协同设计等方向都有博士项目。其中许多并没有标注为“绿色 AI”,所以也请搜索这些主题。
途径包括:
- 博士培养中心和项目,例如英国的 UKRI 博士培养中心(Centres for Doctoral Training);
- 欧盟玛丽·居里行动(Marie Skłodowska-Curie Actions)下的博士网络;
- 业界联合资助或赞助的博士生名额;以及
- 附属于大型研究资助项目的课题。
请查看博士项目目录了解当前机会,并查看课程目录了解有关高效 AI、绿色软件和科研计算的短期课程。
下一步做什么
- 在下一个实验中加入 CodeCarbon 或类似的记录工具,或用 Green Algorithms 计算器估算您上一个项目的足迹。
- 在下一篇论文中加入一张能耗与算力表,包括调参和失败的运行。
- 为当前项目设定算力预算,并每月复核。
- 在您已经使用的模型上尝试一种效率方法,例如量化或蒸馏,并报告其中的取舍。
- 动手之前先查查已有成果:搜索研究目录和近期的项目交付成果。
- 寻找一个有高成本 AI 或模拟工作负载的合作伙伴,并提议开展联合项目。
- 在课程目录中寻找培训,并把博士项目目录分享给学生。
常见问题
我该如何报告实验的能耗?
在实验运行时用 CodeCarbon 等工具记录能耗,或事后用 Green Algorithms 计算器根据硬件、运行时间和地点进行估算。报告 kWh、CO₂e、硬件、时长和电网区域,并把失败的运行和调参运行包括在内。
量化会损害准确率吗?
通常只有轻微影响,但取决于模型和任务。联合国教科文组织和伦敦大学学院报告称,量化等压缩方法在保持准确率的同时可节能多达 44%;请用您自己的基准测试加以验证。
绿色 AI 是一个真正的研究领域,还是一个次要话题?
它是一个不断发展的领域,横跨机器学习、数值分析、硬件和计算系统。关于训练和推理能耗的研究至少可以追溯到 2019 年,而欧盟《人工智能法》现在要求通用模型的提供商记录能耗。
我可以攻读绿色 AI 方向的博士吗?
可以。请寻找高效机器学习、数值方法、可持续计算或高性能计算(HPC)方向的项目。我们的博士项目目录列出了当前的机会。
来源
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- CodeCarbon, CodeCarbon (2026)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- Measuring the environmental impact of delivering AI at Google scale, Elsworth et al., Google (2025)
- AI Act, Annex XI: technical documentation for providers of general-purpose AI models, European Commission AI Act Service Desk (2024)
- Green AI and energy-aware computing, GreenCode (ITEA) (2026)