简而言之
测量 AI 能耗的方法是:对您能控制的硬件进行计量,对您无法控制的服务进行估算,然后用本地、时间匹配的电网数据把两者换算成碳排放。每个数据都要记录边界、方法和不确定性,并按有用工作的单位报告,而不只是报告总量。
要点
- 能计量的就计量(硬件计数器、GPU 遥测、计量插座、调度器日志),不能计量的就估算(托管 API、公有云)。
- 每个数据都需要说明系统边界:包括什么、不包括什么,以及原因。
- 按有用工作的单位报告能耗,例如每个请求或每份文档,这样在使用量增长时也能看出效率。
- 使用工作运行时所在地区和时段的基于位置的电网碳强度;证书不会改变它。
- 重复测量并给出范围。仅一组前后对比可能只是噪声。
为什么要测量?
没有测量过的东西,您就无法减少、比较,也无法如实地宣称。 测量能把“AI 耗能很多”变成可以据以行动的数字:哪个功能、模型或任务耗能最多,以及某项改动是否奏效。
在 2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)上,测量一再被视为瓶颈。许多已公布的数据是估算值,方法往往没有记录,而且同样的工作因计入内容不同,可能得出差异很大的数字。本指南介绍一种站得住脚的方法。
我应该计量还是估算?
对您能控制的硬件进行计量;对您无法控制的服务进行估算。 两者都是有效的,只要每个数据都注明属于哪一种。
| 情况 | 方法 | 常用工具 |
|---|---|---|
| 您自己的笔记本电脑、工作站或服务器 | 用硬件计数器计量 | perf 或 powercap(Intel/AMD RAPL 计数器)、PowerJoular、Scaphandre |
| 您自己的 GPU | 用厂商遥测数据计量,并随时间采样 | nvidia-smi 或 NVML、CodeCarbon |
| 研究计算集群 | 读取调度器的能耗记录 | Slurm sacct(ConsumedEnergy 字段),如已启用 |
| 公有云虚拟机 | 根据利用率和账单估算 | Cloud Carbon Footprint、云服务商的碳排放仪表板 |
| 托管 AI API | 根据 token 和模型假设估算 | EcoLogits |
| 选择前比较开放模型 | 使用标准基准测试 | Hugging Face AI Energy Score |
CodeCarbon 自己的指南也划出了同样的界线:在您管理的硬件上运行的代码使用 CodeCarbon;调用远程生成式 AI 服务时使用 EcoLogits,因为您无法接触到硬件。
了解您的计量工具的局限
- GPU 遥测是采样,而不是持续监测。 研究人员发现,在 A100 和 H100 GPU 上,
nvidia-smi对功率的采样只覆盖约 25% 的运行时间,对于短任务可能造成严重的低估或高估。请对整个任务进行采样,运行时间要足够长以覆盖许多采样间隔,并对时间积分。 - 软件计量工具是模型。 在每个平台上,请用墙插式电表(一个带计量功能的智能插座就够了)校核一次。
- 云端数字是估算值。 公有云虚拟机上通常无法使用硬件计数器,因此请把云端数据标为估算值。
系统边界应包括什么?
把边界划得足够宽,以包含一切重要部分,并把它写下来。 没有边界的数据无法与任何东西比较。
谷歌 2025 年关于 Gemini 的论文是一个很好的例子。当计入加速器、主机、闲置容量和数据中心额外开销时,它报告文本提示的中位数为 0.24 Wh;只计入 TPU 和 GPU 的实际使用时,为 0.10 Wh。两者都是诚实的,只是回答了不同的问题。谷歌的边界还不包括外部网络、用户设备和模型训练,而且这些数据尚未经过独立核实。
请逐层考虑以下各项,并决定每一项是计入还是排除:
- 负责计算的加速器(GPU、TPU)。
- 服务器的其余部分: CPU、内存、存储。
- 为您的工作预留待命的闲置和保留容量。
- 数据中心额外开销: 冷却和电力转换,由 PUE 反映。
- 用户与服务之间的网络。
- 用户的设备。
- 隐含排放: 硬件制造中可归属于您的使用的那一部分。
- 训练和微调, 分摊到模型的整个使用寿命中。
- 周边流程: 重试、失败的运行、人工审核时间。
对于“AI 的成本是人工的三十倍”这类说法,sandpit 也提出了同样的观点:答案取决于您是否计入人的工作时间、所用设备以及与之相关的一切。比较之前,请先界定边界。
我应该记录什么?
记录得足够详细,使别人能重复测量并得到相近的数字。 每个数据都要保存:
- 测量了什么: 模型及版本、任务、数据集或提示集、输入和输出的 token 数量。
- 在何处、何时: 硬件、地区、日期和时间(计算碳强度时需要)。
- 如何测量: 工具及版本、采样率、是测量还是估算、是否包含闲置基线。
- 边界: 计入了上述哪些层。
- 分摊规则: 共享或闲置的能耗如何在用户或服务之间分配。
- 离散程度: 运行次数、平均值和范围。
- 质量: 当时的准确率或任务成功率。便宜但错误的答案并不是节省。
如何把能耗换算成碳排放?
用能耗乘以运行时所在地点和时段的电网碳强度,如果隐含排放在您的边界之内,再加上隐含排放。 Green Software Foundation 的软件碳强度(SCI)规范已作为 ISO/IEC 21031:2024 发布,它把这表述为一个比率:
SCI = ((E × I) + M) per R
其中 E 是能耗,I 是基于位置的电网碳强度,M 是隐含排放,R 是功能单位。该规范使用基于位置的电网数据,不允许可再生能源证书、购电协议或碳抵消等基于市场的措施降低得分。
- 尽可能使用分地区、时间匹配的数据。在大不列颠,National Energy System Operator 的 Carbon Intensity API 提供分地区的预测和估算;Electricity Maps 覆盖许多其他国家。
- 只有在没有更细数据时,才退而使用全国年平均值,并加以说明。
哪些按任务计算的指标最好用?
选择一个与您的 AI 所提供价值相匹配的功能单位,并据此报告。 总量随增长而上升,会掩盖效率;按单位计算的数据则能显示效率。
适合 AI 工作的功能单位:
- 每个请求、每个回答或每次对话
- 每份被摘要的文档、每张被分类的工单或每张生成的图像
- 每个成功完成的任务(更好,因为失败的尝试也会计入)
- 每次训练运行或每个微调后的模型(用于开发工作)
然后把单位能耗、单位碳排放、单位质量和总量并列跟踪。如果单位能耗下降而总量上升,说明效率在提高,但使用量增长得更快:这就是回弹效应,您的报告应当把它体现出来。
如何处理不确定性?
重复测量,报告范围,只宣称大于噪声的变化。 读数会随温度、后台进程和频率调节而变化。
- 先在同一台机器上测量闲置基线。
- 每项测试运行多次;报告平均值和离散程度。
- 一次只改变一项,并在相同的配置和负载下重新测量。
- 对于估算,列出每一项假设(模型规模、硬件、利用率、PUE),并给出低值和高值情景。
- 一旦有了测量数据或供应商报告的数据,就用它们替换估算值。
已公布的单次提示数据是有用的参考,但不能代替您自己的数字。Epoch AI 自下而上的估算显示,一次典型的 ChatGPT 查询约为 0.3 Wh;输入为 10,000 个 token 时升至约 2.5 Wh,输入为 100,000 个 token 时接近 40 Wh。您的使用方式比任何标题式的平均值都更重要。
检查清单
- [ ] 每个数据都标明是测量值还是估算值,并注明工具及版本
- [ ] 边界已写下,包括排除了什么及原因
- [ ] 已记录闲置基线;已说明共享能耗的分摊规则
- [ ] GPU 功率在整个任务期间采样,而不是靠快照
- [ ] 按功能单位报告能耗,并与总量和质量并列
- [ ] 用基于位置、时间匹配的电网数据计算碳排放
- [ ] 多次运行;报告平均值和范围
- [ ] 方法与结果一起保存,以便他人重复
下一步做什么
- 选择一个 AI 功能或工作负载,并定义其功能单位。
- 在训练或本地推理脚本中加入 CodeCarbon,或在您的 AI API 客户端中加入 EcoLogits,并为每个请求或每次运行记录能耗。
- 写一页测量方法说明:边界、工具、分摊规则、碳数据来源。
- 在选择模型之前先对候选模型做基准测试;参见选择合适的模型。
- 发布任何数据之前,请对照诚实的绿色声明进行核查。
- 阅读为什么测量是瓶颈,并在产品目录中查找测量工具,或向顾问寻求帮助。
常见问题
一次 AI 提示(prompt)要用多少能源?
已公布的典型文本提示数据不到 1 瓦时:谷歌报告 Gemini 文本提示的中位数为 0.24 Wh,Epoch AI 估计一次典型的 ChatGPT 查询约为 0.3 Wh。长输入、推理以及图像或视频生成的能耗可能高得多。
我能测量 ChatGPT 这类托管 AI 服务的能耗吗?
不能直接测量。您可以借助 EcoLogits 等工具,根据 token 数量和模型假设进行估算,并向供应商索取其自身的数据和方法。
运行时间能否很好地代表能耗?
不能。速度和能耗往往同向变化,但并非总是如此,因此请直接测量能耗,并同时报告两者。
什么是系统边界?
它是您的数据所包含内容的清单:例如仅 GPU、整台服务器、数据中心的额外开销、网络、用户的设备以及硬件的制造。两个诚实的数据可能相差十倍,原因就在于边界不同。
来源
- Measuring the environmental impact of delivering AI at Google scale, Google (arXiv 2508.15734) (2025)
- How much energy does ChatGPT use?, Epoch AI (2025)
- Part-time power measurements: nvidia-smi's lack of attention, Yang et al. (arXiv 2312.02741) (2023)
- Software Carbon Intensity (SCI) specification, Green Software Foundation (2024)
- ISO/IEC 21031:2024 Software Carbon Intensity (SCI) specification, ISO (2024)
- When to use CodeCarbon, CodeCarbon (2025)
- EcoLogits documentation, EcoLogits (2025)
- AI Energy Score, Hugging Face (2025)
- Carbon Intensity API, National Energy System Operator (2025)
- Slurm sacct manual (ConsumedEnergy), SchedMD (2025)
相关内容
为任务选择合适的模型
如何为 AI 选对规模:何时使用小型或专用模型,何时前沿模型物有所值,模型路由如何运作,以及何时根本不该使用 AI。
关于 AI 的诚实环保声明
如何避免在 AI 上“洗绿”:哪些可以声明、哪些不能,反弹效应,诚实报告,以及英国、欧盟和美国的环保声明规则。
测量是绿色 AI 的瓶颈
为什么 AI 能耗数据难以信任、难以比较:企业自报、估算而非实测、边界各不相同,以及好的测量应当是什么样子。
AI 的能效标识与基准测试
2026 年 AI 能效评级的现状:AI Energy Score、MLPerf Power、欧盟《人工智能法》的文档要求和数据中心评级,以及标识能说明什么。