简而言之
在您自己的机器上可以直接测量:使用 CodeCarbon 或能读取处理器和 GPU 计数器的功耗工具,或者在电脑和墙上插座之间接一个计量智能插座。先记录空闲基准,在整个作业期间持续采样而不是只取瞬时值,并重复运行几次,再相信得到的数字。
步骤
- 开始之前,先测量机器的空闲功耗。
- 运行 AI 任务,同时让 CodeCarbon、基于计数器的工具或计量智能插座全程记录。
- 在整个作业期间采样 GPU 功率,并按时间累加。
- 重复运行几次,报告平均值和范围。
- 每台机器都用墙插电表校验一次软件测量工具。
您自己拥有的硬件可以直接计量,这胜过任何估算。 要了解本地模型、一次微调或一款 AI 编程工具在您机器上实际消耗多少电,这是最好的办法。
我可以使用哪些工具?
| 方式 | 读取什么 | 适用于 |
|---|---|---|
| 计量智能插座 | 墙插处的整机功耗 | 任何人;可用来校验其他工具 |
| CodeCarbon | 处理器、GPU 和内存功率,以及电网碳排放 | Python 脚本、训练和本地推理 |
| 处理器计数器(许多 Intel 和 AMD 芯片上的 RAPL) | CPU 和内存能耗 | perf、Scaphandre、PowerJoular 等 Linux 工具 |
GPU 遥测(nvidia-smi、NVML) |
GPU 功率 | 在 NVIDIA 显卡上训练和推理模型 |
为什么要在一段时间内持续采样?
GPU 读数是采样得到的,而不是连续的。Yang 及其同事发现,在 A100 和 H100 GPU 上,nvidia-smi 的功率采样只覆盖约 25% 的运行时间,这对短作业可能造成严重误导。请在整个作业期间记录读数,让运行时间足够长、覆盖许多采样间隔,并按时间累加。
常见错误
- 忘记空闲基准。 台式机什么都不做也在耗电;减去这部分,才能看出 AI 增加了多少。
- 只测一次。 温度、后台任务和频率调节都会改变读数。请重复测量并给出范围。
- 只比较速度。 更快和更省电常常同时出现,但并非总是如此。两者都要报告。
要把能耗换算成碳排放,请参阅查找电网碳强度。完整的方法请参阅如何测量 AI 能耗。
来源
- Part-time power measurements: nvidia-smi's lack of attention, Yang et al. (arXiv 2312.02741) (2023)
- CodeCarbon, CodeCarbon (2026)
- When to use CodeCarbon, CodeCarbon (2025)
相关内容
我该如何……?
如何在本地运行 AI 模型?
如何用 Ollama 或 llama.cpp 等工具在自己的笔记本电脑或服务器上运行开放 AI 模型,选择能装得下的量化模型,并测量其能耗。
我该如何……?
如何测量训练一个模型的碳足迹?
用 CodeCarbon 等工具跟踪一次训练的能耗,乘以当地电网的碳强度,并报告所用硬件、时长和地点。
我该如何……?
如何设定基线来证明 AI 节能效果?
证明 AI 真正节能:在做任何改动前,用相同配置和负载进行测量,重复运行,按单位工作量报告,并确认质量没有下降。
良好实践
如何测量 AI 的能耗和碳排放
实用指南:如何计量或估算 AI 工作的能耗和碳排放,涵盖工具、系统边界、按任务计算的指标以及如实说明不确定性。