greenai.guide

首页 › 我该如何……? › 如何测量 AI 在我自己电脑或 GPU 上的能耗?

我该如何……?

如何测量 AI 在我自己电脑或 GPU 上的能耗?

更新于 · 阅读约需 1 分钟

简而言之

在您自己的机器上可以直接测量:使用 CodeCarbon 或能读取处理器和 GPU 计数器的功耗工具,或者在电脑和墙上插座之间接一个计量智能插座。先记录空闲基准,在整个作业期间持续采样而不是只取瞬时值,并重复运行几次,再相信得到的数字。

步骤

  1. 开始之前,先测量机器的空闲功耗。
  2. 运行 AI 任务,同时让 CodeCarbon、基于计数器的工具或计量智能插座全程记录。
  3. 在整个作业期间采样 GPU 功率,并按时间累加。
  4. 重复运行几次,报告平均值和范围。
  5. 每台机器都用墙插电表校验一次软件测量工具。

您自己拥有的硬件可以直接计量,这胜过任何估算。 要了解本地模型、一次微调或一款 AI 编程工具在您机器上实际消耗多少电,这是最好的办法。

我可以使用哪些工具?

方式 读取什么 适用于
计量智能插座 墙插处的整机功耗 任何人;可用来校验其他工具
CodeCarbon 处理器、GPU 和内存功率,以及电网碳排放 Python 脚本、训练和本地推理
处理器计数器(许多 Intel 和 AMD 芯片上的 RAPL) CPU 和内存能耗 perf、Scaphandre、PowerJoular 等 Linux 工具
GPU 遥测(nvidia-smi、NVML) GPU 功率 在 NVIDIA 显卡上训练和推理模型

为什么要在一段时间内持续采样?

GPU 读数是采样得到的,而不是连续的。Yang 及其同事发现,在 A100 和 H100 GPU 上,nvidia-smi 的功率采样只覆盖约 25% 的运行时间,这对短作业可能造成严重误导。请在整个作业期间记录读数,让运行时间足够长、覆盖许多采样间隔,并按时间累加。

常见错误

  • 忘记空闲基准。 台式机什么都不做也在耗电;减去这部分,才能看出 AI 增加了多少。
  • 只测一次。 温度、后台任务和频率调节都会改变读数。请重复测量并给出范围。
  • 只比较速度。 更快和更省电常常同时出现,但并非总是如此。两者都要报告。

要把能耗换算成碳排放,请参阅查找电网碳强度。完整的方法请参阅如何测量 AI 能耗。

来源

  1. Part-time power measurements: nvidia-smi's lack of attention, Yang et al. (arXiv 2312.02741) (2023)
  2. CodeCarbon, CodeCarbon (2026)
  3. When to use CodeCarbon, CodeCarbon (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私