greenai.guide

首页 › 我该如何……? › 如何比较不同 AI 模型的能耗?

我该如何……?

如何比较不同 AI 模型的能耗?

更新于 · 阅读约需 1 分钟

简而言之

如果有标准基准覆盖您的任务,例如 Hugging Face 的 AI Energy Score,就使用它;否则就在相同的任务、硬件和设置下自己测量候选模型。比较每个成功完成任务的能耗,同时比较质量,因为一个便宜却会失败的模型,最终花费更多。

步骤

  1. 查看您的候选模型是否已有针对您任务的 AI Energy Score 评级。
  2. 对于没有评级的模型,在相同的 GPU 和设置下,对每个模型运行相同的基准测试。
  3. 使用一组固定的真实提示,输入和输出长度要符合实际。
  4. 用相同的方法,记录每个模型每次请求的能耗和质量。
  5. 比较每个成功完成任务的成本,包括重试。

同类相比:相同的任务、相同的硬件、相同的设置、相同的测量方法。 不同服务商公布的数据采用不同的方法和边界,因此很少能公平比较。

有现成的比较吗?

对许多开放模型来说,有。 Hugging Face 的 AI Energy Score 测量十种常见任务中每 1,000 次查询的 GPU 能耗,并相对于同一任务上的其他模型给出一到五颗星。它还提供了用同样方法对私有模型进行基准测试的途径。请从这里开始。

如何自己测量模型?

  • 您自己运行的模型: 用 CodeCarbon 这样的工具包裹每次运行,它会根据处理器和内存功率估算能耗。
  • 托管 API: 用 EcoLogits 这样的工具根据 token(词元)数量估算,并把结果标注为估算值。
  • 保持其他一切不变: 提示、批量大小、输入和输出长度、硬件和地区。
  • 重复运行,并报告一个范围,而不是一个数字。

差异可能很大。在 Luccioni、Jernite 和 Strubell 的比较中,在相同任务上,多用途生成式模型的成本比专用系统高出几个数量级。

常见错误

  • 按每次调用而不是每次成功来比较。 要把重试和失败计算在内。
  • 忽视输出长度。 一个模型写出两倍的内容,成本就可能是两倍,无论它的规模如何。
  • 在同一张表中混用估算数据和计量数据,却不加说明。

完整的方法请参阅如何测量 AI 能耗;关于如何解读评级,请参阅解读 AI Energy Score 评级。

来源

  1. AI Energy Score, Hugging Face (2025)
  2. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
  3. CodeCarbon, CodeCarbon (2026)
  4. EcoLogits documentation, EcoLogits (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私