简而言之
如果有标准基准覆盖您的任务,例如 Hugging Face 的 AI Energy Score,就使用它;否则就在相同的任务、硬件和设置下自己测量候选模型。比较每个成功完成任务的能耗,同时比较质量,因为一个便宜却会失败的模型,最终花费更多。
步骤
- 查看您的候选模型是否已有针对您任务的 AI Energy Score 评级。
- 对于没有评级的模型,在相同的 GPU 和设置下,对每个模型运行相同的基准测试。
- 使用一组固定的真实提示,输入和输出长度要符合实际。
- 用相同的方法,记录每个模型每次请求的能耗和质量。
- 比较每个成功完成任务的成本,包括重试。
同类相比:相同的任务、相同的硬件、相同的设置、相同的测量方法。 不同服务商公布的数据采用不同的方法和边界,因此很少能公平比较。
有现成的比较吗?
对许多开放模型来说,有。 Hugging Face 的 AI Energy Score 测量十种常见任务中每 1,000 次查询的 GPU 能耗,并相对于同一任务上的其他模型给出一到五颗星。它还提供了用同样方法对私有模型进行基准测试的途径。请从这里开始。
如何自己测量模型?
- 您自己运行的模型: 用 CodeCarbon 这样的工具包裹每次运行,它会根据处理器和内存功率估算能耗。
- 托管 API: 用 EcoLogits 这样的工具根据 token(词元)数量估算,并把结果标注为估算值。
- 保持其他一切不变: 提示、批量大小、输入和输出长度、硬件和地区。
- 重复运行,并报告一个范围,而不是一个数字。
差异可能很大。在 Luccioni、Jernite 和 Strubell 的比较中,在相同任务上,多用途生成式模型的成本比专用系统高出几个数量级。
常见错误
- 按每次调用而不是每次成功来比较。 要把重试和失败计算在内。
- 忽视输出长度。 一个模型写出两倍的内容,成本就可能是两倍,无论它的规模如何。
- 在同一张表中混用估算数据和计量数据,却不加说明。
完整的方法请参阅如何测量 AI 能耗;关于如何解读评级,请参阅解读 AI Energy Score 评级。
来源
- AI Energy Score, Hugging Face (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- CodeCarbon, CodeCarbon (2026)
- EcoLogits documentation, EcoLogits (2025)
相关内容
如何看懂 AI Energy Score 评级?
AI Energy Score 的一到五星评级是什么意思,测量的是什么,如何用它比较模型,以及它不能告诉您哪些信息。
如何测量 AI 在我自己电脑或 GPU 上的能耗?
用硬件计数器、GPU 遥测数据或插座式电表测量本地 AI 能耗,在整个作业期间持续采样,并减去空闲时的基准功耗。
如何估算 AI API 调用的能耗?
托管的 AI API 无法直接计量,但您可以用 EcoLogits 根据 token(词元)数量和模型假设估算每次调用的能耗,并将其与成本一起记录。
如何测量 AI 的能耗和碳排放
实用指南:如何计量或估算 AI 工作的能耗和碳排放,涵盖工具、系统边界、按任务计算的指标以及如实说明不确定性。