greenai.guide

首页 › 我该如何……? › 如何估算 AI API 调用的能耗?

我该如何……?

如何估算 AI API 调用的能耗?

更新于 · 阅读约需 1 分钟

简而言之

您无法计量自己不掌控的硬件,所以改为估算:记录每次调用的输入和输出 token(词元),并使用 EcoLogits 之类的工具。它会封装您的 AI 客户端,报告每个请求的估算能耗和排放。请把这些数字标注为估算值,说明所用方法,并在能拿到供应商报告的数据时替换它们。

步骤

  1. 为每次调用记录模型、输入 token 和输出 token,并标注发起调用的功能。
  2. 用 EcoLogits 等估算工具封装您的 AI 客户端,获取每个请求的能耗和排放。
  3. 在日志或仪表板中,把估算值与延迟和成本放在一起保存。
  4. 每次发布时,审视最耗能的功能和提示词。
  5. 向供应商索取实测数据,拿到后替换估算值。

根据 token(词元)进行估算,按每次调用记录,并明确说明这是估算值。 托管的 AI 服务不会给您电表,所以除非您自己算出一个数字,否则耗能大的功能和浪费的提示词都看不见。

为什么用 token?

能耗随模型读取和写出的内容多少而增加。Epoch AI 自下而上的估算认为,一次典型的 ChatGPT 查询约耗电 0.3 Wh;输入为 10,000 个 token 时约为 2.5 Wh,输入为 100,000 个 token 时接近 40 Wh。因此,您自己的 token 日志远比任何笼统的平均值更能说明问题。

应该使用哪种工具?

CodeCarbon 自己的指南划清了界限:在您管理的硬件上运行的代码用 CodeCarbon,调用远程生成式 AI 服务则用 EcoLogits。EcoLogits 会封装常见 AI 提供商的客户端库,并根据模型和 token 数量,为每个请求返回估算的能耗和全球变暖影响。

每个估算值应附带记录哪些内容?

  • 模型及其版本,以及用于估算的工具版本;
  • 输入和输出 token;
  • 发起调用的功能或工作流;
  • 调用是否成功,以便计算每个成功任务的能耗。

常见错误

  • 把估算值当作实测值。 闭源模型背后的模型规模和硬件往往只是假设。请给出一个范围,并加以说明。
  • 忽略重试和智能体循环。 一个用户请求可能触发许多次调用;请参阅按任务跟踪能耗。
  • 从不询问供应商。 请参阅向 AI 公司索取能耗数据。

关于方法和边界的更多内容,请参阅如何测量 AI 能耗。

来源

  1. EcoLogits documentation, EcoLogits (2025)
  2. When to use CodeCarbon, CodeCarbon (2025)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私