简而言之
您无法计量自己不掌控的硬件,所以改为估算:记录每次调用的输入和输出 token(词元),并使用 EcoLogits 之类的工具。它会封装您的 AI 客户端,报告每个请求的估算能耗和排放。请把这些数字标注为估算值,说明所用方法,并在能拿到供应商报告的数据时替换它们。
步骤
- 为每次调用记录模型、输入 token 和输出 token,并标注发起调用的功能。
- 用 EcoLogits 等估算工具封装您的 AI 客户端,获取每个请求的能耗和排放。
- 在日志或仪表板中,把估算值与延迟和成本放在一起保存。
- 每次发布时,审视最耗能的功能和提示词。
- 向供应商索取实测数据,拿到后替换估算值。
根据 token(词元)进行估算,按每次调用记录,并明确说明这是估算值。 托管的 AI 服务不会给您电表,所以除非您自己算出一个数字,否则耗能大的功能和浪费的提示词都看不见。
为什么用 token?
能耗随模型读取和写出的内容多少而增加。Epoch AI 自下而上的估算认为,一次典型的 ChatGPT 查询约耗电 0.3 Wh;输入为 10,000 个 token 时约为 2.5 Wh,输入为 100,000 个 token 时接近 40 Wh。因此,您自己的 token 日志远比任何笼统的平均值更能说明问题。
应该使用哪种工具?
CodeCarbon 自己的指南划清了界限:在您管理的硬件上运行的代码用 CodeCarbon,调用远程生成式 AI 服务则用 EcoLogits。EcoLogits 会封装常见 AI 提供商的客户端库,并根据模型和 token 数量,为每个请求返回估算的能耗和全球变暖影响。
每个估算值应附带记录哪些内容?
- 模型及其版本,以及用于估算的工具版本;
- 输入和输出 token;
- 发起调用的功能或工作流;
- 调用是否成功,以便计算每个成功任务的能耗。
常见错误
- 把估算值当作实测值。 闭源模型背后的模型规模和硬件往往只是假设。请给出一个范围,并加以说明。
- 忽略重试和智能体循环。 一个用户请求可能触发许多次调用;请参阅按任务跟踪能耗。
- 从不询问供应商。 请参阅向 AI 公司索取能耗数据。
关于方法和边界的更多内容,请参阅如何测量 AI 能耗。
来源
- EcoLogits documentation, EcoLogits (2025)
- When to use CodeCarbon, CodeCarbon (2025)
- How much energy does ChatGPT use?, Epoch AI (2025)
相关内容
如何按每项任务而不是按总量追踪 AI 能耗?
选择一个功能单位,例如每份文档或每项成功完成的任务,按这个单位记录能耗和质量,并与总量一起报告。
如何向 AI 公司索取能耗数据?
向 AI 服务商询问每次请求的能耗、碳排放和用水量时该问什么,如何判断回答,以及为什么即使回答不完整,提问也有帮助。
如何计算一项 AI 功能的软件碳强度(SCI)得分?
计算 AI 功能的 SCI 得分:能耗乘以电网碳强度,加上隐含排放,再除以功能单位,例如每次请求。
如何测量 AI 的能耗和碳排放
实用指南:如何计量或估算 AI 工作的能耗和碳排放,涵盖工具、系统边界、按任务计算的指标以及如实说明不确定性。