简而言之
先摸清公司在哪些地方使用 AI,再把高效的选择设为默认:使用能达到质量要求的最小模型、简短的输出,非必要时关闭 AI 功能。向供应商询问每次请求的能耗以及运行地点,按每项有用任务进行测量,并把这些写进一份有专人负责的简短政策。这些步骤大多在节能的同时,也能降低成本、缩短等待时间。
步骤
- 列出正在使用的 AI 工具、功能和自动化流程,以及每项大约多久运行一次。
- 针对使用量最大的任务,测试更小的模型或非 AI 方法能否达到质量要求。
- 在公司工具中设定高效的默认值,例如更小的模型、输出上限,以及非必要时关闭功能。
- 向供应商询问每次请求的能耗、工作负载的运行地点以及报告方式。
- 跟踪每项有用任务的能耗或 token(词元)数,并每季度复核一次数据。
- 把这些规则写进一份简短的政策,指定负责人和复核日期。
把高效的选择设为默认,再测量它是否奏效。 对大多数公司来说,能耗主要来自每天多次运行模型(推理),而不是训练模型,因此在模型、提示和功能上的日常选择最为重要。
有两项研究结果说明了改进空间有多大。Luccioni、Jernite 和 Strubell 发现,在相同任务上,通用生成式模型的运行成本比专用模型高出几个数量级。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)发现,更小的专用模型最多可将能耗降低 90%,而缩短提示和回复可降低一半以上。
我该从哪里开始?
- 摸清 AI 使用情况:参见如何摸清组织在哪些地方使用 AI。
- 为最繁忙的任务选用合适规模的模型:先试小模型;参见选择更小的 AI 模型。
- 设定默认值:关闭没人用的功能;参见关闭不需要的 AI 功能。
- 询问供应商:参见在 AI 采购中纳入可持续性。
- 按任务测量:参见跟踪每项任务的 AI 能耗。
- 形成书面规定:参见制定绿色 AI 政策。
什么带来的改变最大
在高使用量任务上选对模型,以及关掉那些没人需要却在运行的 AI。员工习惯固然重要,但默认设置无需依赖记忆就能覆盖每个人。
常见错误
- 按每次调用而不是每项成功任务计算成本,导致重试被掩盖。
- 在使用量持续增长的同时,把一份绿色云合同当作全部答案。
- 在测量基准之前就宣称节能。
完整的方法请参阅我们的企业指南。
来源
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)