greenai.guide

首页 › 文章 › 节能 AI:如何让 AI 少耗电

文章

节能 AI:如何让 AI 少耗电

更新于 · 阅读约需 5 分钟

简而言之

节能 AI 是指用更少的电力获得同样有用的结果。最大的节省通常来自选择更小或针对特定任务的模型、在不需要时关闭长时间推理,以及在电网清洁的高效数据中心运行;量化、蒸馏、路由、缓存和批处理等技术则能进一步降低 AI 能耗。已发表的研究显示,单项措施可节省几十个百分点乃至 90% 以上,多项措施结合起来节省得更多。

要点

  • 联合国教科文组织(UNESCO)和伦敦大学学院(UCL)发现,小型的特定任务模型最多可减少 90% 的能耗,更简短的提示词和回答可减少 50% 以上的能耗。
  • 在 Hugging Face 的 AI Energy Score 测试中,推理模型的平均能耗是标准模型的 30 倍;开启推理后,一个模型的能耗增加了 150 至 700 倍。
  • 在 2024 年的一项研究中,生成 1,000 张图像约耗电 2.9 kWh,而进行 1,000 次文本分类只耗电 0.002 kWh。
  • 谷歌研究人员估算,综合选择模型、数据中心和处理器,最多可使训练的碳足迹降低约 100 至 1,000 倍。
  • 高效部署很重要:vLLM 的内存管理在相同延迟下使吞吐量提高到 2 至 4 倍,推测解码使一个模型提速 2 至 3 倍且输出完全相同。
  • 在一项研究中,把短时训练任务安排在低碳时段启动,最多可减少 80% 的排放,但对长时任务只能减少不到 1.5%。

节能 AI 是用更少的电力为您获得所需结果的 AI。本文按通常节省多少的大致顺序,列出降低 AI 能耗的主要方法,并给出每种方法背后的已公布数据。

让 AI 少耗电的最快方法是什么?

使用最小的合适模型,不需要时不要开启高能耗模式。模型选择通常比其他任何方法都更重要,因为能耗随每个回答所需的计算量而增减。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)2025 年的一份报告发现,小型的特定任务模型最多可减少 90% 的能耗,更简短的提示词和回答可减少 50% 以上的能耗。报告指出,这些措施结合使用,最多可减少 90% 的能耗。

第二大杠杆是运行地点。谷歌研究人员在 2021 年估算,综合选择模型、数据中心和处理器,最多可使训练的碳足迹降低约 100 至 1,000 倍。在高效的地方运行高效的 AI 模型,是大部分收益所在。

哪些方法节省最多?排序清单

以下顺序反映已发表研究中节省幅度的典型大小,从大到小排列。您自己的结果取决于任务、所需质量和运行地点,因此请在改动前后进行测量(参见如何测量 AI 的能耗和碳排放)。

1. 不需要生成式 AI 的工作就不要用它

生成比更简单的任务昂贵得多。在 2024 年的一项研究中,Sasha Luccioni、Yacine Jernite 和 Emma Strubell 测得图像生成平均每 1,000 张约耗电 2.9 kWh,而文本分类每 1,000 次只耗电 0.002 kWh:每次请求的能耗相差一千多倍。他们还发现,对于同一项任务,通用生成式模型的成本比特定任务系统高出几个数量级。

视频的能耗更高。2025 年一项针对开放文本生成视频模型的研究测得,一个模型生成一段短视频耗电近 90 Wh,一个更大的模型超过 415 Wh,而且能耗随视频的尺寸和时长呈二次方增长。参见如何判断一项任务是否需要 AI和如何选择经典机器学习而不是大语言模型。

2. 选择规模合适的模型

选择能达到您质量要求的最小模型。除了 UNESCO 和 UCL 的发现之外,关于级联的研究也显示了还有多大的空间:FrugalGPT 先尝试更便宜的模型,只在需要时才升级到更大的模型,它在达到 GPT-4 性能的同时,成本最多降低 98%。成本不等于能耗,但对于托管模型来说,它是计算量的一个合理的粗略参考。参见为任务选择合适的模型、如何选择更小的 AI 模型和如何找到特定任务模型。

3. 只在需要时使用推理模式

“思考”模式会使能耗成倍增加。Hugging Face 在 2025 年末进行的 AI Energy Score 测试发现,推理模型的平均能耗是标准模型的 30 倍,同一个模型开启推理后的能耗是关闭时的 150 至 700 倍。在循环中多次调用模型的智能体,也会以同样的方式累积能耗。参见如何只在需要时使用推理模式和智能体 AI 与 token 浪费。

4. 选择高效的硬件、数据中心和低碳地点

工作在哪里运行、在什么硬件上运行,可使其碳排放相差好几倍。Jesse Dodge 及其同事发现,训练同一个 BERT 模型,在最高效的云区域排放约 7 kg CO₂,在最低效的区域约 26 kg,几乎是前者的四倍。硬件也在不断改进:Epoch AI 估计,领先的机器学习芯片每年能效提高约 40%。参见绿色 AI 托管与数据中心、如何选择低碳云区域和如何为 AI 选择节能硬件。

5. 缩短提示词、上下文和输出

能耗随模型读取和写出的内容增多而上升。Epoch AI 估算,一次典型的 ChatGPT 查询约耗电 0.3 Wh;输入为 10,000 个 token 时升至约 2.5 Wh,输入为 100,000 个 token 时接近 40 Wh。反复重发很长的对话、要求很长的回答,是日常使用中的常见原因。参见如何写出更省电的提示词、如何限制大语言模型的输出长度和如何避免重发整个对话。

6. 把请求路由到合适的模型

把简单的请求交给小模型,把困难的请求交给大模型。路由研究报告了可观的节省:Hybrid LLM 对大模型的调用最多减少了 40%,而回答质量没有下降;RouteLLM 在某些情况下使成本降低了一半以上,同时不影响质量。参见如何设置模型路由和编排优先于生成。

7. 对模型进行量化

用更少的位数存储和计算每个数字。量化减少内存占用和数据搬运,而这些正是大模型能耗的主要来源。LLM.int8() 使推理所需内存减半,同时保持全精度的性能;UNESCO 和 UCL 的报告发现,量化等压缩方法最多可节能 44%。参见如何量化模型。

8. 把大模型蒸馏成小模型

训练一个小型“学生”模型来模仿一个大型“教师”模型。许多高效 AI 模型就是通过蒸馏得到的。DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力。参见如何把大模型蒸馏成小模型。

9. 剪枝并利用稀疏性

去掉模型不需要的权重。SparseGPT 表明,超大型语言模型可以一次性剪枝到至少 50% 的稀疏性,无需重新训练,准确率损失极小。节能效果取决于软件和硬件能否跳过这些零值,因此实际中剪枝的节省少于表面上的稀疏度所暗示的。参见如何对神经网络进行剪枝。

10. 缓存、批处理和高效部署

避免重复工作,并让硬件保持忙碌。部署软件很重要:vLLM 的分页式 KV 缓存管理在相同延迟下使吞吐量提高到 2 至 4 倍,推测解码使 T5-XXL 提速 2 至 3 倍且输出完全相同。服务提供商也据此为重复使用定价:OpenAI 的 Batch API 比标准请求便宜 50%,Anthropic 对缓存提示词的读取只收取正常输入价格的 10%。参见如何缓存大语言模型调用、如何批处理 AI 请求、如何使用推测解码和如何降低模型部署的能耗。

11. 把灵活的工作安排在更清洁的时段

碳感知调度减少的是排放,而不是能耗,最适合短时、灵活的任务。在 Dodge 及其同事的研究中,把一项短时训练任务推迟到低碳时段启动,在美国某个区域最多可减少 80% 的排放,但对长时任务只能减少不到 1.5%;暂停并恢复长时任务最多可节省约 25%。参见如何在电网更绿色时安排训练和碳感知计算。

节能 AI 方法一览

下表汇总各种方法、谁可以使用,以及来源中报告的节省幅度。这些数据来自基线不同的不同研究,因此应将其视为规模的参考,而不能相加。

方法 适用对象 报告的典型节省 来源
用特定任务模型代替生成式模型 开发者、机构 对分类等任务而言相差几个数量级 Luccioni、Jernite 和 Strubell,2024 年
更小的特定任务模型 用户、开发者 最多节能 90% UNESCO 和 UCL,2025 年
除非需要,否则关闭推理 用户、开发者 单个模型减少 150–700 倍;各模型平均 30 倍 Hugging Face AI Energy Score,2025 年
综合选择模型、数据中心和处理器 开发者、机构 碳排放最多降低约 100–1,000 倍(训练) Patterson 等,谷歌,2021 年
低碳云区域 开发者、机构 最好与最差区域之间相差约 3.7 倍 Dodge 等,2022 年
更简短的提示词和回答 用户、开发者 节能 50% 以上 UNESCO 和 UCL,2025 年
路由 开发者 大模型调用最多减少 40% Ding 等,2024 年
量化 开发者 最多节能 44%;内存减半 UNESCO 和 UCL,2025 年;Dettmers 等,2022 年
蒸馏 开发者 小 40%、快 60%,保留 97% 的能力 Sanh 等,2019 年
剪枝 开发者 去掉至少 50% 的权重 Frantar 和 Alistarh,2023 年
高效部署和批处理 开发者 吞吐量提高到 2–4 倍 Kwon 等,2023 年
推测解码 开发者 提速 2–3 倍,输出相同 Leviathan 等,2022 年
碳感知的启动时间 开发者、研究人员 最多 80%(短时任务);不到 1.5%(长时任务) Dodge 等,2022 年
参数高效微调(LoRA) 开发者、研究人员 可训练参数减少到万分之一,GPU 内存减少到三分之一 Hu 等,2021 年

用户如何减少 AI 能耗?

选择更轻量的选项,少提要求。大多数人无法改变数据中心,但可以改变自己的请求:

作为参照,谷歌在 2025 年报告称,Gemini 中位文本提示词耗电 0.24 Wh。单条文本提示词的能耗很小;总量来自极大的使用量和上述高能耗任务。参见面向公众的指南。

开发者如何构建高效的 AI 模型和系统?

先选择规模合适的模型,再优化部署,然后测量。一个实用的顺序:

  1. 在您自己的数据上设定质量标准,并用它测试最小的候选模型。
  2. 加入路由或级联,让大模型只处理小模型处理不了的内容。
  3. 进行量化;如果使用量大,可以考虑蒸馏。
  4. 使用高效的运行时进行部署:批处理、分页式 KV 缓存、提示词缓存和推测解码。
  5. 限制输出长度和智能体循环;参见如何防止 AI 智能体浪费 token。
  6. 用 LoRA 微调,而不是从零开始训练;参见如何避免从零开始训练模型。
  7. 在改动前后测量每项任务的能耗;参见如何跟踪每项任务的 AI 能耗。

更多细节请见高效的 AI 训练与推理和让 AI 更高效的数学。

机构如何大规模减少 AI 能耗?

设定默认选项,明智采购,并进行测量。机构层面最大的杠杆是:默认使用哪个模型、默认开启哪些功能,以及工作负载在哪里运行:

节能 AI 能减少总能耗吗?

只有当总使用量的增长不快于效率的提高时才能。谷歌报告称,其 Gemini 中位提示词的能耗一年内降至原来的 1/33,但由于使用量增长得更快,全球数据中心的用电量仍在不断上升。这就是反弹效应。效率降低每项任务的成本;充足则追问这项任务是否需要做。正如效率不等于充足所解释的,两者都需要;如何防止效率提升被抵消给出了实用步骤。要了解更全面的情况,参见AI 与数据中心电力需求和AI 能耗统计数据。

下一步

  • 测试更小的模型能否达到您的质量标准,如果能,就换用它。
  • 在不需要的地方,默认关闭推理、图像和视频模式。
  • 为任何有实际使用量的 AI 功能加入缓存、批处理和路由。
  • 为新的工作负载选择低碳区域和高效的服务提供商。
  • 在每次改动前后测量每项任务的能耗,并报告结果。
  • 在顾问名录中寻求帮助,或通过课程进一步学习。

常见问题

什么是节能 AI?

节能 AI 是指通过更小或更合适的模型、更精简的软件、高效的硬件和数据中心,以及只在 AI 能增加价值的地方使用它,用更少的电力获得您需要的结果。它是绿色 AI 的一部分,而绿色 AI 还要追问总使用量是否合理。

如何减少 AI 能耗?

作为用户,选择更小或更快的模型,让提示词和所要求的回答保持简短,避免反复重新生成,只在需要时使用推理、图像和视频模式。作为开发者,先选择规模合适的模型,再加上量化、路由、缓存和批处理,并在低碳区域运行。

更小的 AI 模型更节能吗?

对于它们能胜任的任务,通常是的。UNESCO 和 UCL 报告称,在合适的任务上,小型的特定任务模型最多可减少 90% 的能耗。请用您自己的工作检验质量:如果小模型需要反复运行好几次,可能什么也省不下。

量化能节能吗?

通常能,因为模型需要搬运的数据更少,所需内存也更少。UNESCO 和 UCL 报告称,量化等模型压缩方法最多可节能 44%;LLM.int8() 使推理所需内存减半。节省多少取决于硬件是否支持较低的精度。

哪种 AI 最耗能?

视频生成,其次是图像生成以及长时间推理或智能体任务。在 2025 年的一项研究中,一个开放模型生成一段短视频耗电近 90 Wh,一个更大的模型耗电超过 415 Wh;推理模型的平均能耗约为标准模型的 30 倍。

提高效率真的能减少 AI 的总能耗吗?

不会自动实现。更便宜、更快的 AI 往往会被用得更多,这就是反弹效应。效率降低每项任务的能耗;要控制总量,还需要充足,即只在值得的地方使用 AI。

AI 服务提供商通过提示词缓存和批处理节能吗?

它们避免了重复工作,这也是它们对此收费更低的原因:OpenAI 对批处理任务给予 50% 的折扣,多家服务提供商对缓存输入的收费约为正常价格的十分之一。价格只是节省计算量的粗略参考,并不是对能耗的测量。

来源

  1. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO and University College London (2025)
  2. AI Energy Score v2: refreshed leaderboard, now with reasoning, Hugging Face (Luccioni and Gamazaychikov) (2025)
  3. Power hungry processing: watts driving the cost of AI deployment?, Luccioni, Jernite and Strubell (FAccT 2024) (2024)
  4. Video killed the energy budget: characterizing the latency and power regimes of open text-to-video models, Delavande, Pierrard and Luccioni (2025)
  5. How much energy does ChatGPT use?, Epoch AI (2025)
  6. Carbon emissions and large neural network training, Patterson et al., Google (2021)
  7. Good news about the carbon footprint of machine learning training, Google Research (2022)
  8. Measuring the carbon intensity of AI in cloud instances, Dodge et al. (FAccT 2022) (2022)
  9. Measuring the environmental impact of delivering AI at Google scale, Elsworth et al., Google (2025)
  10. DistilBERT, a distilled version of BERT, Sanh et al., Hugging Face (2019)
  11. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers et al. (2022)
  12. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh (2023)
  13. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou (2023)
  14. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al. (2024)
  15. RouteLLM: learning to route LLMs with preference data, Ong et al. (2024)
  16. Efficient memory management for large language model serving with PagedAttention, Kwon et al. (2023)
  17. Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias (2022)
  18. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
  19. Batch API, OpenAI (2026)
  20. Prompt caching, Anthropic (2026)
  21. Leading ML hardware becomes 40% more energy-efficient each year, Epoch AI (2024)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私