简而言之
节能 AI 是指用更少的电力获得同样有用的结果。最大的节省通常来自选择更小或针对特定任务的模型、在不需要时关闭长时间推理,以及在电网清洁的高效数据中心运行;量化、蒸馏、路由、缓存和批处理等技术则能进一步降低 AI 能耗。已发表的研究显示,单项措施可节省几十个百分点乃至 90% 以上,多项措施结合起来节省得更多。
要点
- 联合国教科文组织(UNESCO)和伦敦大学学院(UCL)发现,小型的特定任务模型最多可减少 90% 的能耗,更简短的提示词和回答可减少 50% 以上的能耗。
- 在 Hugging Face 的 AI Energy Score 测试中,推理模型的平均能耗是标准模型的 30 倍;开启推理后,一个模型的能耗增加了 150 至 700 倍。
- 在 2024 年的一项研究中,生成 1,000 张图像约耗电 2.9 kWh,而进行 1,000 次文本分类只耗电 0.002 kWh。
- 谷歌研究人员估算,综合选择模型、数据中心和处理器,最多可使训练的碳足迹降低约 100 至 1,000 倍。
- 高效部署很重要:vLLM 的内存管理在相同延迟下使吞吐量提高到 2 至 4 倍,推测解码使一个模型提速 2 至 3 倍且输出完全相同。
- 在一项研究中,把短时训练任务安排在低碳时段启动,最多可减少 80% 的排放,但对长时任务只能减少不到 1.5%。
节能 AI 是用更少的电力为您获得所需结果的 AI。本文按通常节省多少的大致顺序,列出降低 AI 能耗的主要方法,并给出每种方法背后的已公布数据。
让 AI 少耗电的最快方法是什么?
使用最小的合适模型,不需要时不要开启高能耗模式。模型选择通常比其他任何方法都更重要,因为能耗随每个回答所需的计算量而增减。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)2025 年的一份报告发现,小型的特定任务模型最多可减少 90% 的能耗,更简短的提示词和回答可减少 50% 以上的能耗。报告指出,这些措施结合使用,最多可减少 90% 的能耗。
第二大杠杆是运行地点。谷歌研究人员在 2021 年估算,综合选择模型、数据中心和处理器,最多可使训练的碳足迹降低约 100 至 1,000 倍。在高效的地方运行高效的 AI 模型,是大部分收益所在。
哪些方法节省最多?排序清单
以下顺序反映已发表研究中节省幅度的典型大小,从大到小排列。您自己的结果取决于任务、所需质量和运行地点,因此请在改动前后进行测量(参见如何测量 AI 的能耗和碳排放)。
1. 不需要生成式 AI 的工作就不要用它
生成比更简单的任务昂贵得多。在 2024 年的一项研究中,Sasha Luccioni、Yacine Jernite 和 Emma Strubell 测得图像生成平均每 1,000 张约耗电 2.9 kWh,而文本分类每 1,000 次只耗电 0.002 kWh:每次请求的能耗相差一千多倍。他们还发现,对于同一项任务,通用生成式模型的成本比特定任务系统高出几个数量级。
视频的能耗更高。2025 年一项针对开放文本生成视频模型的研究测得,一个模型生成一段短视频耗电近 90 Wh,一个更大的模型超过 415 Wh,而且能耗随视频的尺寸和时长呈二次方增长。参见如何判断一项任务是否需要 AI和如何选择经典机器学习而不是大语言模型。
2. 选择规模合适的模型
选择能达到您质量要求的最小模型。除了 UNESCO 和 UCL 的发现之外,关于级联的研究也显示了还有多大的空间:FrugalGPT 先尝试更便宜的模型,只在需要时才升级到更大的模型,它在达到 GPT-4 性能的同时,成本最多降低 98%。成本不等于能耗,但对于托管模型来说,它是计算量的一个合理的粗略参考。参见为任务选择合适的模型、如何选择更小的 AI 模型和如何找到特定任务模型。
3. 只在需要时使用推理模式
“思考”模式会使能耗成倍增加。Hugging Face 在 2025 年末进行的 AI Energy Score 测试发现,推理模型的平均能耗是标准模型的 30 倍,同一个模型开启推理后的能耗是关闭时的 150 至 700 倍。在循环中多次调用模型的智能体,也会以同样的方式累积能耗。参见如何只在需要时使用推理模式和智能体 AI 与 token 浪费。
4. 选择高效的硬件、数据中心和低碳地点
工作在哪里运行、在什么硬件上运行,可使其碳排放相差好几倍。Jesse Dodge 及其同事发现,训练同一个 BERT 模型,在最高效的云区域排放约 7 kg CO₂,在最低效的区域约 26 kg,几乎是前者的四倍。硬件也在不断改进:Epoch AI 估计,领先的机器学习芯片每年能效提高约 40%。参见绿色 AI 托管与数据中心、如何选择低碳云区域和如何为 AI 选择节能硬件。
5. 缩短提示词、上下文和输出
能耗随模型读取和写出的内容增多而上升。Epoch AI 估算,一次典型的 ChatGPT 查询约耗电 0.3 Wh;输入为 10,000 个 token 时升至约 2.5 Wh,输入为 100,000 个 token 时接近 40 Wh。反复重发很长的对话、要求很长的回答,是日常使用中的常见原因。参见如何写出更省电的提示词、如何限制大语言模型的输出长度和如何避免重发整个对话。
6. 把请求路由到合适的模型
把简单的请求交给小模型,把困难的请求交给大模型。路由研究报告了可观的节省:Hybrid LLM 对大模型的调用最多减少了 40%,而回答质量没有下降;RouteLLM 在某些情况下使成本降低了一半以上,同时不影响质量。参见如何设置模型路由和编排优先于生成。
7. 对模型进行量化
用更少的位数存储和计算每个数字。量化减少内存占用和数据搬运,而这些正是大模型能耗的主要来源。LLM.int8() 使推理所需内存减半,同时保持全精度的性能;UNESCO 和 UCL 的报告发现,量化等压缩方法最多可节能 44%。参见如何量化模型。
8. 把大模型蒸馏成小模型
训练一个小型“学生”模型来模仿一个大型“教师”模型。许多高效 AI 模型就是通过蒸馏得到的。DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力。参见如何把大模型蒸馏成小模型。
9. 剪枝并利用稀疏性
去掉模型不需要的权重。SparseGPT 表明,超大型语言模型可以一次性剪枝到至少 50% 的稀疏性,无需重新训练,准确率损失极小。节能效果取决于软件和硬件能否跳过这些零值,因此实际中剪枝的节省少于表面上的稀疏度所暗示的。参见如何对神经网络进行剪枝。
10. 缓存、批处理和高效部署
避免重复工作,并让硬件保持忙碌。部署软件很重要:vLLM 的分页式 KV 缓存管理在相同延迟下使吞吐量提高到 2 至 4 倍,推测解码使 T5-XXL 提速 2 至 3 倍且输出完全相同。服务提供商也据此为重复使用定价:OpenAI 的 Batch API 比标准请求便宜 50%,Anthropic 对缓存提示词的读取只收取正常输入价格的 10%。参见如何缓存大语言模型调用、如何批处理 AI 请求、如何使用推测解码和如何降低模型部署的能耗。
11. 把灵活的工作安排在更清洁的时段
碳感知调度减少的是排放,而不是能耗,最适合短时、灵活的任务。在 Dodge 及其同事的研究中,把一项短时训练任务推迟到低碳时段启动,在美国某个区域最多可减少 80% 的排放,但对长时任务只能减少不到 1.5%;暂停并恢复长时任务最多可节省约 25%。参见如何在电网更绿色时安排训练和碳感知计算。
节能 AI 方法一览
下表汇总各种方法、谁可以使用,以及来源中报告的节省幅度。这些数据来自基线不同的不同研究,因此应将其视为规模的参考,而不能相加。
| 方法 | 适用对象 | 报告的典型节省 | 来源 |
|---|---|---|---|
| 用特定任务模型代替生成式模型 | 开发者、机构 | 对分类等任务而言相差几个数量级 | Luccioni、Jernite 和 Strubell,2024 年 |
| 更小的特定任务模型 | 用户、开发者 | 最多节能 90% | UNESCO 和 UCL,2025 年 |
| 除非需要,否则关闭推理 | 用户、开发者 | 单个模型减少 150–700 倍;各模型平均 30 倍 | Hugging Face AI Energy Score,2025 年 |
| 综合选择模型、数据中心和处理器 | 开发者、机构 | 碳排放最多降低约 100–1,000 倍(训练) | Patterson 等,谷歌,2021 年 |
| 低碳云区域 | 开发者、机构 | 最好与最差区域之间相差约 3.7 倍 | Dodge 等,2022 年 |
| 更简短的提示词和回答 | 用户、开发者 | 节能 50% 以上 | UNESCO 和 UCL,2025 年 |
| 路由 | 开发者 | 大模型调用最多减少 40% | Ding 等,2024 年 |
| 量化 | 开发者 | 最多节能 44%;内存减半 | UNESCO 和 UCL,2025 年;Dettmers 等,2022 年 |
| 蒸馏 | 开发者 | 小 40%、快 60%,保留 97% 的能力 | Sanh 等,2019 年 |
| 剪枝 | 开发者 | 去掉至少 50% 的权重 | Frantar 和 Alistarh,2023 年 |
| 高效部署和批处理 | 开发者 | 吞吐量提高到 2–4 倍 | Kwon 等,2023 年 |
| 推测解码 | 开发者 | 提速 2–3 倍,输出相同 | Leviathan 等,2022 年 |
| 碳感知的启动时间 | 开发者、研究人员 | 最多 80%(短时任务);不到 1.5%(长时任务) | Dodge 等,2022 年 |
| 参数高效微调(LoRA) | 开发者、研究人员 | 可训练参数减少到万分之一,GPU 内存减少到三分之一 | Hu 等,2021 年 |
用户如何减少 AI 能耗?
选择更轻量的选项,少提要求。大多数人无法改变数据中心,但可以改变自己的请求:
- 日常任务使用快速或“mini”模型,把最大的模型和推理模式留给难题。
- 请求要清楚,并要求简短的回答;不要继续一段很长的对话,而是开启新对话。
- 避免一遍又一遍地重新生成:改为完善您的请求。参见如何停止反复重新生成 AI 回答。
- 只在需要时生成图像和视频。参见如何减少 AI 图像和视频生成的影响。
- 关闭您不用的 AI 功能。参见高效使用 AI:日常习惯。
作为参照,谷歌在 2025 年报告称,Gemini 中位文本提示词耗电 0.24 Wh。单条文本提示词的能耗很小;总量来自极大的使用量和上述高能耗任务。参见面向公众的指南。
开发者如何构建高效的 AI 模型和系统?
先选择规模合适的模型,再优化部署,然后测量。一个实用的顺序:
- 在您自己的数据上设定质量标准,并用它测试最小的候选模型。
- 加入路由或级联,让大模型只处理小模型处理不了的内容。
- 进行量化;如果使用量大,可以考虑蒸馏。
- 使用高效的运行时进行部署:批处理、分页式 KV 缓存、提示词缓存和推测解码。
- 限制输出长度和智能体循环;参见如何防止 AI 智能体浪费 token。
- 用 LoRA 微调,而不是从零开始训练;参见如何避免从零开始训练模型。
- 在改动前后测量每项任务的能耗;参见如何跟踪每项任务的 AI 能耗。
更多细节请见高效的 AI 训练与推理和让 AI 更高效的数学。
机构如何大规模减少 AI 能耗?
设定默认选项,明智采购,并进行测量。机构层面最大的杠杆是:默认使用哪个模型、默认开启哪些功能,以及工作负载在哪里运行:
- 在内部工具中把小而快的模型设为默认,需要时再提供更大的模型。
- 向供应商索取每项任务的能耗和数据中心数据;参见可持续的 AI 采购。
- 选择使用清洁电力的服务提供商和区域;参见托管与数据中心。
- 制定政策并培训员工;参见如何制定绿色 AI 政策和如何培训员工高效使用 AI。
- 设定基线和目标;参见如何为 AI 节能设定基线。
节能 AI 能减少总能耗吗?
只有当总使用量的增长不快于效率的提高时才能。谷歌报告称,其 Gemini 中位提示词的能耗一年内降至原来的 1/33,但由于使用量增长得更快,全球数据中心的用电量仍在不断上升。这就是反弹效应。效率降低每项任务的成本;充足则追问这项任务是否需要做。正如效率不等于充足所解释的,两者都需要;如何防止效率提升被抵消给出了实用步骤。要了解更全面的情况,参见AI 与数据中心电力需求和AI 能耗统计数据。
下一步
- 测试更小的模型能否达到您的质量标准,如果能,就换用它。
- 在不需要的地方,默认关闭推理、图像和视频模式。
- 为任何有实际使用量的 AI 功能加入缓存、批处理和路由。
- 为新的工作负载选择低碳区域和高效的服务提供商。
- 在每次改动前后测量每项任务的能耗,并报告结果。
- 在顾问名录中寻求帮助,或通过课程进一步学习。
常见问题
什么是节能 AI?
节能 AI 是指通过更小或更合适的模型、更精简的软件、高效的硬件和数据中心,以及只在 AI 能增加价值的地方使用它,用更少的电力获得您需要的结果。它是绿色 AI 的一部分,而绿色 AI 还要追问总使用量是否合理。
如何减少 AI 能耗?
作为用户,选择更小或更快的模型,让提示词和所要求的回答保持简短,避免反复重新生成,只在需要时使用推理、图像和视频模式。作为开发者,先选择规模合适的模型,再加上量化、路由、缓存和批处理,并在低碳区域运行。
更小的 AI 模型更节能吗?
对于它们能胜任的任务,通常是的。UNESCO 和 UCL 报告称,在合适的任务上,小型的特定任务模型最多可减少 90% 的能耗。请用您自己的工作检验质量:如果小模型需要反复运行好几次,可能什么也省不下。
量化能节能吗?
通常能,因为模型需要搬运的数据更少,所需内存也更少。UNESCO 和 UCL 报告称,量化等模型压缩方法最多可节能 44%;LLM.int8() 使推理所需内存减半。节省多少取决于硬件是否支持较低的精度。
哪种 AI 最耗能?
视频生成,其次是图像生成以及长时间推理或智能体任务。在 2025 年的一项研究中,一个开放模型生成一段短视频耗电近 90 Wh,一个更大的模型耗电超过 415 Wh;推理模型的平均能耗约为标准模型的 30 倍。
提高效率真的能减少 AI 的总能耗吗?
不会自动实现。更便宜、更快的 AI 往往会被用得更多,这就是反弹效应。效率降低每项任务的能耗;要控制总量,还需要充足,即只在值得的地方使用 AI。
AI 服务提供商通过提示词缓存和批处理节能吗?
它们避免了重复工作,这也是它们对此收费更低的原因:OpenAI 对批处理任务给予 50% 的折扣,多家服务提供商对缓存输入的收费约为正常价格的十分之一。价格只是节省计算量的粗略参考,并不是对能耗的测量。
来源
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO and University College London (2025)
- AI Energy Score v2: refreshed leaderboard, now with reasoning, Hugging Face (Luccioni and Gamazaychikov) (2025)
- Power hungry processing: watts driving the cost of AI deployment?, Luccioni, Jernite and Strubell (FAccT 2024) (2024)
- Video killed the energy budget: characterizing the latency and power regimes of open text-to-video models, Delavande, Pierrard and Luccioni (2025)
- How much energy does ChatGPT use?, Epoch AI (2025)
- Carbon emissions and large neural network training, Patterson et al., Google (2021)
- Good news about the carbon footprint of machine learning training, Google Research (2022)
- Measuring the carbon intensity of AI in cloud instances, Dodge et al. (FAccT 2022) (2022)
- Measuring the environmental impact of delivering AI at Google scale, Elsworth et al., Google (2025)
- DistilBERT, a distilled version of BERT, Sanh et al., Hugging Face (2019)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers et al. (2022)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh (2023)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al. (2024)
- RouteLLM: learning to route LLMs with preference data, Ong et al. (2024)
- Efficient memory management for large language model serving with PagedAttention, Kwon et al. (2023)
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Batch API, OpenAI (2026)
- Prompt caching, Anthropic (2026)
- Leading ML hardware becomes 40% more energy-efficient each year, Epoch AI (2024)