简而言之
通过复用模型而不是从零开始训练,用剪枝、量化和蒸馏缩小模型,用批处理和缓存高效提供服务,并在电力更清洁的时间和地点运行灵活任务,大部分 AI 能耗都可以在不损失质量的情况下削减。每次改动前后都要测量能耗,因为更快并不总是更绿色。
要点
- 先复用,再训练:与对 GPT-3 175B 进行全量微调相比,用 LoRA 微调一个小型适配器使可训练参数减少到万分之一,GPU 显存减少到三分之一。
- 大语言模型可以一次性剪枝到至少 50% 的稀疏度,无需重新训练,准确率损失极小(SparseGPT)。
- 8 位推理可以在不损失质量的情况下将内存需求减半(LLM.int8());也请测试 4 位。
- 服务方式很重要:在 vLLM 中,批处理和分页式 KV 缓存管理在相同延迟下带来了 2–4 倍的吞吐量。
- 碳感知调度减少的是排放而不是能耗;应在效率工作的基础上叠加使用,绝不能用它代替效率工作。
我应该从哪里开始?
先测量,然后依次是复用、缩小、高效服务和调度。前面的步骤通常节省最多,风险也最小。
Google 的 Patterson 及其同事在 2021 年估计,模型、数据中心和处理器的选择可以使训练的碳足迹相差约 100 至 1,000 倍。这个范围的大部分都掌握在您手中。在做任何改动之前,请在相同的硬件和负载下建立能耗测量,这样您就能只保留那些既节能又不损害质量的改动。速度并不是可靠的替代指标:一项改动可能更快但更耗电,也可能更慢但更省电。
我能避免从零开始训练吗?
通常可以:从预训练模型出发,只调整您需要的部分。
- 参数高效微调。LoRA 训练的是小型低秩适配器矩阵,而不是整个模型。与对 GPT-3 175B 进行全量微调相比,其作者报告可训练参数减少到万分之一,GPU(图形处理器)显存减少到三分之一。QLoRA 把这一方法与 4 位权重相结合,在单块 48 GB 的 GPU 上微调了一个 650 亿参数的模型。
- 用检索代替重新训练。把会变化的事实放进可搜索的索引,在查询时检索。微调用于技能和风格,而不是用于事实。
- 模型合并(“模型汤”)。根据 Wortsman 及其同事的研究,对从同一基础模型微调出的多个模型的权重取平均值,可以胜过最好的单个模型,而且没有额外的推理成本。合并多个专门的微调模型,是复用已付出成本的工作的一种方式。
- 持续学习。当数据变化时,对模型进行增量更新,而不是从零开始重新训练。
剪枝和稀疏化有什么帮助?
训练好的网络中,大多数权重都可以被移除或保持不激活,而损失很小,这意味着每个回答所需的计算和内存更少。
- 非结构化剪枝移除单个权重。SparseGPT 在不重新训练的情况下,一次性把 GPT 系列模型剪枝到至少 50% 的稀疏度,准确率损失极小;在当时最大的开放模型上达到了 60% 的稀疏度,困惑度(perplexity)的增加可以忽略不计。
- 结构化剪枝移除整个神经元、注意力头或层,普通硬件更容易利用这一点。
- 激活稀疏性指对给定输入,大多数神经元保持不激活。
- 混合专家(mixture-of-experts)模型把每个 token(词元)发送给少数几个专门的子网络。Patterson 及其同事发现,大型稀疏激活模型的能耗可以不到大型稠密模型的十分之一。但所有专家仍然必须驻留在内存中。
2026 年英国一次绿色 AI sandpit(研讨工作坊)汇集了数学家、计算机科学家和业界人士,提出了一个提醒:稀疏性没有得到充分利用,部分原因是硬件和软件库都是为稠密计算而构建的。请检查您的运行环境是否真的把稀疏性转化为节省的能源。这次 sandpit 还讨论了在训练前用随机矩阵理论选择稀疏度,以及可以直接套用到预训练模型中的注意力稀疏近似方法。参见让 AI 更高效的数学。
量化、蒸馏和混合精度呢?
只要质量标准允许,就使用更少的位数和更小的模型。
| 技术 | 作用 | 已发表的结果 |
|---|---|---|
| 量化 | 用 8 位或 4 位而不是 16 位或 32 位来存储和计算权重 | LLM.int8() 在最高 1750 亿参数的模型上将推理内存减半而不损失质量;UNESCO 和 UCL 报告称,量化等模型压缩方法最多可节省 44% 的能源 |
| 蒸馏 | 训练一个小型“学生”模型去模仿大型“教师”模型 | DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力 |
| 混合精度 | 以半精度训练,同时保留一份全精度的主副本 | 训练时的内存使用几乎减半(Micikevicius 等) |
请用您自己的评估集逐一测试。Hugging Face 指出,当工作负载不受内存限制时,量化可能会增加延迟,因此请在改动前后测量每次请求的能耗和延迟。
如何高效地提供模型服务?
让加速器一直忙于有用的工作,避免任何重复计算。一块利用不足的 GPU 仍然会消耗相当多的电力。
- 批量处理请求。支持连续批处理的服务引擎会把并发请求组合在一起。vLLM 的 PagedAttention 像管理虚拟内存一样管理 KV 缓存,在相同延迟下,其吞吐量是早期系统的 2 至 4 倍。
- 用好 KV 缓存。缓存先前 token 的键和值;在您的软件库支持的情况下,使用静态缓存和编译过的前向计算。
- 打开优化路径。半精度权重、高效的注意力内核(如 SDPA 或 FlashAttention)和编译功能往往都已具备,但默认处于关闭状态。
- 推测解码。由一个小型草稿模型提出 token,再由大模型进行核对。Leviathan 及其同事报告,在 T5-XXL 上生成速度提高了 2 至 3 倍,而输出完全相同。
- 把输出长度限制在任务所需的范围内,并缓存对相同请求的回答。
- 比较运行环境和硬件。在您真实的批量大小下,对两到三种服务技术栈进行基准测试。
任务应该在何时何地运行?
在电力更清洁的时间和地点运行灵活的工作,但要把这当作效率之上的额外收益,而不是效率的替代品。
- 错峰运行。训练、评估和批量推理往往可以等上几个小时。请根据碳强度预测来安排它们;CATS 等工具可以封装集群任务来实现这一点。在英国(大不列颠),Carbon Intensity API 发布分地区的预测。
- 让长任务可以暂停。定期保存检查点(包括优化器状态),这样任务可以在电网较“脏”时暂停,稍后继续而不丢失工作。
- 选择地区和硬件。在延迟无关紧要的情况下,优先选择低碳地区和高效的加速器,同时考虑迁移数据的成本。参见托管与数据中心。
- 关注绝对能耗。碳感知调度改变的是工作运行的时间,而不是它消耗的能量。请在跟踪碳排放的同时,跟踪每单位工作的能耗。
检查清单
- [ ] 每次改动前后都在相同配置下多次测量能耗
- [ ] 在从零开始训练之前,考虑了预训练模型和适配器
- [ ] 对会变化的事实使用检索,而不是重新训练
- [ ] 按照质量标准测试了剪枝、量化或蒸馏
- [ ] 训练中使用了混合精度
- [ ] 服务时开启了批处理、KV 缓存优化和高效注意力
- [ ] 限制了输出长度;缓存了相同请求
- [ ] 灵活任务设置了检查点,并安排在更清洁的时段运行
- [ ] 在模型卡中记录了训练能耗和硬件
下一步做什么
- 在您的训练和评估脚本中加入 CodeCarbon 等排放跟踪工具,并在结果表中把能耗与准确率并列。
- 在下一次微调中尝试 LoRA 或 QLoRA,并与全量微调进行比较。
- 用您的评估集测试已部署模型的 8 位和 4 位版本。
- 在开启批处理和优化注意力路径的情况下,对您的服务技术栈进行基准测试。
- 用碳感知调度器封装一个定期运行的集群任务。
- 在课程目录中寻找培训,在研究和博士项目中寻找相关工作。
常见问题
量化会降低准确率吗?
有时会略有降低;对于 8 位量化,往往察觉不到。请始终用您自己的评估集测试量化后的模型,并注意:当工作负载不受内存限制时,量化可能会增加延迟。
什么是 KV 缓存?
Transformer 在生成文本时,会存储先前 token 的键(key)矩阵和值(value)矩阵,这样就不必在每一步重新计算。管理好这一缓存,是服务环节最大的效率提升之一。
训练和推理,哪个能耗更大?
这取决于模型的使用范围。训练是一次性的大笔开销;推理则在每次请求时都要付出,因此对于热门模型,推理通常在模型的整个生命周期中占主导。
什么是模型合并或“模型汤”(souping)?
对从同一起点微调出来的多个模型的权重取平均值。结果作为一个模型运行,没有额外的推理成本,而且可能优于其中最好的单个模型。
来源
- LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
- QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
- SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
- Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- Optimizing inference, Hugging Face Transformers documentation (2025)
- Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
- CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)