greenai.guide

首页 › 良好实践 › 高效的 AI 训练与推理

良好实践

高效的 AI 训练与推理

更新于 · 阅读约需 2 分钟

简而言之

通过复用模型而不是从零开始训练,用剪枝、量化和蒸馏缩小模型,用批处理和缓存高效提供服务,并在电力更清洁的时间和地点运行灵活任务,大部分 AI 能耗都可以在不损失质量的情况下削减。每次改动前后都要测量能耗,因为更快并不总是更绿色。

要点

  • 先复用,再训练:与对 GPT-3 175B 进行全量微调相比,用 LoRA 微调一个小型适配器使可训练参数减少到万分之一,GPU 显存减少到三分之一。
  • 大语言模型可以一次性剪枝到至少 50% 的稀疏度,无需重新训练,准确率损失极小(SparseGPT)。
  • 8 位推理可以在不损失质量的情况下将内存需求减半(LLM.int8());也请测试 4 位。
  • 服务方式很重要:在 vLLM 中,批处理和分页式 KV 缓存管理在相同延迟下带来了 2–4 倍的吞吐量。
  • 碳感知调度减少的是排放而不是能耗;应在效率工作的基础上叠加使用,绝不能用它代替效率工作。

我应该从哪里开始?

先测量,然后依次是复用、缩小、高效服务和调度。前面的步骤通常节省最多,风险也最小。

Google 的 Patterson 及其同事在 2021 年估计,模型、数据中心和处理器的选择可以使训练的碳足迹相差约 100 至 1,000 倍。这个范围的大部分都掌握在您手中。在做任何改动之前,请在相同的硬件和负载下建立能耗测量,这样您就能只保留那些既节能又不损害质量的改动。速度并不是可靠的替代指标:一项改动可能更快但更耗电,也可能更慢但更省电。

我能避免从零开始训练吗?

通常可以:从预训练模型出发,只调整您需要的部分。

  • 参数高效微调。LoRA 训练的是小型低秩适配器矩阵,而不是整个模型。与对 GPT-3 175B 进行全量微调相比,其作者报告可训练参数减少到万分之一,GPU(图形处理器)显存减少到三分之一。QLoRA 把这一方法与 4 位权重相结合,在单块 48 GB 的 GPU 上微调了一个 650 亿参数的模型。
  • 用检索代替重新训练。把会变化的事实放进可搜索的索引,在查询时检索。微调用于技能和风格,而不是用于事实。
  • 模型合并(“模型汤”)。根据 Wortsman 及其同事的研究,对从同一基础模型微调出的多个模型的权重取平均值,可以胜过最好的单个模型,而且没有额外的推理成本。合并多个专门的微调模型,是复用已付出成本的工作的一种方式。
  • 持续学习。当数据变化时,对模型进行增量更新,而不是从零开始重新训练。

剪枝和稀疏化有什么帮助?

训练好的网络中,大多数权重都可以被移除或保持不激活,而损失很小,这意味着每个回答所需的计算和内存更少。

  • 非结构化剪枝移除单个权重。SparseGPT 在不重新训练的情况下,一次性把 GPT 系列模型剪枝到至少 50% 的稀疏度,准确率损失极小;在当时最大的开放模型上达到了 60% 的稀疏度,困惑度(perplexity)的增加可以忽略不计。
  • 结构化剪枝移除整个神经元、注意力头或层,普通硬件更容易利用这一点。
  • 激活稀疏性指对给定输入,大多数神经元保持不激活。
  • 混合专家(mixture-of-experts)模型把每个 token(词元)发送给少数几个专门的子网络。Patterson 及其同事发现,大型稀疏激活模型的能耗可以不到大型稠密模型的十分之一。但所有专家仍然必须驻留在内存中。

2026 年英国一次绿色 AI sandpit(研讨工作坊)汇集了数学家、计算机科学家和业界人士,提出了一个提醒:稀疏性没有得到充分利用,部分原因是硬件和软件库都是为稠密计算而构建的。请检查您的运行环境是否真的把稀疏性转化为节省的能源。这次 sandpit 还讨论了在训练前用随机矩阵理论选择稀疏度,以及可以直接套用到预训练模型中的注意力稀疏近似方法。参见让 AI 更高效的数学。

量化、蒸馏和混合精度呢?

只要质量标准允许,就使用更少的位数和更小的模型。

技术 作用 已发表的结果
量化 用 8 位或 4 位而不是 16 位或 32 位来存储和计算权重 LLM.int8() 在最高 1750 亿参数的模型上将推理内存减半而不损失质量;UNESCO 和 UCL 报告称,量化等模型压缩方法最多可节省 44% 的能源
蒸馏 训练一个小型“学生”模型去模仿大型“教师”模型 DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力
混合精度 以半精度训练,同时保留一份全精度的主副本 训练时的内存使用几乎减半(Micikevicius 等)

请用您自己的评估集逐一测试。Hugging Face 指出,当工作负载不受内存限制时,量化可能会增加延迟,因此请在改动前后测量每次请求的能耗和延迟。

如何高效地提供模型服务?

让加速器一直忙于有用的工作,避免任何重复计算。一块利用不足的 GPU 仍然会消耗相当多的电力。

  1. 批量处理请求。支持连续批处理的服务引擎会把并发请求组合在一起。vLLM 的 PagedAttention 像管理虚拟内存一样管理 KV 缓存,在相同延迟下,其吞吐量是早期系统的 2 至 4 倍。
  2. 用好 KV 缓存。缓存先前 token 的键和值;在您的软件库支持的情况下,使用静态缓存和编译过的前向计算。
  3. 打开优化路径。半精度权重、高效的注意力内核(如 SDPA 或 FlashAttention)和编译功能往往都已具备,但默认处于关闭状态。
  4. 推测解码。由一个小型草稿模型提出 token,再由大模型进行核对。Leviathan 及其同事报告,在 T5-XXL 上生成速度提高了 2 至 3 倍,而输出完全相同。
  5. 把输出长度限制在任务所需的范围内,并缓存对相同请求的回答。
  6. 比较运行环境和硬件。在您真实的批量大小下,对两到三种服务技术栈进行基准测试。

任务应该在何时何地运行?

在电力更清洁的时间和地点运行灵活的工作,但要把这当作效率之上的额外收益,而不是效率的替代品。

  • 错峰运行。训练、评估和批量推理往往可以等上几个小时。请根据碳强度预测来安排它们;CATS 等工具可以封装集群任务来实现这一点。在英国(大不列颠),Carbon Intensity API 发布分地区的预测。
  • 让长任务可以暂停。定期保存检查点(包括优化器状态),这样任务可以在电网较“脏”时暂停,稍后继续而不丢失工作。
  • 选择地区和硬件。在延迟无关紧要的情况下,优先选择低碳地区和高效的加速器,同时考虑迁移数据的成本。参见托管与数据中心。
  • 关注绝对能耗。碳感知调度改变的是工作运行的时间,而不是它消耗的能量。请在跟踪碳排放的同时,跟踪每单位工作的能耗。

检查清单

  • [ ] 每次改动前后都在相同配置下多次测量能耗
  • [ ] 在从零开始训练之前,考虑了预训练模型和适配器
  • [ ] 对会变化的事实使用检索,而不是重新训练
  • [ ] 按照质量标准测试了剪枝、量化或蒸馏
  • [ ] 训练中使用了混合精度
  • [ ] 服务时开启了批处理、KV 缓存优化和高效注意力
  • [ ] 限制了输出长度;缓存了相同请求
  • [ ] 灵活任务设置了检查点,并安排在更清洁的时段运行
  • [ ] 在模型卡中记录了训练能耗和硬件

下一步做什么

  1. 在您的训练和评估脚本中加入 CodeCarbon 等排放跟踪工具,并在结果表中把能耗与准确率并列。
  2. 在下一次微调中尝试 LoRA 或 QLoRA,并与全量微调进行比较。
  3. 用您的评估集测试已部署模型的 8 位和 4 位版本。
  4. 在开启批处理和优化注意力路径的情况下,对您的服务技术栈进行基准测试。
  5. 用碳感知调度器封装一个定期运行的集群任务。
  6. 在课程目录中寻找培训,在研究和博士项目中寻找相关工作。

常见问题

量化会降低准确率吗?

有时会略有降低;对于 8 位量化,往往察觉不到。请始终用您自己的评估集测试量化后的模型,并注意:当工作负载不受内存限制时,量化可能会增加延迟。

什么是 KV 缓存?

Transformer 在生成文本时,会存储先前 token 的键(key)矩阵和值(value)矩阵,这样就不必在每一步重新计算。管理好这一缓存,是服务环节最大的效率提升之一。

训练和推理,哪个能耗更大?

这取决于模型的使用范围。训练是一次性的大笔开销;推理则在每次请求时都要付出,因此对于热门模型,推理通常在模型的整个生命周期中占主导。

什么是模型合并或“模型汤”(souping)?

对从同一起点微调出来的多个模型的权重取平均值。结果作为一个模型运行,没有额外的推理成本,而且可能优于其中最好的单个模型。

来源

  1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
  2. QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
  3. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
  4. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
  5. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  6. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  7. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  8. Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
  9. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
  10. Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
  11. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  12. Optimizing inference, Hugging Face Transformers documentation (2025)
  13. Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
  14. CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私