# 高效的 AI 训练与推理

> 开发者和研究人员降低 AI 能耗的技术：剪枝、稀疏化、量化、蒸馏、KV 缓存、批处理、混合精度和调度。

Source: https://greenai.guide/zh/良好实践/高效的-ai-训练与推理/  
Updated: 2026-11-19

## 简而言之

通过复用模型而不是从零开始训练，用剪枝、量化和蒸馏缩小模型，用批处理和缓存高效提供服务，并在电力更清洁的时间和地点运行灵活任务，大部分 AI 能耗都可以在不损失质量的情况下削减。每次改动前后都要测量能耗，因为更快并不总是更绿色。

## 要点

- 先复用，再训练：与对 GPT-3 175B 进行全量微调相比，用 LoRA 微调一个小型适配器使可训练参数减少到万分之一，GPU 显存减少到三分之一。
- 大语言模型可以一次性剪枝到至少 50% 的稀疏度，无需重新训练，准确率损失极小（SparseGPT）。
- 8 位推理可以在不损失质量的情况下将内存需求减半（LLM.int8()）；也请测试 4 位。
- 服务方式很重要：在 vLLM 中，批处理和分页式 KV 缓存管理在相同延迟下带来了 2–4 倍的吞吐量。
- 碳感知调度减少的是排放而不是能耗；应在效率工作的基础上叠加使用，绝不能用它代替效率工作。

## 我应该从哪里开始？ {#where-should-i-start}

**先测量，然后依次是复用、缩小、高效服务和调度。**前面的步骤通常节省最多，风险也最小。

Google 的 Patterson 及其同事在 2021 年估计，模型、数据中心和处理器的选择可以使训练的碳足迹相差约 100 至 1,000 倍。这个范围的大部分都掌握在您手中。在做任何改动之前，请在相同的硬件和负载下建立[能耗测量](/zh/良好实践/如何测量-ai-的能耗和碳排放/)，这样您就能只保留那些既节能又不损害质量的改动。速度并不是可靠的替代指标：一项改动可能更快但更耗电，也可能更慢但更省电。

## 我能避免从零开始训练吗？ {#can-i-avoid-training-from-scratch}

**通常可以：从预训练模型出发，只调整您需要的部分。**

- **参数高效微调。**LoRA 训练的是小型低秩适配器矩阵，而不是整个模型。与对 GPT-3 175B 进行全量微调相比，其作者报告可训练参数减少到万分之一，GPU（图形处理器）显存减少到三分之一。QLoRA 把这一方法与 4 位权重相结合，在单块 48 GB 的 GPU 上微调了一个 650 亿参数的模型。
- **用检索代替重新训练。**把会变化的事实放进可搜索的索引，在查询时检索。微调用于技能和风格，而不是用于事实。
- **模型合并（“模型汤”）。**根据 Wortsman 及其同事的研究，对从同一基础模型微调出的多个模型的权重取平均值，可以胜过最好的单个模型，而且没有额外的推理成本。合并多个专门的微调模型，是复用已付出成本的工作的一种方式。
- **持续学习。**当数据变化时，对模型进行增量更新，而不是从零开始重新训练。

## 剪枝和稀疏化有什么帮助？ {#how-do-pruning-and-sparsity-help}

**训练好的网络中，大多数权重都可以被移除或保持不激活，而损失很小，这意味着每个回答所需的计算和内存更少。**

- **非结构化剪枝**移除单个权重。SparseGPT 在不重新训练的情况下，一次性把 GPT 系列模型剪枝到至少 50% 的稀疏度，准确率损失极小；在当时最大的开放模型上达到了 60% 的稀疏度，困惑度（perplexity）的增加可以忽略不计。
- **结构化剪枝**移除整个神经元、注意力头或层，普通硬件更容易利用这一点。
- **激活稀疏性**指对给定输入，大多数神经元保持不激活。
- **混合专家（mixture-of-experts）**模型把每个 token（词元）发送给少数几个专门的子网络。Patterson 及其同事发现，大型稀疏激活模型的能耗可以不到大型稠密模型的十分之一。但所有专家仍然必须驻留在内存中。

2026 年英国一次绿色 AI sandpit（研讨工作坊）汇集了数学家、计算机科学家和业界人士，提出了一个提醒：稀疏性没有得到充分利用，部分原因是硬件和软件库都是为稠密计算而构建的。请检查您的运行环境是否真的把稀疏性转化为节省的能源。这次 sandpit 还讨论了在训练前用随机矩阵理论选择稀疏度，以及可以直接套用到预训练模型中的注意力稀疏近似方法。参见[让 AI 更高效的数学](/zh/文章/让-ai-更高效的数学/)。

## 量化、蒸馏和混合精度呢？ {#what-about-quantisation-distillation-and-mixed-precision}

**只要质量标准允许，就使用更少的位数和更小的模型。**

| 技术 | 作用 | 已发表的结果 |
|---|---|---|
| [量化](/zh/术语表/#quantisation) | 用 8 位或 4 位而不是 16 位或 32 位来存储和计算权重 | LLM.int8() 在最高 1750 亿参数的模型上将推理内存减半而不损失质量；UNESCO 和 UCL 报告称，量化等模型压缩方法最多可节省 44% 的能源 |
| [蒸馏](/zh/术语表/#distillation) | 训练一个小型“学生”模型去模仿大型“教师”模型 | DistilBERT 比 BERT 小 40%、快 60%，同时保留了其 97% 的语言理解能力 |
| 混合精度 | 以半精度训练，同时保留一份全精度的主副本 | 训练时的内存使用几乎减半（Micikevicius 等） |

请用您自己的评估集逐一测试。Hugging Face 指出，当工作负载不受内存限制时，量化可能会增加延迟，因此请在改动前后测量每次请求的能耗和延迟。

## 如何高效地提供模型服务？ {#how-do-i-serve-models-efficiently}

**让加速器一直忙于有用的工作，避免任何重复计算。**一块利用不足的 GPU 仍然会消耗相当多的电力。

1. **批量处理请求。**支持连续批处理的服务引擎会把并发请求组合在一起。vLLM 的 PagedAttention 像管理虚拟内存一样管理 [KV 缓存](/zh/术语表/#kv-cache)，在相同延迟下，其吞吐量是早期系统的 2 至 4 倍。
2. **用好 KV 缓存。**缓存先前 token 的键和值；在您的软件库支持的情况下，使用静态缓存和编译过的前向计算。
3. **打开优化路径。**半精度权重、高效的注意力内核（如 SDPA 或 FlashAttention）和编译功能往往都已具备，但默认处于关闭状态。
4. **推测解码。**由一个小型草稿模型提出 token，再由大模型进行核对。Leviathan 及其同事报告，在 T5-XXL 上生成速度提高了 2 至 3 倍，而输出完全相同。
5. **把输出长度限制**在任务所需的范围内，并缓存对相同请求的回答。
6. **比较运行环境和硬件。**在您真实的批量大小下，对两到三种服务技术栈进行基准测试。

## 任务应该在何时何地运行？ {#when-and-where-should-jobs-run}

**在电力更清洁的时间和地点运行灵活的工作，但要把这当作效率之上的额外收益，而不是效率的替代品。**

- **错峰运行。**训练、评估和批量推理往往可以等上几个小时。请根据碳强度预测来安排它们；CATS 等工具可以封装集群任务来实现这一点。在英国（大不列颠），Carbon Intensity API 发布分地区的预测。
- **让长任务可以暂停。**定期保存检查点（包括优化器状态），这样任务可以在电网较“脏”时暂停，稍后继续而不丢失工作。
- **选择地区和硬件。**在延迟无关紧要的情况下，优先选择低碳地区和高效的加速器，同时考虑迁移数据的成本。参见[托管与数据中心](/zh/良好实践/绿色-ai-的托管与数据中心/)。
- **关注绝对能耗。**碳感知调度改变的是工作运行的时间，而不是它消耗的能量。请在跟踪碳排放的同时，跟踪每单位工作的能耗。

## 检查清单 {#checklist}

- [ ] 每次改动前后都在相同配置下多次测量能耗
- [ ] 在从零开始训练之前，考虑了预训练模型和适配器
- [ ] 对会变化的事实使用检索，而不是重新训练
- [ ] 按照质量标准测试了剪枝、量化或蒸馏
- [ ] 训练中使用了混合精度
- [ ] 服务时开启了批处理、KV 缓存优化和高效注意力
- [ ] 限制了输出长度；缓存了相同请求
- [ ] 灵活任务设置了检查点，并安排在更清洁的时段运行
- [ ] 在模型卡中记录了训练能耗和硬件

## 下一步做什么 {#what-to-do-next}

1. 在您的训练和评估脚本中加入 CodeCarbon 等排放跟踪工具，并在结果表中把能耗与准确率并列。
2. 在下一次微调中尝试 LoRA 或 QLoRA，并与全量微调进行比较。
3. 用您的评估集测试已部署模型的 8 位和 4 位版本。
4. 在开启批处理和优化注意力路径的情况下，对您的服务技术栈进行基准测试。
5. 用碳感知调度器封装一个定期运行的集群任务。
6. 在[课程目录](/zh/课程/)中寻找培训，在[研究](/zh/研究/)和[博士项目](/zh/博士职位/)中寻找相关工作。

## 常见问题

### 量化会降低准确率吗？

有时会略有降低；对于 8 位量化，往往察觉不到。请始终用您自己的评估集测试量化后的模型，并注意：当工作负载不受内存限制时，量化可能会增加延迟。

### 什么是 KV 缓存？

Transformer 在生成文本时，会存储先前 token 的键（key）矩阵和值（value）矩阵，这样就不必在每一步重新计算。管理好这一缓存，是服务环节最大的效率提升之一。

### 训练和推理，哪个能耗更大？

这取决于模型的使用范围。训练是一次性的大笔开销；推理则在每次请求时都要付出，因此对于热门模型，推理通常在模型的整个生命周期中占主导。

### 什么是模型合并或“模型汤”（souping）？

对从同一起点微调出来的多个模型的权重取平均值。结果作为一个模型运行，没有额外的推理成本，而且可能优于其中最好的单个模型。

## 来源

- [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), Hu et al. (arXiv 2106.09685) (2021)
- [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers et al. (arXiv 2305.14314) (2023)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh (arXiv 2301.00774) (2023)
- [LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://arxiv.org/abs/2208.07339), Dettmers et al. (arXiv 2208.07339) (2022)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Fast Inference from Transformers via Speculative Decoding](https://arxiv.org/abs/2211.17192), Leviathan et al. (arXiv 2211.17192) (2022)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al. (arXiv 2203.05482) (2022)
- [Carbon Emissions and Large Neural Network Training](https://arxiv.org/abs/2104.10350), Patterson et al. (arXiv 2104.10350) (2021)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2025)
- [Green Software Patterns: carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation (2025)
- [CATS: Climate-Aware Task Scheduler](https://github.com/GreenScheduler/cats), GreenScheduler (2025)
