# 如何降低训练模型的能耗？

> 降低训练能耗的主要手段：从预训练模型出发，选择合适规模，使用混合精度，提前停止，选择清洁的地点和时段，并做好测量。

Source: https://greenai.guide/zh/如何/如何降低训练模型的能耗/  
Updated: 2026-11-19

## 简而言之

尽可能从预训练模型出发，选择可能达到要求的最小架构，使用混合精度训练，在验证指标不再提升时停止，并在低碳地区和时段使用高能效硬件运行。Patterson 及其同事发现，模型、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。测量每一次运行，让各种取舍一目了然。

## Steps

1. 检查能否微调预训练模型，而不是从头训练。
2. 在启动完整运行之前，先以小规模试验想法。
3. 使用混合精度训练，并在验证指标不再提升时提前停止。
4. 在低碳地区使用高能效加速器运行，并把可灵活安排的运行放在更清洁的时段。
5. 保存检查点，让运行可以暂停、恢复，避免从头再来。
6. 记录每一次运行的能耗和排放，包括失败的运行。

**训练能耗主要由运行开始前所做的决定决定。** 训练什么、用什么硬件、在哪里、在什么时候训练，比运行过程中的任何微调都更重要。

## 为什么这很重要？ {#why-does-it-matter}

Strubell、Ganesh 和 McCallum 在 2019 年的论文中量化了训练语言模型的经济成本和环境成本，并提出了降低成本的方法。Patterson 及其同事后来发现，模型架构、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。

## 什么做法效果最大？ {#what-makes-the-biggest-difference}

1. **不从头训练。** 微调预训练模型，或在其上训练适配器（adapter），成本通常只是预训练的极小一部分。请参阅[如何避免从头训练](/zh/如何/如何避免从零开始训练模型/)。
2. **选择合适规模。** 刚好达到要求的较小架构，胜过远超要求的大型架构。
3. **混合精度。** 在 Micikevicius 及其同事的研究中，以半精度训练并保留一份全精度主副本，使内存占用减少了近一半，让同一硬件能容纳更大的批次。
4. **提前停止。** 在验证损失趋于平稳时结束运行。
5. **地点和时间。** 选择高能效加速器和低碳地区，并在电网更清洁时运行可灵活安排的作业：请参阅[如何安排训练时间](/zh/如何/如何在电网更清洁的时候安排模型训练/)。

## 常见错误 {#common-mistakes}

- **只计算最终运行。** 调参和失败的运行往往耗费更多；请参阅[如何降低超参数搜索的能耗](/zh/如何/如何降低超参数搜索的能耗/)。
- **不设置检查点**，一旦中断就得从头再来。
- **不做测量。** 在训练脚本中加入 CodeCarbon 之类的追踪工具。

如需完整的工具箱，请阅读[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [Carbon emissions and large neural network training](https://arxiv.org/abs/2104.10350), Patterson et al. (2021)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Energy and policy considerations for deep learning in NLP](https://arxiv.org/abs/1906.02243), Strubell, Ganesh and McCallum, ACL (2019)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
