简而言之
尽可能从预训练模型出发,选择可能达到要求的最小架构,使用混合精度训练,在验证指标不再提升时停止,并在低碳地区和时段使用高能效硬件运行。Patterson 及其同事发现,模型、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。测量每一次运行,让各种取舍一目了然。
步骤
- 检查能否微调预训练模型,而不是从头训练。
- 在启动完整运行之前,先以小规模试验想法。
- 使用混合精度训练,并在验证指标不再提升时提前停止。
- 在低碳地区使用高能效加速器运行,并把可灵活安排的运行放在更清洁的时段。
- 保存检查点,让运行可以暂停、恢复,避免从头再来。
- 记录每一次运行的能耗和排放,包括失败的运行。
训练能耗主要由运行开始前所做的决定决定。 训练什么、用什么硬件、在哪里、在什么时候训练,比运行过程中的任何微调都更重要。
为什么这很重要?
Strubell、Ganesh 和 McCallum 在 2019 年的论文中量化了训练语言模型的经济成本和环境成本,并提出了降低成本的方法。Patterson 及其同事后来发现,模型架构、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。
什么做法效果最大?
- 不从头训练。 微调预训练模型,或在其上训练适配器(adapter),成本通常只是预训练的极小一部分。请参阅如何避免从头训练。
- 选择合适规模。 刚好达到要求的较小架构,胜过远超要求的大型架构。
- 混合精度。 在 Micikevicius 及其同事的研究中,以半精度训练并保留一份全精度主副本,使内存占用减少了近一半,让同一硬件能容纳更大的批次。
- 提前停止。 在验证损失趋于平稳时结束运行。
- 地点和时间。 选择高能效加速器和低碳地区,并在电网更清洁时运行可灵活安排的作业:请参阅如何安排训练时间。
常见错误
- 只计算最终运行。 调参和失败的运行往往耗费更多;请参阅如何降低超参数搜索的能耗。
- 不设置检查点,一旦中断就得从头再来。
- 不做测量。 在训练脚本中加入 CodeCarbon 之类的追踪工具。
如需完整的工具箱,请阅读高效训练与推理。
来源
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)