greenai.guide

首页 › 我该如何……? › 如何降低训练模型的能耗?

我该如何……?

如何降低训练模型的能耗?

更新于 · 阅读约需 1 分钟

简而言之

尽可能从预训练模型出发,选择可能达到要求的最小架构,使用混合精度训练,在验证指标不再提升时停止,并在低碳地区和时段使用高能效硬件运行。Patterson 及其同事发现,模型、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。测量每一次运行,让各种取舍一目了然。

步骤

  1. 检查能否微调预训练模型,而不是从头训练。
  2. 在启动完整运行之前,先以小规模试验想法。
  3. 使用混合精度训练,并在验证指标不再提升时提前停止。
  4. 在低碳地区使用高能效加速器运行,并把可灵活安排的运行放在更清洁的时段。
  5. 保存检查点,让运行可以暂停、恢复,避免从头再来。
  6. 记录每一次运行的能耗和排放,包括失败的运行。

训练能耗主要由运行开始前所做的决定决定。 训练什么、用什么硬件、在哪里、在什么时候训练,比运行过程中的任何微调都更重要。

为什么这很重要?

Strubell、Ganesh 和 McCallum 在 2019 年的论文中量化了训练语言模型的经济成本和环境成本,并提出了降低成本的方法。Patterson 及其同事后来发现,模型架构、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。

什么做法效果最大?

  1. 不从头训练。 微调预训练模型,或在其上训练适配器(adapter),成本通常只是预训练的极小一部分。请参阅如何避免从头训练。
  2. 选择合适规模。 刚好达到要求的较小架构,胜过远超要求的大型架构。
  3. 混合精度。 在 Micikevicius 及其同事的研究中,以半精度训练并保留一份全精度主副本,使内存占用减少了近一半,让同一硬件能容纳更大的批次。
  4. 提前停止。 在验证损失趋于平稳时结束运行。
  5. 地点和时间。 选择高能效加速器和低碳地区,并在电网更清洁时运行可灵活安排的作业:请参阅如何安排训练时间。

常见错误

  • 只计算最终运行。 调参和失败的运行往往耗费更多;请参阅如何降低超参数搜索的能耗。
  • 不设置检查点,一旦中断就得从头再来。
  • 不做测量。 在训练脚本中加入 CodeCarbon 之类的追踪工具。

如需完整的工具箱,请阅读高效训练与推理。

来源

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私