greenai.guide

首页 › 我该如何……? › 如何降低超参数搜索的能耗?

我该如何……?

如何降低超参数搜索的能耗?

更新于 · 阅读约需 1 分钟

简而言之

用随机搜索或自适应搜索代替大规模网格搜索,提前停止表现差的试验,先在小数据或小模型上做试点,并从您所用架构公开的默认值出发。记录每一次试验的能耗,而不只是最终胜出的那次,并在开始之前设定算力预算。调优运行的成本往往超过最终训练,而且很少被报告。

步骤

  1. 在开始之前为搜索设定算力预算。
  2. 从您的模型系列公开的默认超参数出发。
  3. 用随机或自适应搜索代替完整网格。
  4. 当试验明显不如目前最好的结果时,提前停止。
  5. 在扩大规模之前,先在数据子集或较小的模型上做试点。
  6. 在记录准确率的同时,记录每次试验的能耗和排放。

更聪明地调优,而不是更大范围地调优。 对许多超参数进行完整的网格搜索,会让训练成本乘以组合的数量,而其中大多数运行在早期就明显较差。

为什么这很重要?

Strubell、Ganesh 和 McCallum 2019 年的论文量化了开发语言模型的成本,其中包括围绕模型进行的实验,而不只是一次最终训练。Schwartz 及其同事的《绿色 AI》(Green AI)一文主张,研究人员应报告其成果的计算成本,包括为得出成果所做的实验,从而让效率与准确率一样受到重视。

什么最能产生影响?

  • 提前停止表现差的试验。 逐次减半(successive halving)之类的方法给每个试验很小的预算,只让有希望的试验继续进行。大多数调优库都支持这一点。
  • 随机或自适应搜索。 不必运行每一种组合,而是随机抽取设置,或者让自适应方法根据先前的结果选择下一次试验。
  • 小规模试点。 在数据子集或较小的模型上排除不可行的想法。
  • 默认值优先。 常见架构经过充分检验的默认值,往往已接近最优。
  • 记录每一次试验。 CodeCarbon 的文档介绍了如何跟踪每一种配置,并把准确率与排放进行比较。

常见错误

  • 只报告最好的那次运行。 把所有试验都计入您的算力总量;请参阅如何报告研究的能耗。
  • 从第一天起就在完整数据集上调优。
  • 没有预算。 没有预算,搜索就会不断扩张,直到占满整个集群。请参阅如何设定算力预算。

更多内容请阅读研究人员指南。

来源

  1. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  2. Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
  3. Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私