简而言之
用随机搜索或自适应搜索代替大规模网格搜索,提前停止表现差的试验,先在小数据或小模型上做试点,并从您所用架构公开的默认值出发。记录每一次试验的能耗,而不只是最终胜出的那次,并在开始之前设定算力预算。调优运行的成本往往超过最终训练,而且很少被报告。
步骤
- 在开始之前为搜索设定算力预算。
- 从您的模型系列公开的默认超参数出发。
- 用随机或自适应搜索代替完整网格。
- 当试验明显不如目前最好的结果时,提前停止。
- 在扩大规模之前,先在数据子集或较小的模型上做试点。
- 在记录准确率的同时,记录每次试验的能耗和排放。
更聪明地调优,而不是更大范围地调优。 对许多超参数进行完整的网格搜索,会让训练成本乘以组合的数量,而其中大多数运行在早期就明显较差。
为什么这很重要?
Strubell、Ganesh 和 McCallum 2019 年的论文量化了开发语言模型的成本,其中包括围绕模型进行的实验,而不只是一次最终训练。Schwartz 及其同事的《绿色 AI》(Green AI)一文主张,研究人员应报告其成果的计算成本,包括为得出成果所做的实验,从而让效率与准确率一样受到重视。
什么最能产生影响?
- 提前停止表现差的试验。 逐次减半(successive halving)之类的方法给每个试验很小的预算,只让有希望的试验继续进行。大多数调优库都支持这一点。
- 随机或自适应搜索。 不必运行每一种组合,而是随机抽取设置,或者让自适应方法根据先前的结果选择下一次试验。
- 小规模试点。 在数据子集或较小的模型上排除不可行的想法。
- 默认值优先。 常见架构经过充分检验的默认值,往往已接近最优。
- 记录每一次试验。 CodeCarbon 的文档介绍了如何跟踪每一种配置,并把准确率与排放进行比较。
常见错误
更多内容请阅读研究人员指南。
来源
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
相关内容
我该如何……?
如何为科研项目设定算力预算?
为 AI 研究设定并跟踪算力预算:估算 GPU 小时数,先做小规模试验,尽早停止效果差的运行,复用模型,并报告相对于算力的结果。
我该如何……?
如何降低训练模型的能耗?
降低训练能耗的主要手段:从预训练模型出发,选择合适规模,使用混合精度,提前停止,选择清洁的地点和时段,并做好测量。
我该如何……?
如何报告我的 AI 研究的能耗?
论文中应写哪些算力和能耗信息:硬件、所有运行的 GPU 小时数、能耗、地点、碳排放、推理成本以及所用的边界。
指南
面向研究人员的绿色 AI
为研究人员提供的指南:介绍高效的 AI 方法、如何在论文中测量和报告能耗、如何设定算力预算、如何争取科研经费,以及数学能发挥作用的领域。