简而言之
估算主要实验所需的 GPU 小时数,为探索留出余量,并像管钱一样对照预算跟踪使用情况。先以小规模试验想法,尽早停止效果差的运行,复用预训练模型和检查点,并报告结果所耗费的算力。预算能让取舍一目了然,也能防止无休止的调参。
步骤
- 估算主要实验的 GPU 小时数,并为探索留出明确的余量。
- 在扩大规模之前,先通过小规模试验排除不可行的想法。
- 对照预算,跟踪每个实验的 GPU 小时数和能耗。
- 对效果差的运行采用提前停止,而不是进行大规模网格搜索。
- 在合适的情况下复用预训练模型和检查点。
- 报告相对于算力的结果,例如每 kWh 的准确率。
事先决定项目可以使用多少算力,并跟踪使用情况。 没有预算,额外的运行就显得不花钱,一点点准确率提升所耗费的能源也永远不会被拿来权衡。
如何估算预算?
从计划中的实验出发:模型规模、数据规模和运行次数可以得出大致的 GPU 小时数。Lannelongue、Grealey 和 Inouye 开发的 Green Algorithms 计算器可以把硬件、运行时长、内存和地点换算成能耗和碳排放估算,帮助您理解预算意味着什么。为探索留出明确的余量,而不是让它没有上限。
怎样让项目不超出预算?
- 先做小规模试验。 在小模型和数据子集上排除不可行的想法。
- 高效搜索。 尽早停止效果差的运行;请参阅降低超参数搜索的能耗。
- 复用。 从预训练模型和已保存的检查点出发;请参阅避免从头训练。
- 选择在哪里、用什么运行。 Patterson 及其同事发现,模型、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。
常见错误
- 只为最终运行做预算。 探索通常占了大部分算力。
- 没有检查点,一次失败就意味着从头再来。
- 只报告最佳准确率,这等于鼓励多花算力。
Lannelongue 及其同事提出的 GREENER 原则为研究团队和机构提供了一个框架。请参阅研究人员指南。
来源
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
相关内容
如何降低超参数搜索的能耗?
如何用更少的算力调优模型:用比完整网格更聪明的搜索,提前停止表现差的试验,先做小规模试点,用好默认值并设定预算。
如何报告我的 AI 研究的能耗?
论文中应写哪些算力和能耗信息:硬件、所有运行的 GPU 小时数、能耗、地点、碳排放、推理成本以及所用的边界。
如何减少在科研计算集群上运行 AI 实验的环境足迹?
降低高性能计算集群上 AI 实验的能耗:查看 Slurm 能耗记录,只申请实际所需资源,先做小规模试验,设置检查点,并灵活安排作业时间。
面向研究人员的绿色 AI
为研究人员提供的指南:介绍高效的 AI 方法、如何在论文中测量和报告能耗、如何设定算力预算、如何争取科研经费,以及数学能发挥作用的领域。