greenai.guide

首页 › 我该如何……? › 如何为科研项目设定算力预算?

我该如何……?

如何为科研项目设定算力预算?

更新于 · 阅读约需 1 分钟

简而言之

估算主要实验所需的 GPU 小时数,为探索留出余量,并像管钱一样对照预算跟踪使用情况。先以小规模试验想法,尽早停止效果差的运行,复用预训练模型和检查点,并报告结果所耗费的算力。预算能让取舍一目了然,也能防止无休止的调参。

步骤

  1. 估算主要实验的 GPU 小时数,并为探索留出明确的余量。
  2. 在扩大规模之前,先通过小规模试验排除不可行的想法。
  3. 对照预算,跟踪每个实验的 GPU 小时数和能耗。
  4. 对效果差的运行采用提前停止,而不是进行大规模网格搜索。
  5. 在合适的情况下复用预训练模型和检查点。
  6. 报告相对于算力的结果,例如每 kWh 的准确率。

事先决定项目可以使用多少算力,并跟踪使用情况。 没有预算,额外的运行就显得不花钱,一点点准确率提升所耗费的能源也永远不会被拿来权衡。

如何估算预算?

从计划中的实验出发:模型规模、数据规模和运行次数可以得出大致的 GPU 小时数。Lannelongue、Grealey 和 Inouye 开发的 Green Algorithms 计算器可以把硬件、运行时长、内存和地点换算成能耗和碳排放估算,帮助您理解预算意味着什么。为探索留出明确的余量,而不是让它没有上限。

怎样让项目不超出预算?

  • 先做小规模试验。 在小模型和数据子集上排除不可行的想法。
  • 高效搜索。 尽早停止效果差的运行;请参阅降低超参数搜索的能耗。
  • 复用。 从预训练模型和已保存的检查点出发;请参阅避免从头训练。
  • 选择在哪里、用什么运行。 Patterson 及其同事发现,模型、数据中心和处理器的选择最多可将训练的碳足迹降低约 100 到 1,000 倍。

常见错误

  • 只为最终运行做预算。 探索通常占了大部分算力。
  • 没有检查点,一次失败就意味着从头再来。
  • 只报告最佳准确率,这等于鼓励多花算力。

Lannelongue 及其同事提出的 GREENER 原则为研究团队和机构提供了一个框架。请参阅研究人员指南。

来源

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私