要点
主な実験に必要な GPU 時間を見積もり、試行錯誤のための余裕を加え、お金と同じようにその予算に対する使用量を追跡しましょう。アイデアは小さな規模で予備実験し、見込みのない実行は早めに止め、事前学習済みのモデルやチェックポイントを再利用し、かかった計算量に対する結果を報告します。予算があればトレードオフが見えるようになり、終わりのない調整を防げます。
手順
- 主な実験の GPU 時間を見積もり、試行錯誤のための余裕を明記して加えます。
- 規模を広げる前に、小さな規模の予備実験で見込みのないアイデアを除外します。
- 実験ごとの GPU 時間とエネルギーを、予算に照らして追跡します。
- 大きなグリッドサーチの代わりに、見込みのない実行は早期打ち切りにします。
- 合うものがあれば、事前学習済みのモデルやチェックポイントを再利用します。
- kWh あたりの精度など、計算量に対する結果を報告します。
プロジェクトで使ってよい計算量を事前に決め、それを追跡しましょう。 予算がなければ、追加の実行は無料のように感じられ、わずかな精度の向上にかかるエネルギーが比べられることはありません。
予算はどう見積もればよいですか?
計画している実験から考えましょう。モデルのサイズ、データの量、実行の回数から、おおよその GPU 時間がわかります。Lannelongue、Grealey、Inouye による Green Algorithms の計算ツールは、ハードウェア、実行時間、メモリ、場所からエネルギーと炭素の推定値を出してくれるので、予算が何を意味するかがわかります。試行錯誤の分は上限なしにせず、余裕として明記して加えましょう。
プロジェクトを予算内に収めるには?
- まず小さな予備実験。 小さなモデルとデータの一部で、見込みのないアイデアを除外します。
- 効率的な探索。 見込みのない実行は早めに止めます。ハイパーパラメータ探索のエネルギーを減らす方法をご覧ください。
- 再利用。 事前学習済みのモデルと保存したチェックポイントから始めます。ゼロからの学習を避ける方法をご覧ください。
- どこで、何を使って実行するかを選ぶ。 Patterson らは、モデル、データセンター、プロセッサーの選び方によって、学習のカーボンフットプリントを最大でおよそ 100〜1,000 分の 1 に減らせることを明らかにしました。
よくある間違い
- 最終的な実行だけを予算に入れること。 通常は試行錯誤が計算量の大部分を占めます。
- チェックポイントがないこと。 失敗すると最初からやり直しになります。
- 最高精度だけを報告すること。 これでは多く使うほど評価されてしまいます。
Lannelongue らの GREENER 原則は、研究グループや機関向けの枠組みを示しています。研究者向けガイドをご覧ください。
出典
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
関連
ハイパーパラメータ探索のエネルギーを減らすには?
少ない計算でモデルを調整する方法です。全組み合わせより賢い探索、見込みのない試行の早期打ち切り、小さな予備実験、よい既定値、予算の設定を紹介します。
AI 研究のエネルギー使用量は論文でどう報告すればいい?
論文に載せるべき計算量とエネルギーの項目です。ハードウェア、全実行の GPU 時間、エネルギー、場所、炭素、推論コスト、算定範囲を示します。
研究用クラスターでの AI 実験のフットプリントを減らすには?
HPC での AI 実験のエネルギーを減らす方法です。Slurm のエネルギー記録を読み、使う分だけ要求し、小さく試し、チェックポイントを取り、時間を調整します。
研究者のためのグリーン AI
研究者向けのガイドです。効率的な AI の手法、論文でのエネルギーの測定と報告、計算予算、研究資金、数学が役立つ場面を解説します。