greenai.guide

ホーム › どうすれば…? › 研究プロジェクトの計算予算はどう決めればいい?

どうすれば…?

研究プロジェクトの計算予算はどう決めればいい?

更新日 · 1分で読めます

要点

主な実験に必要な GPU 時間を見積もり、試行錯誤のための余裕を加え、お金と同じようにその予算に対する使用量を追跡しましょう。アイデアは小さな規模で予備実験し、見込みのない実行は早めに止め、事前学習済みのモデルやチェックポイントを再利用し、かかった計算量に対する結果を報告します。予算があればトレードオフが見えるようになり、終わりのない調整を防げます。

手順

  1. 主な実験の GPU 時間を見積もり、試行錯誤のための余裕を明記して加えます。
  2. 規模を広げる前に、小さな規模の予備実験で見込みのないアイデアを除外します。
  3. 実験ごとの GPU 時間とエネルギーを、予算に照らして追跡します。
  4. 大きなグリッドサーチの代わりに、見込みのない実行は早期打ち切りにします。
  5. 合うものがあれば、事前学習済みのモデルやチェックポイントを再利用します。
  6. kWh あたりの精度など、計算量に対する結果を報告します。

プロジェクトで使ってよい計算量を事前に決め、それを追跡しましょう。 予算がなければ、追加の実行は無料のように感じられ、わずかな精度の向上にかかるエネルギーが比べられることはありません。

予算はどう見積もればよいですか?

計画している実験から考えましょう。モデルのサイズ、データの量、実行の回数から、おおよその GPU 時間がわかります。Lannelongue、Grealey、Inouye による Green Algorithms の計算ツールは、ハードウェア、実行時間、メモリ、場所からエネルギーと炭素の推定値を出してくれるので、予算が何を意味するかがわかります。試行錯誤の分は上限なしにせず、余裕として明記して加えましょう。

プロジェクトを予算内に収めるには?

  • まず小さな予備実験。 小さなモデルとデータの一部で、見込みのないアイデアを除外します。
  • 効率的な探索。 見込みのない実行は早めに止めます。ハイパーパラメータ探索のエネルギーを減らす方法をご覧ください。
  • 再利用。 事前学習済みのモデルと保存したチェックポイントから始めます。ゼロからの学習を避ける方法をご覧ください。
  • どこで、何を使って実行するかを選ぶ。 Patterson らは、モデル、データセンター、プロセッサーの選び方によって、学習のカーボンフットプリントを最大でおよそ 100〜1,000 分の 1 に減らせることを明らかにしました。

よくある間違い

  • 最終的な実行だけを予算に入れること。 通常は試行錯誤が計算量の大部分を占めます。
  • チェックポイントがないこと。 失敗すると最初からやり直しになります。
  • 最高精度だけを報告すること。 これでは多く使うほど評価されてしまいます。

Lannelongue らの GREENER 原則は、研究グループや機関向けの枠組みを示しています。研究者向けガイドをご覧ください。

出典

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー