要点
大きなグリッドサーチをランダム探索や適応的な探索に置き換え、見込みのない試行は早めに打ち切り、まず小さなデータや小さなモデルで予備実験を行い、自分のアーキテクチャについて公表されている既定値から始めましょう。最良の結果だけでなくすべての試行のエネルギーを記録し、始める前に計算予算を決めます。調整のための実行は最終的な学習より多くのコストがかかることが多いのに、報告されることはまれです。
手順
- 始める前に、探索の計算予算を決めます。
- そのモデルファミリーについて公表されている既定のハイパーパラメータから始めます。
- すべての組み合わせを試す代わりに、ランダム探索や適応的な探索を使います。
- それまでの最良の結果より明らかに悪い試行は、早めに打ち切ります。
- 規模を広げる前に、データの一部や小さなモデルで予備実験をします。
- すべての試行について、精度とあわせてエネルギーと排出量を記録します。
幅広くではなく、賢く調整しましょう。 多くのハイパーパラメータについて全組み合わせを試すと、学習のコストが組み合わせの数だけ何倍にもなります。しかも、その実行のほとんどは早い段階で明らかに劣っています。
なぜ重要なのですか?
Strubell、Ganesh、McCallum の 2019年の論文は、最終的な 1 回の学習だけでなく、その周辺の試行錯誤も含めて、言語モデルの開発にかかるコストを定量化しました。Schwartz らの「Green AI」は、精度とあわせて効率が評価されるよう、研究者は結果にたどり着くまでの実験も含めた計算コストを報告すべきだと論じました。
最も効果が大きいことは何ですか?
- 見込みのない試行の早期打ち切り。 Successive Halving 型の手法は、すべての試行に小さな予算を与え、有望なものだけを続けます。ほとんどの調整用ライブラリが対応しています。
- ランダム探索や適応的な探索。 すべての組み合わせを実行する代わりに、設定をランダムに選ぶか、適応的な手法に以前の結果を使って次の試行を選ばせます。
- 小さな予備実験。 データの一部や小さなモデルで、見込みのないアイデアを除外します。
- まず既定値から。 一般的なアーキテクチャのよく検証された既定値は、最適に近いことがよくあります。
- すべての試行を記録する。 CodeCarbon のドキュメントでは、各設定を記録し、精度と排出量を比べる方法を示しています。
よくある間違い
- 最良の実行だけを報告すること。 すべての試行を計算量の合計に含めましょう。研究のエネルギー使用を報告する方法をご覧ください。
- 初日から全データセットで調整すること。
- 予算がないこと。 予算がなければ、探索はクラスター全体を埋め尽くすまで広がります。計算予算の決め方をご覧ください。
詳しくは研究者向けガイドをお読みください。
出典
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
関連
研究プロジェクトの計算予算はどう決めればいい?
AI 研究の計算予算を決めて追跡する方法です。GPU 時間を見積もり、小さく試し、見込みのない実行は早めに止め、モデルを再利用し、計算量に対する結果を報告します。
モデルの学習にかかるエネルギーを減らすには?
学習のエネルギーを減らす主な方法:事前学習済みモデルから始め、規模を適正化し、混合精度を使い、早期終了し、クリーンな場所と時間を選び、測定します。
AI 研究のエネルギー使用量は論文でどう報告すればいい?
論文に載せるべき計算量とエネルギーの項目です。ハードウェア、全実行の GPU 時間、エネルギー、場所、炭素、推論コスト、算定範囲を示します。
研究者のためのグリーン AI
研究者向けのガイドです。効率的な AI の手法、論文でのエネルギーの測定と報告、計算予算、研究資金、数学が役立つ場面を解説します。