要点
できる限り事前学習済みのモデルから始め、基準を満たせる最小のアーキテクチャを選び、混合精度で学習し、検証の成績が伸びなくなったら止め、効率の良いハードウェアを低炭素の地域と時間帯で使いましょう。Patterson らは、モデル、データセンター、プロセッサーの選択によって、学習のカーボンフットプリントを最大で約 100〜1,000 分の 1 に減らせることを示しました。トレードオフが見えるよう、すべての実行を測定しましょう。
手順
- ゼロから学習する代わりに、事前学習済みのモデルをファインチューニングできないか確認します。
- 本格的な実行の前に、小規模でアイデアを試します。
- 混合精度で学習し、検証の成績が伸びなくなったら早期に終了します。
- 効率の良いアクセラレーターを低炭素の地域で使い、柔軟に動かせる実行はよりクリーンな時間帯に予定します。
- 実行を一時停止、再開でき、最初からやり直さずに済むよう、チェックポイントを保存します。
- 失敗した実行も含め、すべての実行のエネルギーと排出量を追跡します。
学習のエネルギーは、そのほとんどが実行を始める前の判断で決まります。 何を、何で、どこで、いつ学習するかのほうが、実行中のどんな調整よりも重要です。
なぜ重要なのですか?
Strubell、Ganesh、McCallum による 2019年の論文は、言語モデルの学習にかかる金銭的、環境的コストを定量化し、それを減らす方法を提案しました。その後 Patterson らは、モデルのアーキテクチャ、データセンター、プロセッサーの選択によって、学習のカーボンフットプリントを最大で約 100〜1,000 分の 1 に減らせることを示しました。
いちばん差が出るのは何ですか?
- ゼロから学習しないこと。 事前学習済みのモデルや、その上のアダプターをファインチューニングするコストは、たいてい事前学習のごく一部です。 ゼロからの学習を避ける方法をご覧ください。
- 規模の適正化。 基準を満たす小さなアーキテクチャは、基準を上回る大きなものに勝ります。
- 混合精度。 Micikevicius らの研究では、完全精度のマスターコピーを保ちつつ半精度で学習することで、メモリ使用量がほぼ半分になり、同じハードウェアでより大きなバッチを扱えるようになりました。
- 早期終了。 検証損失が頭打ちになったら実行を終えます。
- 場所と時間。 効率の良いアクセラレーターと低炭素の地域を選び、柔軟に動かせるジョブは送電網がよりクリーンなときに実行します。 学習のスケジュールの立て方をご覧ください。
よくある間違い
- 最終の実行だけを数えること。 チューニングや失敗した実行のほうが、多くのコストがかかることがよくあります。 ハイパーパラメータ探索のエネルギーを減らす方法をご覧ください。
- チェックポイントを保存しないこと。 中断すると最初からやり直しになります。
- 測定しないこと。 学習スクリプトに CodeCarbon などの追跡ツールを組み込みましょう。
ツールの全体像は、効率的な学習と推論をお読みください。
出典
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
関連
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。
AI モデルをゼロから学習せずに済ませるには?
独自に事前学習する代わりに既存モデルを再利用する方法です。ファインチューニング、LoRA による適応、モデルの統合、検索による知識の追加を紹介します。
電力網がクリーンな時間帯に AI の学習を実行するには?
電力網の炭素強度が低いときに学習やバッチ処理を実行します。予報を使い、チェックポイントで一時停止でき、期限は厳守する方法です。
AI モデルの学習のカーボンフットプリントを測るには?
CodeCarbon などのツールで学習のエネルギーを記録し、地域の電力網の炭素強度を掛け、ハードウェア、時間、場所を報告する方法です。