# モデルの学習にかかるエネルギーを減らすには？

> 学習のエネルギーを減らす主な方法：事前学習済みモデルから始め、規模を適正化し、混合精度を使い、早期終了し、クリーンな場所と時間を選び、測定します。

Source: https://greenai.guide/ja/ハウツー/モデルの学習にかかるエネルギーを減らすには/  
Updated: 2026-11-19

## 要点

できる限り事前学習済みのモデルから始め、基準を満たせる最小のアーキテクチャを選び、混合精度で学習し、検証の成績が伸びなくなったら止め、効率の良いハードウェアを低炭素の地域と時間帯で使いましょう。Patterson らは、モデル、データセンター、プロセッサーの選択によって、学習のカーボンフットプリントを最大で約 100〜1,000 分の 1 に減らせることを示しました。トレードオフが見えるよう、すべての実行を測定しましょう。

## Steps

1. ゼロから学習する代わりに、事前学習済みのモデルをファインチューニングできないか確認します。
2. 本格的な実行の前に、小規模でアイデアを試します。
3. 混合精度で学習し、検証の成績が伸びなくなったら早期に終了します。
4. 効率の良いアクセラレーターを低炭素の地域で使い、柔軟に動かせる実行はよりクリーンな時間帯に予定します。
5. 実行を一時停止、再開でき、最初からやり直さずに済むよう、チェックポイントを保存します。
6. 失敗した実行も含め、すべての実行のエネルギーと排出量を追跡します。

**学習のエネルギーは、そのほとんどが実行を始める前の判断で決まります。** 何を、何で、どこで、いつ学習するかのほうが、実行中のどんな調整よりも重要です。

## なぜ重要なのですか？ {#why-does-it-matter}

Strubell、Ganesh、McCallum による 2019年の論文は、言語モデルの学習にかかる金銭的、環境的コストを定量化し、それを減らす方法を提案しました。その後 Patterson らは、モデルのアーキテクチャ、データセンター、プロセッサーの選択によって、学習のカーボンフットプリントを最大で約 100〜1,000 分の 1 に減らせることを示しました。

## いちばん差が出るのは何ですか？ {#what-makes-the-biggest-difference}

1. **ゼロから学習しないこと。** 事前学習済みのモデルや、その上のアダプターをファインチューニングするコストは、たいてい事前学習のごく一部です。
   [ゼロからの学習を避ける方法](/ja/ハウツー/ai-モデルをゼロから学習せずに済ませるには/)をご覧ください。
2. **規模の適正化。** 基準を満たす小さなアーキテクチャは、基準を上回る大きなものに勝ります。
3. **混合精度。** Micikevicius らの研究では、完全精度のマスターコピーを保ちつつ半精度で学習することで、メモリ使用量がほぼ半分になり、同じハードウェアでより大きなバッチを扱えるようになりました。
4. **早期終了。** 検証損失が頭打ちになったら実行を終えます。
5. **場所と時間。** 効率の良いアクセラレーターと低炭素の地域を選び、柔軟に動かせるジョブは送電網がよりクリーンなときに実行します。
   [学習のスケジュールの立て方](/ja/ハウツー/電力網がクリーンな時間帯に-ai-の学習を実行するには/)をご覧ください。

## よくある間違い {#common-mistakes}

- **最終の実行だけを数えること。** チューニングや失敗した実行のほうが、多くのコストがかかることがよくあります。
  [ハイパーパラメータ探索のエネルギーを減らす方法](/ja/ハウツー/ハイパーパラメータ探索のエネルギーを減らすには/)をご覧ください。
- **チェックポイントを保存しないこと。** 中断すると最初からやり直しになります。
- **測定しないこと。** 学習スクリプトに CodeCarbon などの追跡ツールを組み込みましょう。

ツールの全体像は、[効率的な学習と推論](/ja/グッドプラクティス/ai-の効率的な学習と推論/)をお読みください。

## 出典

- [Carbon emissions and large neural network training](https://arxiv.org/abs/2104.10350), Patterson et al. (2021)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Energy and policy considerations for deep learning in NLP](https://arxiv.org/abs/1906.02243), Strubell, Ganesh and McCallum, ACL (2019)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
