要点
タスクに近い事前学習済みモデルを探し、それを適応させましょう。ファインチューニングする、LoRA のような小さなアダプターを学習する、または再学習の代わりに検索(リトリーバル)で知識を加える、といった方法があります。同じベースからファインチューニングしたモデルが複数あれば、重みを平均すると推論コストを増やさずに精度を高められることがあります。基盤モデルの研究以外で、ゼロからの学習が必要になることはまれです。
手順
- 公開されているモデルハブで、自分の分野と言語に合った事前学習済みモデルを探します。
- 何かが足りないと判断する前に、最も近い候補を自分のタスクで試します。
- 自分のデータでファインチューニングするか、LoRA アダプターを学習します。
- 変化する知識には、再学習ではなく検索を使います。
- 同じベースからファインチューニングしたモデルがあれば、再利用して統合します。
- ファインチューニングしたモデルとその学習時の排出量を公開し、他の人が再利用できるようにします。
まず再利用しましょう。 必要なものに近いモデルは、ほぼ必ず誰かがすでに学習しています。それを適応させるコストは、自分で学習するコストのごく一部です。
なぜ重要なのですか?
事前学習は、モデルの一生のなかで最もエネルギーを使う段階です。Green Software Foundation のパターン集は、ゼロから学習するのではなく、事前学習済みモデルと転移学習を活用するよう勧めています。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット(集中討議型ワークショップ)でも、役に立つ成果の多くはあまり知られていないリポジトリに眠っているため、どのプロジェクトでも最初の一歩は丁寧な検索だと指摘されました。
どんな選択肢がありますか?
- ファインチューニング:事前学習済みモデルを自分のデータで調整します。Hu らは LoRA により、GPT-3 175B を完全にファインチューニングする場合と比べて、学習するパラメータを 10,000 分の 1 に減らしました。大きな計算資源なしでファインチューニングする方法をご覧ください。
- 検索(リトリーバル):変化する知識に使います。検索とファインチューニングの選び方をご覧ください。
- モデルの統合:Wortsman らは、同じベースからファインチューニングした複数のモデルの重みを平均した「モデルスープ」が、推論時間を増やさずに精度を高められることを示しました。
- 蒸留:小さな専門モデルに知識を移します。モデルを蒸留する方法をご覧ください。
よくある間違い
- 自分の分野は専門的すぎると思い込むこと。 まず汎用モデルと分野別モデルを試しましょう。多くの場合、かなり近い結果が出ます。
- ライセンスを見落とすこと。 ライセンスによっては再利用できない場合があります。
- 成果を共有しないこと。 Hugging Face が対応しているように、学習時の排出量をモデルカードのメタデータに記載してファインチューニングしたモデルを公開すれば、他の人が同じ作業を繰り返さずに済みます。
研究の観点からは、効率的な AI のための数学をお読みください。
出典
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)
関連
大きな計算資源なしでモデルをファインチューニングするには?
LoRA や QLoRA などのパラメータ効率のよいファインチューニングで、1枚の GPU に収め、はるかに少ないエネルギーでモデルを適応させる方法です。
省エネのためには RAG とファインチューニングのどちらを選ぶべき?
検索(RAG)とファインチューニングの使い分けです。変化する事実には検索、スキルや文体にはファインチューニング。取り違えるとエネルギーを無駄にします。
モデルの学習にかかるエネルギーを減らすには?
学習のエネルギーを減らす主な方法:事前学習済みモデルから始め、規模を適正化し、混合精度を使い、早期終了し、クリーンな場所と時間を選び、測定します。
AI をより効率的にする数学
枝刈り、スパース性、スケッチング、ランダム行列理論、物理情報モデル。数学が AI に必要な計算、メモリ、エネルギーをどう減らすかを説明します。