要点
まず、そのモデルの蒸留版がすでにあるか確認しましょう。なければ、大きな「教師」モデルを使ってタスク用の例にラベルを付けたり例を生成したりし、それで小さな「生徒」モデルを学習させ、自分の実際の事例で生徒を試します。初期の例である DistilBERT は、BERT より 40% 小さく 60% 速い一方で、言語理解能力の 97% を保ちました。
手順
- タスクに使える、既存の蒸留版や小さい版のモデルを探します。
- タスクの実際の入力を集めます。
- 大きなモデルでそれらのラベルや出力を作り、一部を手作業で確認します。
- そのデータで小さな生徒モデルを学習させます。
- 生徒モデルを品質の基準に照らして試し、確信度の低い事例は大きなモデルに回します。
蒸留は、大きなモデルがタスクについて知っていることを、動かすコストの低い小さなモデルに移します。 生徒モデルの学習に一度だけコストを払えば、そのあとはリクエストのたびに節約できます。
なぜ重要なのですか?
チケットの分類や項目の抽出のような範囲の狭い仕事に大きな汎用モデルを使うと、その仕事では使わない知識の分までコストを払うことになります。Luccioni、Jernite、Strubell は、同じタスクでは、タスク専用のシステムのほうが多目的の生成モデルより桁違いに安く動かせることを確かめました。Green Software Foundation は、適正なサイズでエネルギー効率のよい AI モデルのためのパターンの 1 つとして蒸留を挙げています。
どのような仕組みですか?
教師は大きなモデルで、生徒は小さなモデルです。古典的な方法では、生徒は教師の最終的な答えだけでなく出力の確率分布にも合わせるように学習します。そのほうが例 1 つあたりの情報量が多くなります。Sanh らの DistilBERT はこの方法で、BERT より 40% 小さく 60% 速く、言語理解能力の 97% を保つモデルを作りました。
生成モデルでは、もっと簡単な方法がよく使われます。教師に実際の入力への答えを作らせ、一部を確認し、それで小さなモデルをファインチューニングするという方法です。
よくある間違い
- 小さなモデルがすでにあるのに蒸留すること。 まず探しましょう。タスク専用のモデルを探す方法をご覧ください。
- 教師の出力をうのみにすること。 教師の誤りは、そのまま生徒の誤りになります。
- 予備がないこと。 モデルルーティングを使い、生徒が自信を持てない事例のために大きなモデルを残しておきましょう。
- ライセンスを無視すること。 モデルの利用規約によっては、出力を他のモデルの学習に使うことを制限しています。
詳しくは効率的な学習と推論をお読みください。
出典
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
関連
汎用のチャットボットではなく、タスク専用の AI モデルを探すには?
分類、抽出、翻訳など 1 つの仕事のために作られた小さなモデルを探し、汎用チャットボットに劣らず、より少ないエネルギーで済むか確かめる方法です。
リクエストを小さな AI モデルに振り分けるには?
定型的なリクエストは小さなモデルに、難しいものだけを大きなモデルに振り分け、やり直しで節約分が消えないようルーターを調整する方法です。
ニューラルネットワークを枝刈り(プルーニング)するには?
学習済みのニューラルネットワークから寄与の小さい重みを取り除き、精度がどれだけ保たれるか試し、ハードウェアで本当に節約できるか確かめる方法です。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。