要点
品質の基準を満たせる最小のモデルから始め、蒸留、量子化、枝刈りでさらに小さくし、各段階を対象のデバイスで試しましょう。推論あたりのエネルギー、レイテンシ、精度を実際のハードウェアでまとめて測り、バッテリーが少ないときやデバイスが熱いときは、モデルを一段小さいものに切り替えます。
手順
- 対象デバイスについて、品質の基準と、メモリ、レイテンシ、エネルギーの予算を決めます。
- 大きな汎用モデルを縮めるのではなく、小さなモデルや蒸留済みのモデルから始めます。
- 重みを 8 ビットまたは 4 ビットに量子化し、自分のテストケースで精度を確かめます。
- ほとんど寄与しない重みを枝刈りし、デバイスで再び試します。
- 推論あたりのエネルギー、レイテンシ、精度を、実際のハードウェアでまとめて測ります。
- バッテリーが少ないときやデバイスが熱いときは、より小さなモデルや低い実行頻度に切り替えます。
小さな出発点のモデルに蒸留、量子化、枝刈りを組み合わせ、各段階をデバイスそのもので評価しましょう。 エッジデバイスはメモリが少なく、多くはバッテリーで動きます。大きすぎるモデルは収まらないか、バッテリーを消耗させて性能が抑えられてしまいます。サイズを適切にすれば、データをクラウドに送る必要もなくなります。
モデルを最も小さくできる手法はどれですか?
- 蒸留 は、小さな「生徒」モデルが大きな「教師」モデルをまねるように学習させます。DistilBERT は BERT より 40% 小さく 60% 速い一方で、言語理解能力の 97% を保ちました。
- 量子化 は、重みを少ないビット数で保存します。Hugging Face のドキュメントでは、80 億パラメータのモデルの重みには、16 ビット精度で約 16 GB、8 ビットで約 8 GB、4 ビットで約 4〜5 GB が必要になるという例を挙げています。ただし精度はいくらか下がります。モデルを量子化する方法をご覧ください。
- 枝刈り(プルーニング) は、出力にほとんど影響しない重みを取り除きます。ニューラルネットワークを枝刈りする方法をご覧ください。
デバイス上でモデルはどう振る舞うべきですか?
Green Software Foundation のエッジ AI のパターンは、推論あたりのエネルギー、レイテンシ、精度をまとめて追跡し、状況に応じて調整するよう勧めています。バッテリーが少ないときやデバイスが熱いときは、より小さなモデルや低い推論頻度に切り替えるということです。
よくある間違い
- ノートパソコンだけで試すこと。 アクセラレーター、メモリ、熱の制約は異なります。対象のハードウェアで測りましょう。
- 品質の基準を下回るまで小さくすること。 失敗して代わりにクラウドを呼び出すモデルは、節約分より多くのコストがかかることがあります。
- 推論を常に実行し続けること。 可能であれば、毎フレームや毎秒ではなく、イベントをきっかけに実行しましょう。
エッジとクラウドのどちらがグリーンかは場合によります。エッジかクラウドかとエッジの AIをご覧ください。
出典
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
関連
AI モデルを量子化するには?
AI モデルを 8ビットや 4ビットに量子化する方法です。使うツール、品質の確かめ方、量子化で省エネになる場合とならない場合を説明します。
大きな AI モデルを小さなモデルに蒸留するには?
知識蒸留の仕組みです。大きな教師モデルでタスク用の小さな生徒モデルを学習させ、それを試し、大きなモデルは予備として残します。
AI は端末で動かすのとクラウドで動かすのと、どちらがいい?
端末上(エッジ)の AI とクラウドの AI を、エネルギー、プライバシー、品質の面で比べ、向いている作業と根拠の限界を説明します。
エッジかクラウドか:AI はどこで動かすべきか
端末上・エッジの AI と中央のデータセンターを、エネルギー、ネットワーク、ハードウェア、プライバシー、レジリエンスの観点で比べ、段階的に判断する方法を紹介します。