# エッジデバイスで動くくらい AI モデルを小さくするには？

> スマートフォン、センサー、組み込みボード向けにモデルを小さくする方法です。小さく始め、蒸留、量子化、枝刈りをし、実機で精度とエネルギーを試します。

Source: https://greenai.guide/ja/ハウツー/エッジデバイスで動くくらい-ai-モデルを小さくするには/  
Updated: 2026-11-19

## 要点

品質の基準を満たせる最小のモデルから始め、蒸留、量子化、枝刈りでさらに小さくし、各段階を対象のデバイスで試しましょう。推論あたりのエネルギー、レイテンシ、精度を実際のハードウェアでまとめて測り、バッテリーが少ないときやデバイスが熱いときは、モデルを一段小さいものに切り替えます。

## Steps

1. 対象デバイスについて、品質の基準と、メモリ、レイテンシ、エネルギーの予算を決めます。
2. 大きな汎用モデルを縮めるのではなく、小さなモデルや蒸留済みのモデルから始めます。
3. 重みを 8 ビットまたは 4 ビットに量子化し、自分のテストケースで精度を確かめます。
4. ほとんど寄与しない重みを枝刈りし、デバイスで再び試します。
5. 推論あたりのエネルギー、レイテンシ、精度を、実際のハードウェアでまとめて測ります。
6. バッテリーが少ないときやデバイスが熱いときは、より小さなモデルや低い実行頻度に切り替えます。

**小さな出発点のモデルに蒸留、量子化、枝刈りを組み合わせ、各段階をデバイスそのもので評価しましょう。** エッジデバイスはメモリが少なく、多くはバッテリーで動きます。大きすぎるモデルは収まらないか、バッテリーを消耗させて性能が抑えられてしまいます。サイズを適切にすれば、データをクラウドに送る必要もなくなります。

## モデルを最も小さくできる手法はどれですか？ {#which-techniques-shrink-a-model-most}

- **蒸留** は、小さな「生徒」モデルが大きな「教師」モデルをまねるように学習させます。DistilBERT は BERT より 40% 小さく 60% 速い一方で、言語理解能力の 97% を保ちました。
- **量子化** は、重みを少ないビット数で保存します。Hugging Face のドキュメントでは、80 億パラメータのモデルの重みには、16 ビット精度で約 16 GB、8 ビットで約 8 GB、4 ビットで約 4〜5 GB が必要になるという例を挙げています。ただし精度はいくらか下がります。[モデルを量子化する方法](/ja/ハウツー/ai-モデルを量子化するには/)をご覧ください。
- **枝刈り（プルーニング）** は、出力にほとんど影響しない重みを取り除きます。[ニューラルネットワークを枝刈りする方法](/ja/ハウツー/ニューラルネットワークを枝刈り-プルーニング-するには/)をご覧ください。

## デバイス上でモデルはどう振る舞うべきですか？ {#how-should-the-model-behave-on-the-device}

Green Software Foundation のエッジ AI のパターンは、推論あたりのエネルギー、レイテンシ、精度をまとめて追跡し、状況に応じて調整するよう勧めています。バッテリーが少ないときやデバイスが熱いときは、より小さなモデルや低い推論頻度に切り替えるということです。

## よくある間違い {#common-mistakes}

- **ノートパソコンだけで試すこと。** アクセラレーター、メモリ、熱の制約は異なります。対象のハードウェアで測りましょう。
- **品質の基準を下回るまで小さくすること。** 失敗して代わりにクラウドを呼び出すモデルは、節約分より多くのコストがかかることがあります。
- **推論を常に実行し続けること。** 可能であれば、毎フレームや毎秒ではなく、イベントをきっかけに実行しましょう。

エッジとクラウドのどちらがグリーンかは場合によります。[エッジかクラウドか](/ja/グッドプラクティス/エッジかクラウドか-ai-はどこで動かすべきか/)と[エッジの AI](/ja/記事/エッジ-ai-はよりグリーンなのか-それとも見えにくくなるだけなのか/)をご覧ください。

## 出典

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
