# ニューラルネットワークを枝刈り（プルーニング）するには？

> 学習済みのニューラルネットワークから寄与の小さい重みを取り除き、精度がどれだけ保たれるか試し、ハードウェアで本当に節約できるか確かめる方法です。

Source: https://greenai.guide/ja/ハウツー/ニューラルネットワークを枝刈り-プルーニング-するには/  
Updated: 2026-11-19

## 要点

学習済みのネットワークから寄与の最も小さい重み、ニューロン、層を取り除き、短時間ファインチューニングして回復させ、品質の基準に照らして試しましょう。枝刈りによって AlexNet のパラメータは精度を落とさずに 9 分の 1 になり、非常に大きな言語モデルも 1 回で 50% 以上のスパース性まで枝刈りされています。一般的なハードウェアで速く動かしたいなら、構造化された枝刈りを選びましょう。

## Steps

1. まず、枝刈り前のモデルの精度、レイテンシ、エネルギーを測ります。
2. ハードウェアがスパースな重みを活用できない限り、構造化された枝刈り（ニューロン、ヘッド、層ごと）を選びます。
3. 絶対値が最も小さいものなど、重要度に応じて控えめな割合の重みを取り除きます。
4. 短時間ファインチューニングして、ネットワークを回復させます。
5. 段階的に繰り返して毎回試し、品質が基準を下回ったら止めます。

**大きなネットワークは通常、タスクに必要な量よりはるかに多くの重みを持っているので、学習後に多くを取り除けます。** 枝刈りはモデルを小さくし、適したハードウェアでは動かすコストも下げます。

## 証拠は何を示していますか？ {#what-does-the-evidence-show}

Han らは 2015年に、枝刈りによって、画像モデル AlexNet のパラメータを 9 分の 1 に、VGG-16 を 13 分の 1 に減らし、精度は落ちなかったことを示しました。Frankle と Carbin の宝くじ仮説（lottery ticket hypothesis）は、大きなネットワークには、ネットワーク全体と同じ精度を出せるはるかに小さなサブネットワークが含まれていることを明らかにしました。言語モデルでは、Frantar と Alistarh の SparseGPT が、非常に大きなモデルを再学習なしの 1 回の処理で 50% 以上のスパース性まで枝刈りし、パープレキシティの増加もわずかでした。

## 構造化か非構造化か？ {#structured-or-unstructured}

- **非構造化の枝刈り** は、個々の重みを取り除きます。最も多く取り除けますが、ゼロが散らばって残り、一般的な GPU や CPU はそれを飛ばせないことがよくあります。
- **構造化された枝刈り** は、ニューロン、アテンションヘッド、チャネル、層をまるごと取り除きます。取り除ける量は少なくなりますが、小さくなったモデルはどんなハードウェアでも速く動きます。

## よくある間違い {#common-mistakes}

- **エネルギーを測らずにゼロの数を数えること。** 理論上の節約は、実測の節約を上回ることがよくあります。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット（集中討議型ワークショップ）では、主流のチップがスパース性をうまく活用できないこともあって、スパース性はまだ十分に使われていないと指摘されました。
- **一度に枝刈りしすぎること。** 段階的に進め、その合間にファインチューニングしましょう。
- **ベンチマークだけで試すこと。** まれな事例も含めて自分の事例を確認しましょう。枝刈りは、まずそうした事例に悪影響を与えることがあります。

300 本を超える論文をまとめた Hoefler らの 2021年のサーベイが、標準的な手引きです。理論については、[効率的な AI のための数学](/ja/記事/ai-をより効率的にする数学/)をお読みください。

## 出典

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
