要点
学習済みのネットワークから寄与の最も小さい重み、ニューロン、層を取り除き、短時間ファインチューニングして回復させ、品質の基準に照らして試しましょう。枝刈りによって AlexNet のパラメータは精度を落とさずに 9 分の 1 になり、非常に大きな言語モデルも 1 回で 50% 以上のスパース性まで枝刈りされています。一般的なハードウェアで速く動かしたいなら、構造化された枝刈りを選びましょう。
手順
- まず、枝刈り前のモデルの精度、レイテンシ、エネルギーを測ります。
- ハードウェアがスパースな重みを活用できない限り、構造化された枝刈り(ニューロン、ヘッド、層ごと)を選びます。
- 絶対値が最も小さいものなど、重要度に応じて控えめな割合の重みを取り除きます。
- 短時間ファインチューニングして、ネットワークを回復させます。
- 段階的に繰り返して毎回試し、品質が基準を下回ったら止めます。
大きなネットワークは通常、タスクに必要な量よりはるかに多くの重みを持っているので、学習後に多くを取り除けます。 枝刈りはモデルを小さくし、適したハードウェアでは動かすコストも下げます。
証拠は何を示していますか?
Han らは 2015年に、枝刈りによって、画像モデル AlexNet のパラメータを 9 分の 1 に、VGG-16 を 13 分の 1 に減らし、精度は落ちなかったことを示しました。Frankle と Carbin の宝くじ仮説(lottery ticket hypothesis)は、大きなネットワークには、ネットワーク全体と同じ精度を出せるはるかに小さなサブネットワークが含まれていることを明らかにしました。言語モデルでは、Frantar と Alistarh の SparseGPT が、非常に大きなモデルを再学習なしの 1 回の処理で 50% 以上のスパース性まで枝刈りし、パープレキシティの増加もわずかでした。
構造化か非構造化か?
- 非構造化の枝刈り は、個々の重みを取り除きます。最も多く取り除けますが、ゼロが散らばって残り、一般的な GPU や CPU はそれを飛ばせないことがよくあります。
- 構造化された枝刈り は、ニューロン、アテンションヘッド、チャネル、層をまるごと取り除きます。取り除ける量は少なくなりますが、小さくなったモデルはどんなハードウェアでも速く動きます。
よくある間違い
- エネルギーを測らずにゼロの数を数えること。 理論上の節約は、実測の節約を上回ることがよくあります。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット(集中討議型ワークショップ)では、主流のチップがスパース性をうまく活用できないこともあって、スパース性はまだ十分に使われていないと指摘されました。
- 一度に枝刈りしすぎること。 段階的に進め、その合間にファインチューニングしましょう。
- ベンチマークだけで試すこと。 まれな事例も含めて自分の事例を確認しましょう。枝刈りは、まずそうした事例に悪影響を与えることがあります。
300 本を超える論文をまとめた Hoefler らの 2021年のサーベイが、標準的な手引きです。理論については、効率的な AI のための数学をお読みください。
出典
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
関連
AI をより効率的にする数学
枝刈り、スパース性、スケッチング、ランダム行列理論、物理情報モデル。数学が AI に必要な計算、メモリ、エネルギーをどう減らすかを説明します。
AI モデルを量子化するには?
AI モデルを 8ビットや 4ビットに量子化する方法です。使うツール、品質の確かめ方、量子化で省エネになる場合とならない場合を説明します。
大きな AI モデルを小さなモデルに蒸留するには?
知識蒸留の仕組みです。大きな教師モデルでタスク用の小さな生徒モデルを学習させ、それを試し、大きなモデルは予備として残します。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。