greenai.guide

ホーム › どうすれば…? › ニューラルネットワークを枝刈り(プルーニング)するには?

どうすれば…?

ニューラルネットワークを枝刈り(プルーニング)するには?

更新日 · 1分で読めます

要点

学習済みのネットワークから寄与の最も小さい重み、ニューロン、層を取り除き、短時間ファインチューニングして回復させ、品質の基準に照らして試しましょう。枝刈りによって AlexNet のパラメータは精度を落とさずに 9 分の 1 になり、非常に大きな言語モデルも 1 回で 50% 以上のスパース性まで枝刈りされています。一般的なハードウェアで速く動かしたいなら、構造化された枝刈りを選びましょう。

手順

  1. まず、枝刈り前のモデルの精度、レイテンシ、エネルギーを測ります。
  2. ハードウェアがスパースな重みを活用できない限り、構造化された枝刈り(ニューロン、ヘッド、層ごと)を選びます。
  3. 絶対値が最も小さいものなど、重要度に応じて控えめな割合の重みを取り除きます。
  4. 短時間ファインチューニングして、ネットワークを回復させます。
  5. 段階的に繰り返して毎回試し、品質が基準を下回ったら止めます。

大きなネットワークは通常、タスクに必要な量よりはるかに多くの重みを持っているので、学習後に多くを取り除けます。 枝刈りはモデルを小さくし、適したハードウェアでは動かすコストも下げます。

証拠は何を示していますか?

Han らは 2015年に、枝刈りによって、画像モデル AlexNet のパラメータを 9 分の 1 に、VGG-16 を 13 分の 1 に減らし、精度は落ちなかったことを示しました。Frankle と Carbin の宝くじ仮説(lottery ticket hypothesis)は、大きなネットワークには、ネットワーク全体と同じ精度を出せるはるかに小さなサブネットワークが含まれていることを明らかにしました。言語モデルでは、Frantar と Alistarh の SparseGPT が、非常に大きなモデルを再学習なしの 1 回の処理で 50% 以上のスパース性まで枝刈りし、パープレキシティの増加もわずかでした。

構造化か非構造化か?

  • 非構造化の枝刈り は、個々の重みを取り除きます。最も多く取り除けますが、ゼロが散らばって残り、一般的な GPU や CPU はそれを飛ばせないことがよくあります。
  • 構造化された枝刈り は、ニューロン、アテンションヘッド、チャネル、層をまるごと取り除きます。取り除ける量は少なくなりますが、小さくなったモデルはどんなハードウェアでも速く動きます。

よくある間違い

  • エネルギーを測らずにゼロの数を数えること。 理論上の節約は、実測の節約を上回ることがよくあります。数学者、計算機科学者、産業界が集まった 2026年の英国のグリーン AI サンドピット(集中討議型ワークショップ)では、主流のチップがスパース性をうまく活用できないこともあって、スパース性はまだ十分に使われていないと指摘されました。
  • 一度に枝刈りしすぎること。 段階的に進め、その合間にファインチューニングしましょう。
  • ベンチマークだけで試すこと。 まれな事例も含めて自分の事例を確認しましょう。枝刈りは、まずそうした事例に悪影響を与えることがあります。

300 本を超える論文をまとめた Hoefler らの 2021年のサーベイが、標準的な手引きです。理論については、効率的な AI のための数学をお読みください。

出典

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー