# Jak przyciąć (pruning) sieć neuronową?

> Jak przyciąć wytrenowaną sieć neuronową, usuwając wagi o małym wkładzie, sprawdzić, ile dokładności zostaje, i czy sprzęt naprawdę oszczędza.

Source: https://greenai.guide/pl/jak/jak-przyciac-pruning-siec-neuronowa/  
Updated: 2026-11-19

## W skrócie

Wytrenowaną sieć przycina się, usuwając wagi, neurony lub warstwy o najmniejszym wkładzie, a następnie krótko ją dostraja, aby odzyskała jakość, i testuje względem wymaganego poziomu. Przycinanie zmniejszyło liczbę parametrów AlexNet dziewięciokrotnie bez utraty dokładności, a bardzo duże modele językowe przycinano jednorazowo do co najmniej 50% rzadkości. Jeśli zwykły sprzęt ma działać szybciej, lepiej wybrać przycinanie strukturalne.

## Steps

1. Najpierw zmierzyć dokładność, opóźnienie i energię nieprzyciętego modelu.
2. Wybrać przycinanie strukturalne (całe neurony, głowice lub warstwy), chyba że sprzęt wykorzystuje rzadkie wagi.
3. Usunąć umiarkowaną część wag według ważności, np. o najmniejszej wartości bezwzględnej.
4. Krótko dostroić sieć, aby odzyskała jakość.
5. Powtarzać to etapami, za każdym razem testując, i przerwać, gdy jakość spadnie poniżej wymaganego poziomu.

**Duże sieci mają zwykle znacznie więcej wag, niż wymaga zadanie, więc wiele z nich można usunąć po trenowaniu.**
Przycinanie zmniejsza model, a na odpowiednim sprzęcie obniża też koszt jego działania.

## Co pokazują dowody? {#what-does-the-evidence-show}

Han i współpracownicy pokazali w 2015 roku, że przycinanie zmniejszyło liczbę parametrów modelu obrazowego AlexNet
dziewięciokrotnie, a VGG-16 trzynastokrotnie, bez utraty dokładności. Hipoteza losu na loterii (lottery ticket
hypothesis) Frankle'a i Carbina wykazała, że duże sieci zawierają znacznie mniejsze podsieci, które mogą dorównać
dokładnością pełnej sieci. W przypadku modeli językowych SparseGPT Frantara i Alistarha przyciął bardzo duże modele
jednorazowo do co najmniej 50% rzadkości, bez ponownego trenowania i przy niewielkim wzroście perpleksji.

## Strukturalne czy niestrukturalne? {#structured-or-unstructured}

- **Przycinanie niestrukturalne** usuwa pojedyncze wagi. Pozwala usunąć najwięcej, ale zostawia rozproszone zera,
  których zwykłe GPU i CPU często nie potrafią pominąć.
- **Przycinanie strukturalne** usuwa całe neurony, głowice uwagi, kanały lub warstwy. Usuwa mniej, ale mniejszy
  model działa szybciej na każdym sprzęcie.

## Częste błędy {#common-mistakes}

- **Liczenie zer zamiast mierzenia energii.** Oszczędności teoretyczne często przewyższają zmierzone. Brytyjski
  sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) o
  zielonej AI z 2026 roku, w którym uczestniczyli matematycy, informatycy i przedstawiciele przemysłu, zauważył, że
  rzadkość jest wciąż słabo wykorzystywana, częściowo dlatego, że popularne chipy z trudem ją wykorzystują.
- **Przycinanie zbyt dużo naraz.** Należy postępować etapami i dostrajać sieć między nimi.
- **Testowanie wyłącznie na benchmarkach.** Należy sprawdzić własne przypadki, w tym rzadkie, na które przycinanie
  może wpłynąć najpierw.

Standardowym przewodnikiem jest przegląd ponad 300 artykułów autorstwa Hoeflera i współpracowników z 2021 roku.
Teorię opisano w części [matematyka dla wydajnej AI](/pl/artykuly/matematyka-ktora-czyni-ai-bardziej-efektywna/).

## Źródła

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
