greenai.guide

Strona główna › Jak…? › Jak przyciąć (pruning) sieć neuronową?

Jak…?

Jak przyciąć (pruning) sieć neuronową?

Aktualizacja · Czas czytania: 1 min

W skrócie

Wytrenowaną sieć przycina się, usuwając wagi, neurony lub warstwy o najmniejszym wkładzie, a następnie krótko ją dostraja, aby odzyskała jakość, i testuje względem wymaganego poziomu. Przycinanie zmniejszyło liczbę parametrów AlexNet dziewięciokrotnie bez utraty dokładności, a bardzo duże modele językowe przycinano jednorazowo do co najmniej 50% rzadkości. Jeśli zwykły sprzęt ma działać szybciej, lepiej wybrać przycinanie strukturalne.

Kroki

  1. Najpierw zmierzyć dokładność, opóźnienie i energię nieprzyciętego modelu.
  2. Wybrać przycinanie strukturalne (całe neurony, głowice lub warstwy), chyba że sprzęt wykorzystuje rzadkie wagi.
  3. Usunąć umiarkowaną część wag według ważności, np. o najmniejszej wartości bezwzględnej.
  4. Krótko dostroić sieć, aby odzyskała jakość.
  5. Powtarzać to etapami, za każdym razem testując, i przerwać, gdy jakość spadnie poniżej wymaganego poziomu.

Duże sieci mają zwykle znacznie więcej wag, niż wymaga zadanie, więc wiele z nich można usunąć po trenowaniu. Przycinanie zmniejsza model, a na odpowiednim sprzęcie obniża też koszt jego działania.

Co pokazują dowody?

Han i współpracownicy pokazali w 2015 roku, że przycinanie zmniejszyło liczbę parametrów modelu obrazowego AlexNet dziewięciokrotnie, a VGG-16 trzynastokrotnie, bez utraty dokładności. Hipoteza losu na loterii (lottery ticket hypothesis) Frankle'a i Carbina wykazała, że duże sieci zawierają znacznie mniejsze podsieci, które mogą dorównać dokładnością pełnej sieci. W przypadku modeli językowych SparseGPT Frantara i Alistarha przyciął bardzo duże modele jednorazowo do co najmniej 50% rzadkości, bez ponownego trenowania i przy niewielkim wzroście perpleksji.

Strukturalne czy niestrukturalne?

  • Przycinanie niestrukturalne usuwa pojedyncze wagi. Pozwala usunąć najwięcej, ale zostawia rozproszone zera, których zwykłe GPU i CPU często nie potrafią pominąć.
  • Przycinanie strukturalne usuwa całe neurony, głowice uwagi, kanały lub warstwy. Usuwa mniej, ale mniejszy model działa szybciej na każdym sprzęcie.

Częste błędy

  • Liczenie zer zamiast mierzenia energii. Oszczędności teoretyczne często przewyższają zmierzone. Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) o zielonej AI z 2026 roku, w którym uczestniczyli matematycy, informatycy i przedstawiciele przemysłu, zauważył, że rzadkość jest wciąż słabo wykorzystywana, częściowo dlatego, że popularne chipy z trudem ją wykorzystują.
  • Przycinanie zbyt dużo naraz. Należy postępować etapami i dostrajać sieć między nimi.
  • Testowanie wyłącznie na benchmarkach. Należy sprawdzić własne przypadki, w tym rzadkie, na które przycinanie może wpłynąć najpierw.

Standardowym przewodnikiem jest przegląd ponad 300 artykułów autorstwa Hoeflera i współpracowników z 2021 roku. Teorię opisano w części matematyka dla wydajnej AI.

Źródła

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność