W skrócie
Wytrenowaną sieć przycina się, usuwając wagi, neurony lub warstwy o najmniejszym wkładzie, a następnie krótko ją dostraja, aby odzyskała jakość, i testuje względem wymaganego poziomu. Przycinanie zmniejszyło liczbę parametrów AlexNet dziewięciokrotnie bez utraty dokładności, a bardzo duże modele językowe przycinano jednorazowo do co najmniej 50% rzadkości. Jeśli zwykły sprzęt ma działać szybciej, lepiej wybrać przycinanie strukturalne.
Kroki
- Najpierw zmierzyć dokładność, opóźnienie i energię nieprzyciętego modelu.
- Wybrać przycinanie strukturalne (całe neurony, głowice lub warstwy), chyba że sprzęt wykorzystuje rzadkie wagi.
- Usunąć umiarkowaną część wag według ważności, np. o najmniejszej wartości bezwzględnej.
- Krótko dostroić sieć, aby odzyskała jakość.
- Powtarzać to etapami, za każdym razem testując, i przerwać, gdy jakość spadnie poniżej wymaganego poziomu.
Duże sieci mają zwykle znacznie więcej wag, niż wymaga zadanie, więc wiele z nich można usunąć po trenowaniu. Przycinanie zmniejsza model, a na odpowiednim sprzęcie obniża też koszt jego działania.
Co pokazują dowody?
Han i współpracownicy pokazali w 2015 roku, że przycinanie zmniejszyło liczbę parametrów modelu obrazowego AlexNet dziewięciokrotnie, a VGG-16 trzynastokrotnie, bez utraty dokładności. Hipoteza losu na loterii (lottery ticket hypothesis) Frankle'a i Carbina wykazała, że duże sieci zawierają znacznie mniejsze podsieci, które mogą dorównać dokładnością pełnej sieci. W przypadku modeli językowych SparseGPT Frantara i Alistarha przyciął bardzo duże modele jednorazowo do co najmniej 50% rzadkości, bez ponownego trenowania i przy niewielkim wzroście perpleksji.
Strukturalne czy niestrukturalne?
- Przycinanie niestrukturalne usuwa pojedyncze wagi. Pozwala usunąć najwięcej, ale zostawia rozproszone zera, których zwykłe GPU i CPU często nie potrafią pominąć.
- Przycinanie strukturalne usuwa całe neurony, głowice uwagi, kanały lub warstwy. Usuwa mniej, ale mniejszy model działa szybciej na każdym sprzęcie.
Częste błędy
- Liczenie zer zamiast mierzenia energii. Oszczędności teoretyczne często przewyższają zmierzone. Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) o zielonej AI z 2026 roku, w którym uczestniczyli matematycy, informatycy i przedstawiciele przemysłu, zauważył, że rzadkość jest wciąż słabo wykorzystywana, częściowo dlatego, że popularne chipy z trudem ją wykorzystują.
- Przycinanie zbyt dużo naraz. Należy postępować etapami i dostrajać sieć między nimi.
- Testowanie wyłącznie na benchmarkach. Należy sprawdzić własne przypadki, w tym rzadkie, na które przycinanie może wpłynąć najpierw.
Standardowym przewodnikiem jest przegląd ponad 300 artykułów autorstwa Hoeflera i współpracowników z 2021 roku. Teorię opisano w części matematyka dla wydajnej AI.
Źródła
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
Powiązane
Matematyka, która czyni AI bardziej efektywną
Przycinanie, rzadkość, szkicowanie, teoria macierzy losowych i modele oparte na fizyce: jak matematyka ogranicza obliczenia, pamięć i energię potrzebne AI.
Jak skwantyzować model?
Jak skwantyzować model AI do 8 lub 4 bitów: jakich narzędzi użyć, jak sprawdzić jakość oraz kiedy kwantyzacja oszczędza energię, a kiedy nie.
Jak przeprowadzić destylację dużego modelu do mniejszego?
Jak działa destylacja wiedzy: duży model-nauczyciel trenuje mały model-ucznia do danego zadania, a duży model zostaje jako rozwiązanie zapasowe.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.