W skrócie
Znaczna część energii zużywanej przez AI idzie na obliczenia i przesyłanie danych, których zadanie nie wymaga. Metody matematyczne, takie jak przycinanie (pruning), rzadkość, losowe szkicowanie (sketching), teoria macierzy losowych i modele z wbudowaną strukturą, usuwają tę nadmiarowość, często przy niewielkiej utracie trafności lub bez niej. Oszczędzają energię tylko wtedy, gdy oszczędności są mierzone, a nie po prostu wydawane na większe modele.
Najważniejsze punkty
- Duże sieci neuronowe mają nadmiar parametrów; przycinanie po trenowaniu może usunąć większość ich wag przy niewielkiej utracie trafności.
- Rzadkość oszczędza energię tylko wtedy, gdy sprzęt i oprogramowanie potrafią pomijać zera; w przeciwnym razie to oszczędność tylko na papierze.
- Przesyłanie danych często kosztuje więcej energii niż arytmetyka, dlatego liczą się metody ograniczające ruch w pamięci, takie jak szkicowanie i mechanizm uwagi uwzględniający operacje wejścia-wyjścia.
- Wbudowanie w model znanej fizyki lub symetrii może zmniejszyć liczbę potrzebnych mu parametrów i danych.
- Klasyczne metody numeryczne bywają bardziej ekologiczną odpowiedzią, a potok hybrydowy może używać małej sieci tylko tam, gdzie pomaga.
Większość energii zużywanej przez sieć neuronową idzie na dwie rzeczy: arytmetykę oraz przesyłanie liczb między pamięcią a procesorem. Matematyka może ograniczyć jedno i drugie. Ten artykuł prostym językiem wyjaśnia główne metody, podaje stojące za nimi publikacje i pokazuje, gdzie każda z nich przestaje się opłacać.
Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) poświęcony zielonej AI w 2026 roku, z udziałem matematyków, informatyków i przedstawicieli przemysłu, postawił w centrum to pytanie: jak nauki matematyczne mogą zmniejszyć zapotrzebowanie sztucznej inteligencji (AI) na energię i zasoby w miarę wzrostu popytu? Opisane niżej metody to te, które pojawiały się najczęściej, zestawione z opublikowanymi dowodami.
Skąd bierze się nadmiarowość do usunięcia?
Duże modele są większe, niż zadanie ściśle wymaga, bo rozmiar ułatwia ich trenowanie. Trenowanie działa lepiej w przestrzeni o wielu wymiarach, ale po jego zakończeniu wiele wag niewiele wnosi.
Zostawia to miejsce na trzy rodzaje oszczędności: mniej wag (przycinanie, pruning), mniej aktywnych wartości w danym momencie (rzadkość) i mniej przesyłania danych (szkicowanie oraz algorytmy uwzględniające pamięć). Czwarty rodzaj pozwala uniknąć nadmiarowości od samego początku przez wbudowanie w model znanej struktury.
Czym jest przycinanie i ile może usunąć?
Przycinanie usuwa wagi, które wnoszą najmniej, a potem pozwala sieci odzyskać sprawność. Han i współpracownicy wykazali w 2015 roku, że przycinanie zmniejszyło liczbę parametrów modelu obrazowego AlexNet dziewięciokrotnie, a modelu VGG-16 trzynastokrotnie, bez utraty trafności.
Późniejsze prace doprecyzowały tę ideę:
- Hipoteza losu na loterii (lottery ticket hypothesis; Frankle i Carbin, 2019) wykazała, że duże sieci zawierają znacznie mniejsze podsieci, które wytrenowane od właściwego punktu startowego dorównują trafnością pełnej sieci.
- SparseGPT (Frantar i Alistarh, 2023) jednorazowo przycinał bardzo duże modele językowe do co najmniej 50% rzadkości, bez ponownego trenowania, przy niewielkim wzroście perpleksji.
- Przegląd Hoeflera i współpracowników z 2021 roku, obejmujący ponad 300 artykułów, to standardowy przewodnik po tym, kiedy przycinanie działa, a kiedy nie.
Czy rzadkość rzeczywiście oszczędza energię?
Tylko jeśli zera są pomijane. Macierz, w której 80% elementów to zera, nadal kosztuje pełną kwotę, jeśli sprzęt mnoży każdy element. Warto odróżniać rzadkość nieustrukturyzowaną (zera rozrzucone gdziekolwiek) od rzadkości ustrukturyzowanej (całe bloki, kanały lub wzorce zer), którą standardowe układy wykorzystują znacznie łatwiej.
Rzadkość można znaleźć w dwóch miejscach:
- W wagach, dzięki przycinaniu.
- W aktywacjach, czyli wartościach, które płyną przez sieć dla danego wejścia. Kurtz i współpracownicy (2020) wykazali, że podniesienie progu funkcji aktywacji ReLU sprawia, że znacznie więcej aktywacji wynosi dokładnie zero, a te można pominąć podczas inferencji (wnioskowania). Mirzadeh i współpracownicy (2024) argumentowali, że duże modele językowe z aktywacjami ReLU mogą wykorzystać ten sam efekt, by ograniczyć obliczenia.
Rzadkość aktywacji jest dynamiczna: to, które wartości są zerami, zmienia się przy każdym wejściu. Utrudnia to jej wykorzystanie w sprzęcie i jest jednym z powodów, dla których na sandpicie traktowano wspólne projektowanie sprzętu i oprogramowania jako część matematyki, a nie dodatek na końcu.
Dlaczego przesyłanie danych ma tak duże znaczenie?
Pobranie liczby z pamięci może kosztować więcej energii niż wykonanie na niej działania arytmetycznego. Algorytmy, które przesyłają mniej danych, często oszczędzają więcej niż algorytmy wykonujące mniej działań.
Z tym problemem mierzą się dwie rodziny metod:
- Losowe szkicowanie (sketching). Szkic to znacznie mniejsze losowe rzutowanie dużej macierzy, które zachowuje potrzebne własności. Artykuł Halko, Martinssona i Troppa z 2011 roku oraz przegląd Martinssona i Troppa z 2020 roku przedstawiają teorię losowej numerycznej algebry liniowej, która daje dowodliwe ograniczenia błędu takich przybliżeń. W sieciach neuronowych szkice pozwalają skompresować duże wyniki pośrednie, zanim zostaną przesłane poza układ.
- Algorytmy uwzględniające operacje wejścia-wyjścia (IO-aware). FlashAttention (Dao i współpracownicy, 2022) oblicza dokładnie ten sam wynik mechanizmu uwagi co metoda standardowa, ale reorganizuje pracę tak, by ograniczyć odczyty i zapisy między dużą, wolną pamięcią GPU a jego małą, szybką pamięcią. Oszczędność wynika z harmonogramu pracy, a nie z przybliżenia.
Co wnosi teoria macierzy losowych?
Teoria macierzy losowych opisuje zachowanie dużych macierzy losowych, a tym właśnie są wagi sieci neuronowej na początku trenowania. Pozwala to matematykom przewidywać własności sieci, zanim zostanie wytrenowana.
Pennington i Worah (2017) użyli jej do analizy przepływu sygnałów przez szerokie sieci. Martin i Mahoney (2021) badali widma wytrenowanych macierzy wag i znaleźli wzorce, które wskazują, jak dobrze dana warstwa się nauczyła. Wyniki tego rodzaju pomagają ustalać poziomy rzadkości i diagnozować warstwy większe, niż muszą być, bez metody prób i błędów polegającej na trenowaniu wielu wariantów.
Czy struktura może zastąpić dane i parametry?
Tak, jeśli struktura jest znana. Jeśli problem podlega prawu fizyki lub symetrii, model, który ma tę wiedzę wbudowaną, nie musi uczyć się jej z danych.
- Sieci neuronowe oparte na fizyce (physics-informed neural networks; Raissi, Perdikaris i Karniadakis, 2019) dodają równania opisujące zjawisko do celu trenowania, więc sieć jest karana za fizycznie niemożliwe odpowiedzi.
- Geometryczne uczenie głębokie (geometric deep learning; Bronstein i współpracownicy, 2021) projektuje sieci respektujące symetrie, takie jak obrót czy permutacja, dzięki czemu potrzebują mniej parametrów i przykładów.
- Rozwijanie algorytmów (algorithm unrolling; Monga, Li i Eldar, 2021) zamienia kroki klasycznego algorytmu iteracyjnego w warstwy sieci, co daje małe, interpretowalne modele.
Na sandpicie wielokrotnie powracał pokrewny pomysł: potoki hybrydowe. Należy zachować metodę klasyczną lub opartą na fizyce dla kroków, które wykonuje dobrze, i użyć małej sieci tylko dla części, która nadaje się do uczenia, na przykład jako modelu zastępczego dla jednego kosztownego elementu symulacji. Czasem najbardziej ekologiczną odpowiedzią jest istniejąca metoda numeryczna i żadnej sieci neuronowej.
Gdzie mieszczą się automatyczne różniczkowanie i kwantyzacja?
Automatyczne różniczkowanie (AD) oblicza dokładne pochodne programu i jest silnikiem trenowania. Propagacja wsteczna to AD w trybie odwrotnym, jak wyjaśnia przegląd Baydina i współpracowników z 2018 roku. Efektywne AD ma samodzielne znaczenie dla zielonej AI i to ono umożliwia takie techniki jak trenowanie uwzględniające przycinanie i różniczkowalne kary za zużycie energii.
Kwantyzacja zapisuje liczby na mniejszej liczbie bitów, na przykład jako 8-bitowe liczby całkowite zamiast 32-bitowych liczb zmiennoprzecinkowych. Jacob i współpracownicy (2018) pokazali, jak trenować sieci do inferencji wyłącznie na liczbach całkowitych, co zmniejsza zużycie pamięci i energii na operację. Mniej bitów oznacza też mniej danych do przesłania.
Czy można ponownie wykorzystywać modele zamiast trenować nowe?
Często tak. Wortsman i współpracownicy (2022) wykazali, że uśrednienie wag kilku dostrojonych wersji tego samego modelu, tak zwana „zupa modeli” (model soup), może poprawić trafność bez żadnego dodatkowego kosztu podczas inferencji. Łączenie i adaptowanie istniejących modeli pozwala uniknąć powtarzania kosztu trenowania od zera. Tekst orkiestracja zamiast generowania rozwija tę samą ideę ponownego wykorzystania.
Jakie są ograniczenia?
Zyski z efektywności są realne, ale nie są automatycznie oszczędnościami. Do każdej z powyższych metod odnoszą się trzy zastrzeżenia:
- Oszczędność na papierze (mniej parametrów, mniej operacji) trzeba potwierdzić pomiarem energii na rzeczywistym sprzęcie. Więcej w tekście pomiar zużycia energii przez AI.
- Trafność trzeba sprawdzić na rzeczywistym zadaniu, a nie tylko na średniej z testu porównawczego.
- Tańsze obliczenia zwykle służą do wykonywania większej liczby obliczeń. Tekst efektywność to nie wystarczalność wyjaśnia ten efekt odbicia (rebound effect).
Co zrobić dalej
- Przy trenowaniu lub dostrajaniu (fine-tuning) modeli warto zacząć od przycinania i kwantyzacji po trenowaniu: to najtańsze zyski. Więcej w tekście efektywne trenowanie i inferencja.
- Sprawdzić, czy sprzęt i biblioteki rzeczywiście wykorzystują rzadkość, zanim się na nią postawi.
- Przed sięgnięciem po sieć neuronową zastanowić się, czy metoda klasyczna lub hybrydowa nie rozwiązuje już problemu.
- Mierzyć zużycie energii przed każdą zmianą i po niej, na sprzęcie, który będzie używany.
- Dla badaczy: finansowane projekty i studia doktoranckie z efektywnej AI można znaleźć w katalogach badań i studiów doktoranckich, a także w przewodniku dla badaczy.
Najczęściej zadawane pytania
Czym jest przycinanie (pruning) w AI?
Przycinanie usuwa z wytrenowanej sieci neuronowej wagi lub całe neurony, które niewiele wnoszą do jej wyniku. Mniejsza sieć potrzebuje mniej pamięci, a na odpowiednim sprzęcie także mniej obliczeń i energii.
Czy model rzadki zawsze zużywa mniej energii?
Nie. Model pełen zer oszczędza energię tylko wtedy, gdy sprzęt i oprogramowanie je pomijają. Nieustrukturyzowana rzadkość na standardowym GPU może działać nie szybciej niż model gęsty, dlatego tak ważne są rzadkość ustrukturyzowana i rzadkie jądra obliczeniowe.
Czym jest sieć neuronowa oparta na fizyce (physics-informed neural network)?
To sieć neuronowa trenowana tak, aby respektowała znane prawa fizyki, zwykle przez dodanie równań opisujących zjawisko do jej funkcji straty. Wbudowanie tej wiedzy sprawia, że sieć potrzebuje mniej danych, aby nauczyć się użytecznego rozwiązania.
Czy matematyka naprawdę może coś zmienić obok lepszych układów scalonych?
Tak, a oba podejścia się uzupełniają. Lepsze algorytmy zmniejszają ilość pracy do wykonania; lepszy sprzęt wykonuje tę pracę taniej. Kilka największych oszczędności w AI, takich jak kwantyzacja i efektywny mechanizm uwagi, przyniosła matematyka i algorytmika, a nie nowe układy.
Źródła
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
- ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
- Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
- Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
- FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
- Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
- Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
- Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)
Powiązane
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.
Efektywność to nie wystarczalność: efekt odbicia w AI
Dlaczego większa efektywność AI nie gwarantuje mniejszego łącznego zużycia energii, czym jest efekt odbicia (paradoks Jevonsa) i co pomaga utrzymać realne oszczędności.
Orkiestracja zamiast generowania
Dlaczego ponowne użycie sprawdzonych komponentów i routing zapytań do najmniejszego wystarczającego modelu może obniżyć zużycie energii przez AI.
Zielona AI dla naukowców
Przewodnik dla naukowców: efektywne metody AI, pomiar i raportowanie energii w publikacjach, budżety obliczeniowe, finansowanie i rola matematyki.