greenai.guide

Home › Artikelen › De wiskunde die AI efficiënter maakt

Artikel

De wiskunde die AI efficiënter maakt

Bijgewerkt · 6 min. leestijd

In het kort

Een groot deel van de energie die AI gebruikt, gaat naar rekenwerk en dataverplaatsing die de taak niet nodig heeft. Wiskundige methoden zoals pruning (snoeien), sparsiteit, gerandomiseerde sketching, randommatrixtheorie en modellen met ingebouwde structuur halen die redundantie weg, vaak met weinig of geen verlies aan nauwkeurigheid. Ze besparen alleen energie als de besparingen worden gemeten en niet gewoon worden besteed aan grotere modellen.

Kernpunten

  • Grote neurale netwerken zijn overgeparametriseerd; pruning kan na de training het grootste deel van hun gewichten verwijderen met weinig verlies aan nauwkeurigheid.
  • Sparsiteit bespaart alleen energie als hardware en software de nullen kunnen overslaan; anders is het een besparing op papier.
  • Data verplaatsen kost vaak meer energie dan rekenen, dus methoden die het geheugenverkeer verminderen, zoals sketching en IO-bewuste attention, zijn belangrijk.
  • Bekende fysica of symmetrie in een model inbouwen kan het aantal parameters en de hoeveelheid data die het nodig heeft, verminderen.
  • Klassieke numerieke methoden zijn soms het groenere antwoord, en een hybride pijplijn kan een klein netwerk alleen inzetten waar het helpt.

Het grootste deel van de energie die een neuraal netwerk gebruikt, gaat naar twee dingen: rekenen, en getallen verplaatsen tussen het geheugen en de processor. Wiskunde kan beide verminderen. Dit artikel legt de belangrijkste methoden in gewone taal uit, met de gepubliceerde artikelen erachter, en waar elke methode niet langer loont.

Een Britse sandpit (een verkennende werksessie) over groene AI in 2026, met wiskundigen, informatici en de industrie, zette deze vraag centraal: hoe kunnen de wiskundige wetenschappen de energie en hulpbronnen verminderen die AI nodig heeft terwijl de vraag groeit? De methoden hieronder kwamen het vaakst ter sprake, afgezet tegen het gepubliceerde bewijs.

Waarom is er redundantie om weg te halen?

Grote modellen zijn groter dan de taak strikt nodig heeft, omdat hun omvang ze makkelijker te trainen maakt. Training werkt beter in een hoogdimensionale ruimte, maar zodra de training klaar is, voegen veel gewichten weinig toe.

Dat laat ruimte voor drie soorten besparing: minder gewichten (pruning), minder actieve waarden op elk moment (sparsiteit) en minder dataverplaatsing (sketching en geheugenbewuste algoritmen). Een vierde soort voorkomt de redundantie van meet af aan, door bekende structuur in het model in te bouwen.

Wat is pruning, en hoeveel kan het weghalen?

Pruning (snoeien) verwijdert de gewichten die het minst bijdragen, en laat het netwerk zich daarna herstellen. Han en collega's toonden in 2015 aan dat pruning het aantal parameters van het beeldmodel AlexNet met een factor negen en dat van VGG-16 met een factor dertien verminderde, zonder verlies aan nauwkeurigheid.

Later werk scherpte het idee aan:

  • De loterijbriefhypothese (lottery ticket hypothesis, Frankle en Carbin, 2019) stelde vast dat grote netwerken veel kleinere deelnetwerken bevatten die, getraind vanaf het juiste startpunt, de nauwkeurigheid van het volledige netwerk evenaren.
  • SparseGPT (Frantar en Alistarh, 2023) snoeide zeer grote taalmodellen in één keer tot minstens 50% sparsiteit, zonder hertraining, met weinig toename van de perplexiteit.
  • Het overzicht uit 2021 van Hoefler en collega's, over meer dan 300 artikelen, is de standaardgids over wanneer pruning werkt en wanneer niet.

Bespaart sparsiteit echt energie?

Alleen als de nullen worden overgeslagen. Een matrix die voor 80% uit nullen bestaat, kost nog altijd het volle bedrag als de hardware elk element vermenigvuldigt. Het helpt om onderscheid te maken tussen ongestructureerde sparsiteit (nullen die overal verspreid staan) en gestructureerde sparsiteit (hele blokken, kanalen of patronen van nullen), die standaardchips veel makkelijker kunnen benutten.

Sparsiteit is op twee plaatsen te vinden:

  • In de gewichten, via pruning.
  • In de activaties, de waarden die voor een bepaalde invoer door het netwerk stromen. Kurtz en collega's (2020) toonden aan dat een hogere drempel in de ReLU-activatiefunctie veel meer activaties exact nul maakt, die dan bij inferentie kunnen worden overgeslagen. Mirzadeh en collega's (2024) betoogden dat grote taalmodellen met ReLU-activaties hetzelfde effect kunnen benutten om rekenwerk te verminderen.

Activatiesparsiteit is dynamisch: welke waarden nul zijn, verandert met elke invoer. Daardoor is ze moeilijker te benutten in hardware, en dat is een van de redenen waarom de sandpit co-ontwerp van hardware–software als deel van de wiskunde behandelde, niet als bijzaak.

Waarom is dataverplaatsing zo belangrijk?

Een getal uit het geheugen ophalen kan meer energie kosten dan ermee rekenen. Algoritmen die minder data verplaatsen, besparen vaak meer dan algoritmen die minder berekeningen doen.

Twee families van methoden pakken dit aan:

  • Gerandomiseerde sketching. Een sketch is een veel kleinere willekeurige projectie van een grote matrix die de eigenschappen behoudt die u nodig hebt. Het artikel van Halko, Martinsson en Tropp uit 2011 en het overzicht van Martinsson en Tropp uit 2020 zetten de theorie van gerandomiseerde numerieke lineaire algebra uiteen, die bewijsbare foutgrenzen geeft voor deze benaderingen. Toegepast op neurale netwerken kunnen sketches grote tussenresultaten comprimeren voordat ze buiten de chip worden verplaatst.
  • IO-bewuste algoritmen. FlashAttention (Dao en collega's, 2022) berekent exact hetzelfde attention-resultaat als de standaardmethode, maar organiseert het werk anders om het lezen en schrijven tussen het grote, trage geheugen en het kleine, snelle geheugen van een GPU te verminderen. De besparing komt uit planning, niet uit benadering.

Wat voegt randommatrixtheorie toe?

Randommatrixtheorie beschrijft hoe grote willekeurige matrices zich gedragen, en dat zijn de gewichten van een neuraal netwerk aan het begin van de training. Daardoor kunnen wiskundigen eigenschappen van een netwerk voorspellen voordat het wordt getraind.

Pennington en Worah (2017) gebruikten de theorie om te analyseren hoe signalen door brede netwerken gaan. Martin en Mahoney (2021) bestudeerden de spectra van getrainde gewichtsmatrices en vonden patronen die aangeven hoe goed een laag heeft geleerd. Zulke resultaten helpen om niveaus van sparsiteit vast te leggen en lagen op te sporen die groter zijn dan nodig, zonder het trial-and-error van veel varianten te trainen.

Kan structuur data en parameters vervangen?

Ja, waar de structuur bekend is. Als een probleem een natuurwet of een symmetrie volgt, hoeft een model waarin die kennis is ingebouwd ze niet uit data te leren.

  • Fysica-geïnformeerde neurale netwerken (Raissi, Perdikaris en Karniadakis, 2019) voegen de beschrijvende vergelijkingen toe aan het trainingsdoel, zodat het netwerk wordt bestraft voor fysisch onmogelijke antwoorden.
  • Geometrisch deep learning (Bronstein en collega's, 2021) ontwerpt netwerken die symmetrieën zoals rotatie of permutatie respecteren, zodat ze minder parameters en voorbeelden nodig hebben.
  • Algorithm unrolling (het ontvouwen van algoritmen; Monga, Li en Eldar, 2021) maakt van de stappen van een klassiek iteratief algoritme de lagen van een netwerk, wat kleine, interpreteerbare modellen oplevert.

Een verwant idee kwam op de sandpit herhaaldelijk terug: hybride pijplijnen. Behoud de klassieke of fysisch gebaseerde methode voor de stappen waarin ze goed is, en gebruik een klein netwerk alleen voor het deel dat zich voor leren leent, zoals een surrogaat voor één duur onderdeel van een simulatie. Soms is het groenste antwoord een bestaande numerieke methode en helemaal geen neuraal netwerk.

Waar passen automatische differentiatie en kwantisatie?

Automatische differentiatie (AD) berekent exacte afgeleiden van een programma, en is de motor van training. Backpropagation is AD in omgekeerde modus, zoals het overzicht van Baydin en collega's uit 2018 uitlegt. Efficiënte AD is op zichzelf belangrijk voor groene AI, en het maakt technieken zoals pruning-bewuste training en differentieerbare energiestraffen mogelijk.

Kwantisatie slaat getallen op met minder bits, bijvoorbeeld als 8-bit gehele getallen in plaats van 32-bit drijvende-kommagetallen. Jacob en collega's (2018) toonden hoe u netwerken traint voor inferentie met alleen gehele getallen, wat het geheugen en de energie per bewerking vermindert. Minder bits betekent ook minder data om te verplaatsen.

Kunnen we modellen hergebruiken in plaats van nieuwe te trainen?

Vaak wel. Wortsman en collega's (2022) toonden aan dat het middelen van de gewichten van verschillende fijnafgestemde versies van hetzelfde model, een "model soup", de nauwkeurigheid kan verbeteren zonder extra kosten bij inferentie. Bestaande modellen samenvoegen en aanpassen voorkomt dat de kosten van training vanaf nul worden herhaald. Orkestratie boven generatie trekt hetzelfde idee van hergebruik verder door.

Wat zijn de grenzen?

Efficiëntiewinst is echt, maar niet vanzelf een besparing. Drie kanttekeningen gelden voor elke methode hierboven:

  • Een besparing op papier (minder parameters, minder bewerkingen) moet worden bevestigd door energie te meten op echte hardware. Zie het energieverbruik van AI meten.
  • De nauwkeurigheid moet worden gecontroleerd op de echte taak, niet alleen op een gemiddelde van een benchmark.
  • Goedkoper rekenwerk wordt meestal gebruikt voor meer rekenwerk. Efficiëntie is geen suffiëntie legt dit reboundeffect uit.

Wat u nu kunt doen

  • Traint of fijnafstemt u modellen, probeer dan eerst pruning en kwantisatie na de training: dat zijn de goedkoopste winsten. Zie efficiënte training en inferentie.
  • Controleer of uw hardware en bibliotheken sparsiteit echt benutten voordat u erop rekent.
  • Vraag u, voordat u naar een neuraal netwerk grijpt, af of een klassieke methode, of een hybride, het probleem al oplost.
  • Meet de energie voor en na elke wijziging, op de hardware die u zult gebruiken.
  • Onderzoekers: zoek gefinancierde projecten en promotieplaatsen in efficiënte AI in de overzichten van onderzoek en promotieplaatsen, en zie de gids voor onderzoekers.

Veelgestelde vragen

Wat is pruning bij AI?

Pruning (snoeien) verwijdert uit een getraind neuraal netwerk de gewichten of hele neuronen die weinig bijdragen aan de uitvoer. Het kleinere netwerk heeft minder geheugen nodig en, op geschikte hardware, minder rekenwerk en energie.

Gebruikt een spars model altijd minder energie?

Nee. Een model vol nullen bespaart alleen energie als de hardware en software ze overslaan. Ongestructureerde sparsiteit op een standaard-GPU kan even traag draaien als het dichte model, en daarom zijn gestructureerde sparsiteit en sparse kernels belangrijk.

Wat is een fysica-geïnformeerd neuraal netwerk?

Een neuraal netwerk dat getraind is om bekende natuurwetten te respecteren, meestal door de beschrijvende vergelijkingen aan de verliesfunctie toe te voegen. Door die kennis in te bouwen, heeft het netwerk minder data nodig om een bruikbare oplossing te leren.

Maakt wiskunde echt een verschil naast betere chips?

Ja, en de twee vullen elkaar aan. Betere algoritmen verminderen het werk dat moet gebeuren; betere hardware doet dat werk goedkoper. Verschillende van de grootste besparingen in AI, zoals kwantisatie en efficiënte attention, kwamen uit wiskunde en algoritmen, niet uit nieuwe chips.

Bronnen

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  5. Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
  6. ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
  7. Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
  8. Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
  9. FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
  10. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
  11. Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
  12. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
  13. Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
  14. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
  15. Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
  16. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  17. Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy