# De wiskunde die AI efficiënter maakt

> Pruning, sparsiteit, sketching, randommatrixtheorie en fysica-geïnformeerde modellen: hoe wiskunde het rekenwerk, geheugen en energie van AI vermindert.

Source: https://greenai.guide/nl/artikelen/de-wiskunde-die-ai-efficienter-maakt/  
Updated: 2026-11-19

## In het kort

Een groot deel van de energie die AI gebruikt, gaat naar rekenwerk en dataverplaatsing die de taak niet nodig heeft. Wiskundige methoden zoals pruning (snoeien), sparsiteit, gerandomiseerde sketching, randommatrixtheorie en modellen met ingebouwde structuur halen die redundantie weg, vaak met weinig of geen verlies aan nauwkeurigheid. Ze besparen alleen energie als de besparingen worden gemeten en niet gewoon worden besteed aan grotere modellen.

## Kernpunten

- Grote neurale netwerken zijn overgeparametriseerd; pruning kan na de training het grootste deel van hun gewichten verwijderen met weinig verlies aan nauwkeurigheid.
- Sparsiteit bespaart alleen energie als hardware en software de nullen kunnen overslaan; anders is het een besparing op papier.
- Data verplaatsen kost vaak meer energie dan rekenen, dus methoden die het geheugenverkeer verminderen, zoals sketching en IO-bewuste attention, zijn belangrijk.
- Bekende fysica of symmetrie in een model inbouwen kan het aantal parameters en de hoeveelheid data die het nodig heeft, verminderen.
- Klassieke numerieke methoden zijn soms het groenere antwoord, en een hybride pijplijn kan een klein netwerk alleen inzetten waar het helpt.

Het grootste deel van de energie die een neuraal netwerk gebruikt, gaat naar twee dingen: rekenen, en getallen
verplaatsen tussen het geheugen en de processor. Wiskunde kan beide verminderen. Dit artikel legt de belangrijkste
methoden in gewone taal uit, met de gepubliceerde artikelen erachter, en waar elke methode niet langer loont.

Een Britse sandpit (een verkennende werksessie) over groene AI in 2026, met wiskundigen, informatici en de industrie,
zette deze vraag centraal: hoe kunnen de wiskundige wetenschappen de energie en hulpbronnen verminderen die AI nodig
heeft terwijl de vraag groeit? De methoden hieronder kwamen het vaakst ter sprake, afgezet tegen het gepubliceerde
bewijs.

## Waarom is er redundantie om weg te halen? {#why-is-there-redundancy-to-remove}

**Grote modellen zijn groter dan de taak strikt nodig heeft, omdat hun omvang ze makkelijker te trainen maakt.**
Training werkt beter in een hoogdimensionale ruimte, maar zodra de training klaar is, voegen veel gewichten weinig
toe.

Dat laat ruimte voor drie soorten besparing: minder gewichten (pruning), minder actieve waarden op elk moment
(sparsiteit) en minder dataverplaatsing (sketching en geheugenbewuste algoritmen). Een vierde soort voorkomt de
redundantie van meet af aan, door bekende structuur in het model in te bouwen.

## Wat is pruning, en hoeveel kan het weghalen? {#what-is-pruning-and-how-much-can-it-remove}

**Pruning (snoeien) verwijdert de gewichten die het minst bijdragen, en laat het netwerk zich daarna herstellen.** Han
en collega's toonden in 2015 aan dat pruning het aantal parameters van het beeldmodel AlexNet met een factor negen en
dat van VGG-16 met een factor dertien verminderde, zonder verlies aan nauwkeurigheid.

Later werk scherpte het idee aan:

- De **loterijbriefhypothese** (lottery ticket hypothesis, Frankle en Carbin, 2019) stelde vast dat grote netwerken
  veel kleinere deelnetwerken bevatten die, getraind vanaf het juiste startpunt, de nauwkeurigheid van het volledige
  netwerk evenaren.
- **SparseGPT** (Frantar en Alistarh, 2023) snoeide zeer grote taalmodellen in één keer tot minstens 50% sparsiteit,
  zonder hertraining, met weinig toename van de perplexiteit.
- Het overzicht uit 2021 van Hoefler en collega's, over meer dan 300 artikelen, is de standaardgids over wanneer
  pruning werkt en wanneer niet.

## Bespaart sparsiteit echt energie? {#does-sparsity-actually-save-energy}

**Alleen als de nullen worden overgeslagen.** Een matrix die voor 80% uit nullen bestaat, kost nog altijd het volle
bedrag als de hardware elk element vermenigvuldigt. Het helpt om onderscheid te maken tussen *ongestructureerde*
sparsiteit (nullen die overal verspreid staan) en *gestructureerde* sparsiteit (hele blokken, kanalen of patronen van
nullen), die standaardchips veel makkelijker kunnen benutten.

Sparsiteit is op twee plaatsen te vinden:

- **In de gewichten**, via pruning.
- **In de activaties**, de waarden die voor een bepaalde invoer door het netwerk stromen. Kurtz en collega's (2020)
  toonden aan dat een hogere drempel in de ReLU-activatiefunctie veel meer activaties exact nul maakt, die dan bij
  inferentie kunnen worden overgeslagen. Mirzadeh en collega's (2024) betoogden dat grote taalmodellen met
  ReLU-activaties hetzelfde effect kunnen benutten om rekenwerk te verminderen.

Activatiesparsiteit is *dynamisch*: welke waarden nul zijn, verandert met elke invoer. Daardoor is ze moeilijker te
benutten in hardware, en dat is een van de redenen waarom de sandpit co-ontwerp van hardware–software als deel van de
wiskunde behandelde, niet als bijzaak.

## Waarom is dataverplaatsing zo belangrijk? {#why-does-data-movement-matter-so-much}

**Een getal uit het geheugen ophalen kan meer energie kosten dan ermee rekenen.** Algoritmen die minder data
verplaatsen, besparen vaak meer dan algoritmen die minder berekeningen doen.

Twee families van methoden pakken dit aan:

- **Gerandomiseerde sketching.** Een sketch is een veel kleinere willekeurige projectie van een grote matrix die de
  eigenschappen behoudt die u nodig hebt. Het artikel van Halko, Martinsson en Tropp uit 2011 en het overzicht van
  Martinsson en Tropp uit 2020 zetten de theorie van gerandomiseerde numerieke lineaire algebra uiteen, die bewijsbare
  foutgrenzen geeft voor deze benaderingen. Toegepast op neurale netwerken kunnen sketches grote tussenresultaten
  comprimeren voordat ze buiten de chip worden verplaatst.
- **IO-bewuste algoritmen.** FlashAttention (Dao en collega's, 2022) berekent exact hetzelfde attention-resultaat als
  de standaardmethode, maar organiseert het werk anders om het lezen en schrijven tussen het grote, trage geheugen en
  het kleine, snelle geheugen van een GPU te verminderen. De besparing komt uit planning, niet uit benadering.

## Wat voegt randommatrixtheorie toe? {#what-does-random-matrix-theory-add}

**Randommatrixtheorie beschrijft hoe grote willekeurige matrices zich gedragen, en dat zijn de gewichten van een
neuraal netwerk aan het begin van de training.** Daardoor kunnen wiskundigen eigenschappen van een netwerk voorspellen
voordat het wordt getraind.

Pennington en Worah (2017) gebruikten de theorie om te analyseren hoe signalen door brede netwerken gaan. Martin en
Mahoney (2021) bestudeerden de spectra van getrainde gewichtsmatrices en vonden patronen die aangeven hoe goed een
laag heeft geleerd. Zulke resultaten helpen om niveaus van sparsiteit vast te leggen en lagen op te sporen die groter
zijn dan nodig, zonder het trial-and-error van veel varianten te trainen.

## Kan structuur data en parameters vervangen? {#can-structure-replace-data-and-parameters}

**Ja, waar de structuur bekend is.** Als een probleem een natuurwet of een symmetrie volgt, hoeft een model waarin
die kennis is ingebouwd ze niet uit data te leren.

- **Fysica-geïnformeerde neurale netwerken** (Raissi, Perdikaris en Karniadakis, 2019) voegen de beschrijvende
  vergelijkingen toe aan het trainingsdoel, zodat het netwerk wordt bestraft voor fysisch onmogelijke antwoorden.
- **Geometrisch deep learning** (Bronstein en collega's, 2021) ontwerpt netwerken die symmetrieën zoals rotatie of
  permutatie respecteren, zodat ze minder parameters en voorbeelden nodig hebben.
- **Algorithm unrolling** (het ontvouwen van algoritmen; Monga, Li en Eldar, 2021) maakt van de stappen van een
  klassiek iteratief algoritme de lagen van een netwerk, wat kleine, interpreteerbare modellen oplevert.

Een verwant idee kwam op de sandpit herhaaldelijk terug: **hybride pijplijnen**. Behoud de klassieke of fysisch
gebaseerde methode voor de stappen waarin ze goed is, en gebruik een klein netwerk alleen voor het deel dat zich voor
leren leent, zoals een surrogaat voor één duur onderdeel van een simulatie. Soms is het groenste antwoord een
bestaande numerieke methode en helemaal geen neuraal netwerk.

## Waar passen automatische differentiatie en kwantisatie? {#where-do-automatic-differentiation-and-quantisation-fit}

**Automatische differentiatie (AD) berekent exacte afgeleiden van een programma, en is de motor van training.**
Backpropagation is AD in omgekeerde modus, zoals het overzicht van Baydin en collega's uit 2018 uitlegt. Efficiënte AD
is op zichzelf belangrijk voor groene AI, en het maakt technieken zoals pruning-bewuste training en differentieerbare
energiestraffen mogelijk.

**Kwantisatie slaat getallen op met minder bits**, bijvoorbeeld als 8-bit gehele getallen in plaats van 32-bit
drijvende-kommagetallen. Jacob en collega's (2018) toonden hoe u netwerken traint voor inferentie met alleen gehele
getallen, wat het geheugen en de energie per bewerking vermindert. Minder bits betekent ook minder data om te
verplaatsen.

## Kunnen we modellen hergebruiken in plaats van nieuwe te trainen? {#can-we-reuse-models-instead-of-training-new-ones}

**Vaak wel.** Wortsman en collega's (2022) toonden aan dat het middelen van de gewichten van verschillende
fijnafgestemde versies van hetzelfde model, een "model soup", de nauwkeurigheid kan verbeteren zonder extra kosten bij
inferentie. Bestaande modellen samenvoegen en aanpassen voorkomt dat de kosten van training vanaf nul worden
herhaald. [Orkestratie boven generatie](/nl/artikelen/orkestratie-boven-generatie/)
trekt hetzelfde idee van hergebruik verder door.

## Wat zijn de grenzen? {#what-are-the-limits}

**Efficiëntiewinst is echt, maar niet vanzelf een besparing.** Drie kanttekeningen gelden voor elke methode hierboven:

- Een besparing op papier (minder parameters, minder bewerkingen) moet worden bevestigd door energie te meten op echte
  hardware. Zie [het energieverbruik van AI meten](/nl/goede-praktijk/zo-meet-u-de-energie-en-co2-uitstoot-van-ai/).
- De nauwkeurigheid moet worden gecontroleerd op de echte taak, niet alleen op een gemiddelde van een benchmark.
- Goedkoper rekenwerk wordt meestal gebruikt voor meer rekenwerk. [Efficiëntie is geen suffiëntie](/nl/artikelen/efficientie-is-geen-suffientie-het-reboundeffect-bij-ai/)
  legt dit reboundeffect uit.

## Wat u nu kunt doen {#what-to-do-next}

- Traint of fijnafstemt u modellen, probeer dan eerst pruning en kwantisatie na de training: dat zijn de goedkoopste
  winsten. Zie [efficiënte training en inferentie](/nl/goede-praktijk/efficiente-training-en-inferentie-van-ai/).
- Controleer of uw hardware en bibliotheken sparsiteit echt benutten voordat u erop rekent.
- Vraag u, voordat u naar een neuraal netwerk grijpt, af of een klassieke methode, of een hybride, het probleem al
  oplost.
- Meet de energie voor en na elke wijziging, op de hardware die u zult gebruiken.
- Onderzoekers: zoek gefinancierde projecten en promotieplaatsen in efficiënte AI in de overzichten van
  [onderzoek](/nl/onderzoek/) en [promotieplaatsen](/nl/promotieplaatsen/), en zie de [gids voor onderzoekers](/nl/gidsen/groene-ai-voor-onderzoekers/).

## Veelgestelde vragen

### Wat is pruning bij AI?

Pruning (snoeien) verwijdert uit een getraind neuraal netwerk de gewichten of hele neuronen die weinig bijdragen aan de uitvoer. Het kleinere netwerk heeft minder geheugen nodig en, op geschikte hardware, minder rekenwerk en energie.

### Gebruikt een spars model altijd minder energie?

Nee. Een model vol nullen bespaart alleen energie als de hardware en software ze overslaan. Ongestructureerde sparsiteit op een standaard-GPU kan even traag draaien als het dichte model, en daarom zijn gestructureerde sparsiteit en sparse kernels belangrijk.

### Wat is een fysica-geïnformeerd neuraal netwerk?

Een neuraal netwerk dat getraind is om bekende natuurwetten te respecteren, meestal door de beschrijvende vergelijkingen aan de verliesfunctie toe te voegen. Door die kennis in te bouwen, heeft het netwerk minder data nodig om een bruikbare oplossing te leren.

### Maakt wiskunde echt een verschil naast betere chips?

Ja, en de twee vullen elkaar aan. Betere algoritmen verminderen het werk dat moet gebeuren; betere hardware doet dat werk goedkoper. Verschillende van de grootste besparingen in AI, zoals kwantisatie en efficiënte attention, kwamen uit wiskunde en algoritmen, niet uit nieuwe chips.

## Bronnen

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Inducing and exploiting activation sparsity for fast inference on deep neural networks](https://proceedings.mlr.press/v119/kurtz20a.html), Kurtz et al., ICML (2020)
- [ReLU strikes back: exploiting activation sparsity in large language models](https://arxiv.org/abs/2310.04564), Mirzadeh et al., ICLR (2024)
- [Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions](https://doi.org/10.1137/090771806), Halko, Martinsson and Tropp, SIAM Review (2011)
- [Randomized numerical linear algebra: foundations and algorithms](https://doi.org/10.1017/S0962492920000021), Martinsson and Tropp, Acta Numerica (2020)
- [FlashAttention: fast and memory-efficient exact attention with IO-awareness](https://arxiv.org/abs/2205.14135), Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- [Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning](https://jmlr.org/papers/v22/20-410.html), Martin and Mahoney, Journal of Machine Learning Research (2021)
- [Nonlinear random matrix theory for deep learning](https://papers.nips.cc/paper/6857-nonlinear-random-matrix-theory-for-deep-learning), Pennington and Worah, NeurIPS (2017)
- [Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations](https://doi.org/10.1016/j.jcp.2018.10.045), Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- [Geometric deep learning: grids, groups, graphs, geodesics, and gauges](https://arxiv.org/abs/2104.13478), Bronstein, Bruna, Cohen and Veličković (2021)
- [Algorithm unrolling: interpretable, efficient deep learning for signal and image processing](https://arxiv.org/abs/1912.10557), Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- [Automatic differentiation in machine learning: a survey](https://jmlr.org/papers/v18/17-468.html), Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al., ICML (2022)
- [Quantization and training of neural networks for efficient integer-arithmetic-only inference](https://arxiv.org/abs/1712.05877), Jacob et al., CVPR (2018)
