In het kort
Snoei (pruning) een getraind netwerk door de gewichten, neuronen of lagen te verwijderen die het minst bijdragen, verfijn het daarna kort zodat het herstelt, en test het tegen uw kwaliteitseis. Snoeien verkleinde het aantal parameters van AlexNet negen keer zonder verlies van nauwkeurigheid, en zeer grote taalmodellen zijn in één keer gesnoeid tot minstens 50% sparsity (ijlheid). Kies voor gestructureerd snoeien als u wilt dat gewone hardware sneller rekent.
Stappen
- Meet eerst de nauwkeurigheid, latentie en energie van het ongesnoeide model.
- Kies gestructureerd snoeien (hele neuronen, heads of lagen), tenzij uw hardware ijle gewichten benut.
- Verwijder een bescheiden deel van de gewichten op basis van belang, zoals de kleinste waarden.
- Verfijn kort, zodat het netwerk kan herstellen.
- Herhaal dit stapsgewijs, test telkens, en stop zodra de kwaliteit onder uw eis zakt.
Grote netwerken hebben meestal veel meer gewichten dan hun taak vraagt, dus na de training kunnen er veel weg. Snoeien maakt het model kleiner en, op de juiste hardware, goedkoper om te draaien.
Wat laat het bewijs zien?
Han en collega's toonden in 2015 aan dat snoeien het aantal parameters van het beeldmodel AlexNet negen keer en dat van VGG-16 dertien keer verkleinde, zonder verlies van nauwkeurigheid. De lottery ticket hypothesis van Frankle en Carbin liet zien dat grote netwerken veel kleinere subnetwerken bevatten die de nauwkeurigheid van het volledige netwerk kunnen evenaren. Bij taalmodellen snoeide SparseGPT van Frantar en Alistarh zeer grote modellen in één keer, zonder opnieuw te trainen, tot minstens 50% sparsity, met weinig toename van de perplexiteit.
Gestructureerd of ongestructureerd?
- Ongestructureerd snoeien verwijdert afzonderlijke gewichten. Zo kan het meest weg, maar blijven er verspreide nullen achter die gewone GPU's en CPU's vaak niet kunnen overslaan.
- Gestructureerd snoeien verwijdert hele neuronen, attention heads, kanalen of lagen. Er gaat minder weg, maar het kleinere model draait op elke hardware sneller.
Veelgemaakte fouten
- Nullen tellen in plaats van energie meten. Theoretische besparingen zijn vaak groter dan gemeten besparingen. Een Britse green AI-sandpit (een verkennende werksessie) uit 2026 met wiskundigen, informatici en de industrie stelde vast dat sparsity nog weinig wordt benut, deels omdat gangbare chips er moeilijk gebruik van kunnen maken.
- Te veel tegelijk snoeien. Werk stapsgewijs en verfijn tussen de stappen.
- Alleen op benchmarks testen. Controleer uw eigen gevallen, ook zeldzame, want die lijden vaak als eerste onder snoeien.
Het overzicht uit 2021 van Hoefler en collega's, gebaseerd op meer dan 300 artikelen, is de standaardgids. Voor de theorie, lees wiskunde voor efficiënte AI.
Bronnen
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
Gerelateerd
De wiskunde die AI efficiënter maakt
Pruning, sparsiteit, sketching, randommatrixtheorie en fysica-geïnformeerde modellen: hoe wiskunde het rekenwerk, geheugen en energie van AI vermindert.
Hoe kwantiseer ik een model?
Hoe u een AI-model kwantiseert naar 8 of 4 bits: welke tools u gebruikt, hoe u de kwaliteit test, en wanneer kwantisatie wel en geen energie bespaart.
Hoe distilleer ik een groot model tot een kleiner model?
Hoe kennisdistillatie werkt: gebruik een groot teachermodel om een klein studentmodel voor uw taak te trainen, test het en houd het grote model als terugvaloptie.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.