greenai.guide

Home › Hoe doe ik…? › Hoe snoei ik een neuraal netwerk?

Hoe doe ik…?

Hoe snoei ik een neuraal netwerk?

Bijgewerkt · 1 min. leestijd

In het kort

Snoei (pruning) een getraind netwerk door de gewichten, neuronen of lagen te verwijderen die het minst bijdragen, verfijn het daarna kort zodat het herstelt, en test het tegen uw kwaliteitseis. Snoeien verkleinde het aantal parameters van AlexNet negen keer zonder verlies van nauwkeurigheid, en zeer grote taalmodellen zijn in één keer gesnoeid tot minstens 50% sparsity (ijlheid). Kies voor gestructureerd snoeien als u wilt dat gewone hardware sneller rekent.

Stappen

  1. Meet eerst de nauwkeurigheid, latentie en energie van het ongesnoeide model.
  2. Kies gestructureerd snoeien (hele neuronen, heads of lagen), tenzij uw hardware ijle gewichten benut.
  3. Verwijder een bescheiden deel van de gewichten op basis van belang, zoals de kleinste waarden.
  4. Verfijn kort, zodat het netwerk kan herstellen.
  5. Herhaal dit stapsgewijs, test telkens, en stop zodra de kwaliteit onder uw eis zakt.

Grote netwerken hebben meestal veel meer gewichten dan hun taak vraagt, dus na de training kunnen er veel weg. Snoeien maakt het model kleiner en, op de juiste hardware, goedkoper om te draaien.

Wat laat het bewijs zien?

Han en collega's toonden in 2015 aan dat snoeien het aantal parameters van het beeldmodel AlexNet negen keer en dat van VGG-16 dertien keer verkleinde, zonder verlies van nauwkeurigheid. De lottery ticket hypothesis van Frankle en Carbin liet zien dat grote netwerken veel kleinere subnetwerken bevatten die de nauwkeurigheid van het volledige netwerk kunnen evenaren. Bij taalmodellen snoeide SparseGPT van Frantar en Alistarh zeer grote modellen in één keer, zonder opnieuw te trainen, tot minstens 50% sparsity, met weinig toename van de perplexiteit.

Gestructureerd of ongestructureerd?

  • Ongestructureerd snoeien verwijdert afzonderlijke gewichten. Zo kan het meest weg, maar blijven er verspreide nullen achter die gewone GPU's en CPU's vaak niet kunnen overslaan.
  • Gestructureerd snoeien verwijdert hele neuronen, attention heads, kanalen of lagen. Er gaat minder weg, maar het kleinere model draait op elke hardware sneller.

Veelgemaakte fouten

  • Nullen tellen in plaats van energie meten. Theoretische besparingen zijn vaak groter dan gemeten besparingen. Een Britse green AI-sandpit (een verkennende werksessie) uit 2026 met wiskundigen, informatici en de industrie stelde vast dat sparsity nog weinig wordt benut, deels omdat gangbare chips er moeilijk gebruik van kunnen maken.
  • Te veel tegelijk snoeien. Werk stapsgewijs en verfijn tussen de stappen.
  • Alleen op benchmarks testen. Controleer uw eigen gevallen, ook zeldzame, want die lijden vaak als eerste onder snoeien.

Het overzicht uit 2021 van Hoefler en collega's, gebaseerd op meer dan 300 artikelen, is de standaardgids. Voor de theorie, lees wiskunde voor efficiënte AI.

Bronnen

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy