In het kort
Begin met het kleinste model dat aan uw kwaliteitseis zou kunnen voldoen en verklein het verder met distillatie, kwantisatie en pruning, waarbij u elke stap test op het doelapparaat. Meet energie per inferentie, latentie en nauwkeurigheid samen op de echte hardware, en laat het model terugschakelen als de batterij bijna leeg is of het apparaat warm is.
Stappen
- Stel een kwaliteitseis vast en een budget voor geheugen, latentie en energie voor het doelapparaat.
- Begin met een klein of gedistilleerd model in plaats van een groot algemeen model te verkleinen.
- Kwantiseer de gewichten naar 8 of 4 bits en controleer de nauwkeurigheid met uw eigen testgevallen.
- Prune gewichten die weinig bijdragen en test daarna opnieuw op het apparaat.
- Meet energie per inferentie, latentie en nauwkeurigheid samen op de echte hardware.
- Schakel over op een kleiner model of een lagere frequentie als de batterij bijna leeg is of het apparaat warm is.
Combineer een klein startmodel met distillatie, kwantisatie en pruning, en beoordeel elke stap op het apparaat zelf. Edge-apparaten hebben weinig geheugen en werken vaak op batterijen, dus een model dat te groot is, past niet of put het apparaat uit en laat het terugschakelen. Met de juiste grootte hoeven gegevens bovendien niet naar de cloud te worden gestuurd.
Welke technieken verkleinen een model het meest?
- Distillatie traint een klein "studentmodel" om een groot "docentmodel" na te doen. DistilBERT was 40% kleiner dan BERT en 60% sneller, en behield 97% van zijn vermogen om taal te begrijpen.
- Kwantisatie slaat gewichten op in minder bits. De documentatie van Hugging Face geeft het voorbeeld van een model met 8 miljard parameters dat bij 16-bits precisie ongeveer 16 GB nodig heeft voor zijn gewichten, bij 8 bits ongeveer 8 GB en bij 4 bits ongeveer 4–5 GB, ten koste van enige nauwkeurigheid. Zie hoe u een model kwantiseert.
- Pruning verwijdert gewichten die de output nauwelijks beïnvloeden. Zie hoe u een neuraal netwerk prunet.
Hoe moet het model zich op het apparaat gedragen?
Het edge-AI-patroon van de Green Software Foundation raadt aan om energie per inferentie, latentie en nauwkeurigheid samen te volgen en u aan te passen aan de omstandigheden: een kleiner model of een lagere inferentiefrequentie als de batterij bijna leeg is of het apparaat warm is.
Veelgemaakte fouten
- Alleen testen op een laptop. Versnellers, geheugen en thermische grenzen verschillen; meet op de doelhardware.
- Verder verkleinen dan de kwaliteitseis toelaat. Een model dat faalt en als terugvaloptie de cloud moet aanroepen, kan meer kosten dan het bespaart.
- Voortdurend inferentie draaien. Start die waar mogelijk bij gebeurtenissen, in plaats van elk frame of elke seconde.
Of edge of cloud groener is, hangt af van de situatie: zie edge of cloud en AI aan de edge.
Bronnen
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
Gerelateerd
Hoe kwantiseer ik een model?
Hoe u een AI-model kwantiseert naar 8 of 4 bits: welke tools u gebruikt, hoe u de kwaliteit test, en wanneer kwantisatie wel en geen energie bespaart.
Hoe distilleer ik een groot model tot een kleiner model?
Hoe kennisdistillatie werkt: gebruik een groot teachermodel om een klein studentmodel voor uw taak te trainen, test het en houd het grote model als terugvaloptie.
Hoe kies ik tussen AI op mijn eigen apparaat en AI in de cloud?
Hoe u AI op het apparaat (edge) afweegt tegen cloud-AI op energie, privacy en kwaliteit, welke taken bij elk passen, en eerlijke kanttekeningen bij het bewijs.
Edge of cloud: waar moet AI draaien?
Zo weegt u AI op het apparaat en aan de edge af tegen centrale datacenters: energie, netwerk, hardware, privacy en veerkracht, met een stappenplan.