greenai.guide

Home › Hoe doe ik…? › Hoe maak ik een model klein genoeg voor een edge-apparaat?

Hoe doe ik…?

Hoe maak ik een model klein genoeg voor een edge-apparaat?

Bijgewerkt · 1 min. leestijd

In het kort

Begin met het kleinste model dat aan uw kwaliteitseis zou kunnen voldoen en verklein het verder met distillatie, kwantisatie en pruning, waarbij u elke stap test op het doelapparaat. Meet energie per inferentie, latentie en nauwkeurigheid samen op de echte hardware, en laat het model terugschakelen als de batterij bijna leeg is of het apparaat warm is.

Stappen

  1. Stel een kwaliteitseis vast en een budget voor geheugen, latentie en energie voor het doelapparaat.
  2. Begin met een klein of gedistilleerd model in plaats van een groot algemeen model te verkleinen.
  3. Kwantiseer de gewichten naar 8 of 4 bits en controleer de nauwkeurigheid met uw eigen testgevallen.
  4. Prune gewichten die weinig bijdragen en test daarna opnieuw op het apparaat.
  5. Meet energie per inferentie, latentie en nauwkeurigheid samen op de echte hardware.
  6. Schakel over op een kleiner model of een lagere frequentie als de batterij bijna leeg is of het apparaat warm is.

Combineer een klein startmodel met distillatie, kwantisatie en pruning, en beoordeel elke stap op het apparaat zelf. Edge-apparaten hebben weinig geheugen en werken vaak op batterijen, dus een model dat te groot is, past niet of put het apparaat uit en laat het terugschakelen. Met de juiste grootte hoeven gegevens bovendien niet naar de cloud te worden gestuurd.

Welke technieken verkleinen een model het meest?

  • Distillatie traint een klein "studentmodel" om een groot "docentmodel" na te doen. DistilBERT was 40% kleiner dan BERT en 60% sneller, en behield 97% van zijn vermogen om taal te begrijpen.
  • Kwantisatie slaat gewichten op in minder bits. De documentatie van Hugging Face geeft het voorbeeld van een model met 8 miljard parameters dat bij 16-bits precisie ongeveer 16 GB nodig heeft voor zijn gewichten, bij 8 bits ongeveer 8 GB en bij 4 bits ongeveer 4–5 GB, ten koste van enige nauwkeurigheid. Zie hoe u een model kwantiseert.
  • Pruning verwijdert gewichten die de output nauwelijks beïnvloeden. Zie hoe u een neuraal netwerk prunet.

Hoe moet het model zich op het apparaat gedragen?

Het edge-AI-patroon van de Green Software Foundation raadt aan om energie per inferentie, latentie en nauwkeurigheid samen te volgen en u aan te passen aan de omstandigheden: een kleiner model of een lagere inferentiefrequentie als de batterij bijna leeg is of het apparaat warm is.

Veelgemaakte fouten

  • Alleen testen op een laptop. Versnellers, geheugen en thermische grenzen verschillen; meet op de doelhardware.
  • Verder verkleinen dan de kwaliteitseis toelaat. Een model dat faalt en als terugvaloptie de cloud moet aanroepen, kan meer kosten dan het bespaart.
  • Voortdurend inferentie draaien. Start die waar mogelijk bij gebeurtenissen, in plaats van elk frame of elke seconde.

Of edge of cloud groener is, hangt af van de situatie: zie edge of cloud en AI aan de edge.

Bronnen

  1. Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
  2. Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
  3. Quantization overview, Hugging Face Transformers documentation (2026)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy