# Hoe maak ik een model klein genoeg voor een edge-apparaat?

> Verklein een model voor telefoons, sensoren en embedded boards: begin klein, distilleer, kwantiseer en prune, en test nauwkeurigheid en energie op het echte apparaat.

Source: https://greenai.guide/nl/hoe/hoe-maak-ik-een-model-klein-genoeg-voor-een-edge-apparaat/  
Updated: 2026-11-19

## In het kort

Begin met het kleinste model dat aan uw kwaliteitseis zou kunnen voldoen en verklein het verder met distillatie, kwantisatie en pruning, waarbij u elke stap test op het doelapparaat. Meet energie per inferentie, latentie en nauwkeurigheid samen op de echte hardware, en laat het model terugschakelen als de batterij bijna leeg is of het apparaat warm is.

## Steps

1. Stel een kwaliteitseis vast en een budget voor geheugen, latentie en energie voor het doelapparaat.
2. Begin met een klein of gedistilleerd model in plaats van een groot algemeen model te verkleinen.
3. Kwantiseer de gewichten naar 8 of 4 bits en controleer de nauwkeurigheid met uw eigen testgevallen.
4. Prune gewichten die weinig bijdragen en test daarna opnieuw op het apparaat.
5. Meet energie per inferentie, latentie en nauwkeurigheid samen op de echte hardware.
6. Schakel over op een kleiner model of een lagere frequentie als de batterij bijna leeg is of het apparaat warm is.

**Combineer een klein startmodel met distillatie, kwantisatie en pruning, en beoordeel elke stap op het apparaat
zelf.** Edge-apparaten hebben weinig geheugen en werken vaak op batterijen, dus een model dat te groot is, past niet
of put het apparaat uit en laat het terugschakelen. Met de juiste grootte hoeven gegevens bovendien niet naar de
cloud te worden gestuurd.

## Welke technieken verkleinen een model het meest? {#which-techniques-shrink-a-model-most}

- **Distillatie** traint een klein "studentmodel" om een groot "docentmodel" na te doen. DistilBERT was 40% kleiner
  dan BERT en 60% sneller, en behield 97% van zijn vermogen om taal te begrijpen.
- **Kwantisatie** slaat gewichten op in minder bits. De documentatie van Hugging Face geeft het voorbeeld van een
  model met 8 miljard parameters dat bij 16-bits precisie ongeveer 16 GB nodig heeft voor zijn gewichten, bij 8 bits
  ongeveer 8 GB en bij 4 bits ongeveer 4–5 GB, ten koste van enige nauwkeurigheid. Zie
  [hoe u een model kwantiseert](/nl/hoe/hoe-kwantiseer-ik-een-model/).
- **Pruning** verwijdert gewichten die de output nauwelijks beïnvloeden. Zie
  [hoe u een neuraal netwerk prunet](/nl/hoe/hoe-snoei-ik-een-neuraal-netwerk/).

## Hoe moet het model zich op het apparaat gedragen? {#how-should-the-model-behave-on-the-device}

Het edge-AI-patroon van de Green Software Foundation raadt aan om energie per inferentie, latentie en nauwkeurigheid
samen te volgen en u aan te passen aan de omstandigheden: een kleiner model of een lagere inferentiefrequentie als de
batterij bijna leeg is of het apparaat warm is.

## Veelgemaakte fouten {#common-mistakes}

- **Alleen testen op een laptop.** Versnellers, geheugen en thermische grenzen verschillen; meet op de doelhardware.
- **Verder verkleinen dan de kwaliteitseis toelaat.** Een model dat faalt en als terugvaloptie de cloud moet
  aanroepen, kan meer kosten dan het bespaart.
- **Voortdurend inferentie draaien.** Start die waar mogelijk bij gebeurtenissen, in plaats van elk frame of elke
  seconde.

Of edge of cloud groener is, hangt af van de situatie: zie [edge of cloud](/nl/goede-praktijk/edge-of-cloud-waar-moet-ai-draaien/) en
[AI aan de edge](/nl/artikelen/ai-aan-de-edge-groener-of-alleen-minder-zichtbaar/).

## Bronnen

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
