# Efficiënte training en inferentie van AI

> Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.

Source: https://greenai.guide/nl/goede-praktijk/efficiente-training-en-inferentie-van-ai/  
Updated: 2026-11-19

## In het kort

Het meeste energieverbruik van AI kan omlaag zonder kwaliteitsverlies: hergebruik modellen in plaats van ze vanaf nul te trainen, maak ze kleiner met pruning, kwantisatie en distillatie, bied ze aan met batching en caching, en laat flexibele taken draaien wanneer en waar de stroom schoner is. Meet het energieverbruik voor en na elke wijziging, want sneller is niet altijd groener.

## Kernpunten

- Hergebruik voordat u traint: een kleine adapter fijntunen met LoRA verminderde het aantal trainbare parameters 10.000-voudig en het GPU-geheugen drievoudig ten opzichte van volledig fijntunen van GPT-3 175B.
- Grote taalmodellen kunnen in één keer, zonder opnieuw trainen, tot ten minste 50% sparsity worden gesnoeid met minimaal verlies aan nauwkeurigheid (SparseGPT).
- 8-bit-inferentie kan de geheugenbehoefte halveren zonder kwaliteitsverlies (LLM.int8()); test ook 4-bit.
- Het aanbieden van modellen doet ertoe: batching en beheer van de KV-cache in pagina's gaven in vLLM 2–4 keer zoveel doorvoer bij dezelfde latentie.
- CO2-bewuste planning verlaagt de uitstoot, niet het energieverbruik; doe het bovenop efficiëntiewerk, nooit in plaats daarvan.

## Waar begin ik? {#where-should-i-start}

**Begin met meten, en dan hergebruiken, verkleinen, goed aanbieden en plannen, in die volgorde.** De eerste stappen
besparen meestal het meest en brengen het minste risico mee.

Patterson en collega's bij Google schatten in 2021 dat de keuze van model, datacenter en processor de
CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan veranderen. Het grootste deel van die marge hebt u zelf
in de hand. Zet voordat u iets verandert [energiemeting](/nl/goede-praktijk/zo-meet-u-de-energie-en-co2-uitstoot-van-ai/) op met dezelfde hardware en
belasting, zodat u alleen de wijzigingen houdt die energie besparen zonder de kwaliteit te schaden. Snelheid is geen
betrouwbare graadmeter: een wijziging kan sneller en hongeriger zijn, of trager en zuiniger.

## Kan ik vermijden dat ik vanaf nul train? {#can-i-avoid-training-from-scratch}

**Meestal wel: begin met een voorgetraind model en pas alleen aan wat u nodig hebt.**

- **Parameterefficiënt fijntunen.** LoRA traint kleine adaptermatrices van lage rang in plaats van het volledige
  model. Ten opzichte van volledig fijntunen van GPT-3 175B meldden de auteurs 10.000 keer minder trainbare
  parameters en drie keer minder GPU-geheugen. QLoRA combineert dit met 4-bit-gewichten en fijntunede een model met
  65 miljard parameters op één GPU van 48 GB.
- **Retrieval in plaats van opnieuw trainen.** Zet feiten die veranderen in een doorzoekbare index en haal ze op het
  moment van de vraag op. Fijntun voor vaardigheden en stijl, niet voor feiten.
- **Modellen samenvoegen ("souping").** Volgens Wortsman en collega's kan het middelen van de gewichten van modellen
  die vanaf dezelfde basis zijn fijngetuned het beste afzonderlijke model verslaan, zonder extra inferentiekosten.
  Gespecialiseerde fijngetunede modellen samenvoegen is een manier om werk te hergebruiken waarvoor al betaald is.
- **Continu leren.** Werk een model stapsgewijs bij in plaats van het vanaf nul opnieuw te trainen als de gegevens
  veranderen.

## Hoe helpen pruning en sparsity? {#how-do-pruning-and-sparsity-help}

**De meeste gewichten in een getraind netwerk kunnen worden verwijderd of inactief blijven met weinig verlies, wat
minder rekenwerk en geheugen per antwoord betekent.**

- **Ongestructureerde pruning (snoeien)** verwijdert afzonderlijke gewichten. SparseGPT snoeide modellen uit de
  GPT-familie in één keer, zonder opnieuw trainen, tot ten minste 50% sparsity met minimaal verlies aan
  nauwkeurigheid, en haalde 60% bij de grootste open modellen van dat moment met een verwaarloosbare stijging van de
  perplexiteit.
- **Gestructureerde pruning** verwijdert hele neuronen, heads of lagen, waar gewone hardware makkelijker gebruik van
  kan maken.
- **Activatiesparsity** laat de meeste neuronen voor een bepaalde invoer inactief.
- **Mixture-of-experts**-modellen sturen elk token naar een paar gespecialiseerde subnetwerken. Patterson en
  collega's vonden dat grote, spaarzaam geactiveerde modellen minder dan een tiende van de energie van grote dichte
  modellen kunnen verbruiken. Alle experts moeten wel in het geheugen staan.

Een voorbehoud van een Britse sandpit (een verkennende werksessie) over groene AI in 2026, met wiskundigen,
informatici en mensen uit het bedrijfsleven: sparsity wordt te weinig benut, deels omdat hardware en bibliotheken
gebouwd zijn voor dichte wiskunde. Controleer of uw runtime sparsity echt omzet in bespaarde energie. De sandpit
besprak ook het gebruik van de theorie van toevalsmatrices om vóór de training sparsityniveaus te kiezen, en
spaarzame benaderingen van attention die in voorgetrainde modellen kunnen worden ingevoegd. Zie
[wiskunde voor efficiënte AI](/nl/artikelen/de-wiskunde-die-ai-efficienter-maakt/).

## En kwantisatie, distillatie en gemengde precisie? {#what-about-quantisation-distillation-and-mixed-precision}

**Gebruik minder bits en kleinere modellen waar de kwaliteitseis dat toelaat.**

| Techniek | Wat het doet | Gepubliceerd resultaat |
|---|---|---|
| [Kwantisatie](/nl/woordenlijst/#quantisation) | Slaat gewichten op in 8 of 4 bits in plaats van 16 of 32, en rekent ermee | LLM.int8() halveerde het inferentiegeheugen zonder kwaliteitsverlies tot 175B parameters; UNESCO en UCL melden dat modelcompressie zoals kwantisatie tot 44% energie bespaart |
| [Distillatie](/nl/woordenlijst/#distillation) | Traint een kleine "leerling" om een grote "leraar" na te bootsen | DistilBERT was 40% kleiner en 60% sneller dan BERT en behield 97% van het taalbegrip |
| Gemengde precisie | Traint in halve precisie met een hoofdkopie in volledige precisie | Bijna halvering van het geheugengebruik bij training (Micikevicius et al.) |

Test elke techniek op uw eigen evaluatieset. Hugging Face merkt op dat kwantisatie latentie kan toevoegen als een
workload niet door geheugen wordt beperkt, dus meet energie en latentie per verzoek, voor en na.

## Hoe bied ik modellen efficiënt aan? {#how-do-i-serve-models-efficiently}

**Houd de accelerator bezig met nuttig werk en bereken niets opnieuw.** Een onderbenutte GPU neemt nog steeds flink
wat stroom af.

1. **Bundel verzoeken (batching).** Serving-engines met continuous batching groeperen gelijktijdige verzoeken.
   PagedAttention van vLLM, dat de [KV-cache](/nl/woordenlijst/#kv-cache) beheert zoals virtueel geheugen, gaf 2 tot 4 keer
   de doorvoer van eerdere systemen bij dezelfde latentie.
2. **Gebruik de KV-cache goed.** Cache keys en values van eerdere tokens; gebruik een statische cache met een
   gecompileerde forward pass als uw bibliotheek dat ondersteunt.
3. **Zet de geoptimaliseerde paden aan.** Gewichten in halve precisie, efficiënte attention-kernels (zoals SDPA of
   FlashAttention) en compilatie zijn vaak beschikbaar, maar staan standaard uit.
4. **Speculatieve decodering.** Een klein conceptmodel stelt tokens voor die het grote model controleert. Leviathan
   en collega's meldden 2 tot 3 keer snellere generatie op T5-XXL met identieke uitvoer.
5. **Beperk de lengte van de uitvoer** tot wat de taak nodig heeft, en cache antwoorden op identieke verzoeken.
6. **Vergelijk runtimes en hardware.** Benchmark twee of drie serving-stacks bij uw echte batchgroottes.

## Wanneer en waar moeten taken draaien? {#when-and-where-should-jobs-run}

**Laat flexibel werk draaien wanneer en waar de stroom schoner is, maar zie dit als een bonus bovenop efficiëntie,
niet als vervanging ervan.**

- **Verschuif in de tijd.** Trainingsruns, evaluaties en batch-inferentie kunnen vaak uren wachten. Plan ze aan de
  hand van een voorspelling van de CO2-intensiteit; tools zoals CATS omhullen clustertaken om dit te doen. In
  Groot-Brittannië publiceert de Carbon Intensity API regionale voorspellingen.
- **Maak lange taken pauzeerbaar.** Sla regelmatig checkpoints op, inclusief de toestand van de optimalisator, zodat
  een taak kan pauzeren als het stroomnet vuil is en later kan hervatten zonder dat er werk verloren gaat.
- **Kies regio en hardware.** Waar latentie er niet toe doet, kiest u bij voorkeur een regio met weinig CO2-uitstoot
  en efficiënte accelerators, rekening houdend met de kosten van het verplaatsen van gegevens. Zie
  [hosting en datacenters](/nl/goede-praktijk/hosting-en-datacenters-voor-groene-ai/).
- **Let op het absolute energieverbruik.** CO2-bewuste planning verandert wanneer werk draait, niet hoeveel het
  verbruikt. Volg het energieverbruik per eenheid werk naast de CO2-uitstoot.

## Checklist {#checklist}

- [ ] Energie gemeten voor en na elke wijziging, met dezelfde opstelling, over meerdere runs
- [ ] Voorgetraind model en adapters overwogen voordat u vanaf nul traint
- [ ] Retrieval gebruikt voor veranderende feiten in plaats van opnieuw trainen
- [ ] Pruning, kwantisatie of distillatie getest tegen de kwaliteitseis
- [ ] Gemengde precisie gebruikt bij training
- [ ] Batching, optimalisatie van de KV-cache en efficiënte attention aan bij het aanbieden
- [ ] Lengte van de uitvoer begrensd; identieke verzoeken gecachet
- [ ] Flexibele taken met checkpoints en gepland voor schonere uren
- [ ] Energieverbruik en hardware van de training vastgelegd in de model card

## Wat nu te doen {#what-to-do-next}

1. Voeg een emissietracker zoals CodeCarbon toe aan uw trainings- en evaluatiescripts, en zet energie naast
   nauwkeurigheid in uw resultatentabel.
2. Probeer LoRA of QLoRA bij uw volgende fijntuning en vergelijk met volledig fijntunen.
3. Test een 8-bit- en een 4-bit-versie van uw ingezette model op uw evaluatieset.
4. Benchmark uw serving-stack met batching en het geoptimaliseerde attention-pad ingeschakeld.
5. Omhul één terugkerende clustertaak met een CO2-bewuste planner.
6. Zoek opleidingen in de [cursusgids](/nl/cursussen/) en verwant werk bij [onderzoek](/nl/onderzoek/) en
   [promotieplaatsen](/nl/promotieplaatsen/).

## Veelgestelde vragen

### Vermindert kwantisatie de nauwkeurigheid?

Soms een beetje; bij 8-bit vaak niet merkbaar. Test het gekwantiseerde model altijd op uw eigen evaluatieset, en houd er rekening mee dat kwantisatie latentie kan toevoegen als een workload niet door geheugen wordt beperkt.

### Wat is een KV-cache?

Als een transformer tekst genereert, bewaart hij de key- en value-matrices van eerdere tokens, zodat die niet bij elke stap opnieuw worden berekend. Die cache goed beheren is een van de grootste efficiëntiewinsten bij het aanbieden van modellen.

### Kost training of inferentie meer energie?

Dat hangt af van hoe breed een model wordt gebruikt. Training is een grote eenmalige kost; inferentie betaalt u bij elk verzoek, dus bij populaire modellen overheerst die meestal over de levensduur van het model.

### Wat is model merging of souping?

Het middelen van de gewichten van meerdere modellen die vanaf hetzelfde startpunt zijn fijngetuned. Het resultaat draait als één model, zonder extra inferentiekosten, en kan beter presteren dan het beste afzonderlijke model.

## Bronnen

- [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), Hu et al. (arXiv 2106.09685) (2021)
- [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers et al. (arXiv 2305.14314) (2023)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh (arXiv 2301.00774) (2023)
- [LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://arxiv.org/abs/2208.07339), Dettmers et al. (arXiv 2208.07339) (2022)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Fast Inference from Transformers via Speculative Decoding](https://arxiv.org/abs/2211.17192), Leviathan et al. (arXiv 2211.17192) (2022)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al. (arXiv 2203.05482) (2022)
- [Carbon Emissions and Large Neural Network Training](https://arxiv.org/abs/2104.10350), Patterson et al. (arXiv 2104.10350) (2021)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2025)
- [Green Software Patterns: carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation (2025)
- [CATS: Climate-Aware Task Scheduler](https://github.com/GreenScheduler/cats), GreenScheduler (2025)
