# Hoe verminder ik het energieverbruik van een model in productie?

> Een zelf gehost model bedienen met minder energie per verzoek: efficiënte runtimes, batching, halve precisie, gecompileerde caches en geteste hardware.

Source: https://greenai.guide/nl/hoe/hoe-verminder-ik-het-energieverbruik-van-een-model-in-productie/  
Updated: 2026-11-19

## In het kort

Bedien het kleinste model dat aan uw eisen voldoet, op een runtime die voor inferentie is gebouwd, met batching ingeschakeld, gewichten in halve precisie of gekwantiseerd, en de geoptimaliseerde attention- en cachepaden van de bibliotheek ingeschakeld. Benchmark daarna twee of drie runtimes en hardwareopties bij uw echte verkeer, en kies op energie per verzoek en op latentie.

## Steps

1. Controleer of het model het kleinste is dat aan uw kwaliteitseisen voldoet.
2. Bedien het met een inferentie-engine die continuous batching ondersteunt.
3. Laad de gewichten in halve precisie of in een geteste gekwantiseerde indeling.
4. Schakel efficiënte attention en een statische key-value-cache in waar uw bibliotheek die ondersteunt.
5. Benchmark twee of drie runtimes en GPU-typen bij uw echte batchgroottes.
6. Schaal af of naar nul als het verkeer laag is.

**Het grootste deel van de energie die een model in zijn levensduur verbruikt, gaat naar het bedienen ervan, dus de
instellingen daarvoor doen ertoe.** Standaardinstellingen zijn zelden de efficiëntste optie, en de geoptimaliseerde
paden moeten meestal worden ingeschakeld.

## Wat maakt het grootste verschil? {#what-makes-the-biggest-difference}

1. **Batching.** Een accelerator die één verzoek tegelijk afhandelt, wordt onderbenut maar verbruikt nog steeds
   stroom. Kwon en collega's meldden dat vLLM, met paged beheer van de key-value-cache, 2 tot 4 keer de doorvoer van
   eerdere systemen gaf bij dezelfde latentie. Zie [hoe u AI-verzoeken bundelt](/nl/hoe/hoe-bundel-ik-ai-verzoeken-om-energie-te-besparen/).
2. **Precisie.** Halve precisie of een getest [gekwantiseerd](/nl/hoe/hoe-kwantiseer-ik-een-model/) model heeft minder geheugen
   en vaak minder GPU's nodig.
3. **Geoptimaliseerde codepaden.** Hugging Face documenteert efficiënte attention-implementaties en een statische
   key-value-cache in combinatie met `torch.compile`, wat volgens Hugging Face tot 4x versnelling kan opleveren.
4. **Runtime en hardware gekozen op basis van bewijs.** De Green Software Foundation raadt aan efficiënte frameworks
   en inferentieruntimes te kiezen; benchmark ze in plaats van te gebruiken waarmee het model ook getraind is.

## Veelgemaakte fouten {#common-mistakes}

- **Snelheid gelijkstellen aan energie.** GreenCode-onderzoekers die aan llama.cpp werkten, verlaagden het
  GPU-energieverbruik met 4,7% terwijl de snelheid maar 3% steeg: die twee vertellen verschillende verhalen. Meet
  beide.
- **Benchmarken bij batchgrootte één** terwijl productie op veel hogere gelijktijdigheid draait, of omgekeerd.
- **Replica's 's nachts laten draaien** voor verkeer dat er niet is. Zie
  [hoe u voorkomt dat GPU's stilstaan](/nl/hoe/hoe-voorkom-ik-dat-gpu-s-en-notebooks-ongebruikt-aan-blijven-staan/).
- **Gecompileerde modellen niet opwarmen** voor het meten, wat de cijfers vertekent.

Lees voor de volledige gereedschapskist [efficiënt trainen en inferentie](/nl/goede-praktijk/efficiente-training-en-inferentie-van-ai/).

## Bronnen

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
