# Hoe bundel ik AI-verzoeken om energie te besparen?

> Hoe batching de benutting van accelerators verhoogt en de energie per antwoord verlaagt: continuous batching voor live verkeer, wachtrijen voor offline werk.

Source: https://greenai.guide/nl/hoe/hoe-bundel-ik-ai-verzoeken-om-energie-te-besparen/  
Updated: 2026-11-19

## In het kort

Bedien live verkeer met een inference-engine die continuous batching gebruikt, zodat gelijktijdige verzoeken de accelerator delen. Zet werk dat geen direct antwoord nodig heeft, zoals het 's nachts verwerken van documenten, in een wachtrij en voer het uit in grote batches, bij voorkeur wanneer het stroomnet schoner is. Een accelerator die één verzoek tegelijk afhandelt, wordt onderbenut maar verbruikt nog steeds veel stroom.

## Steps

1. Scheid interactieve verzoeken van werk dat minuten of uren kan wachten.
2. Bedien interactief verkeer met een engine die continuous batching ondersteunt.
3. Zet niet-urgent werk in een wachtrij en verwerk het in batches.
4. Gebruik voor gehoste modellen de batch-interface van uw aanbieder, als die er is.
5. Meet de energie per verzoek bij echte batchgroottes, naast de latentie.

**Met batching kan één doorgang door de hardware veel verzoeken bedienen.** De energie per antwoord hangt sterk af
van hoe druk de accelerator bezig is.

## Waarom is dit belangrijk? {#why-does-it-matter}

GPU's verbruiken ook bij een lichte belasting veel stroom, dus wie verzoeken één voor één afhandelt, verdeelt dat
vermogen over heel weinig antwoorden. Kwon en collega's meldden dat vLLM, met continuous batching en gepagineerd
beheer van de key-value-cache, de doorvoer bij dezelfde latentie 2 tot 4 keer verbeterde vergeleken met eerdere
systemen. Ook de inference-documentatie van Hugging Face behandelt continuous batching.

## Twee soorten batching {#two-kinds-of-batching}

- **Continuous batching voor live verkeer.** De serving-engine voegt nieuwe verzoeken toe aan een lopende batch
  zodra andere klaar zijn, zodat gebruikers niet hoeven te wachten tot een batch vol is. Gebruik een engine die dit
  ondersteunt in plaats van een eenvoudige lus met één verzoek per aanroep.
- **Offline batches voor werk dat kan wachten.** Het samenvatten van de documenten van gisteren, het taggen van een
  archief of het scoren van een dataset vraagt geen directe antwoorden. Zet het in een wachtrij en verwerk het in
  bulk. De Green Software Foundation raadt aan AI-batchwerk uit te voeren in regio's en op tijden met weinig
  CO₂-uitstoot, waar latentie minder kritisch is; zie
  [hoe u werk plant wanneer het stroomnet groener is](/nl/hoe/hoe-plan-ik-ai-training-op-momenten-dat-het-stroomnet-groener-is/).

## Veelgemaakte fouten {#common-mistakes}

- **Batches die zo groot zijn dat ze de latentie schaden** voor interactieve gebruikers. Stem af op echt verkeer.
- **Verspilling door padding.** Heel korte en heel lange invoer samen groeperen verspilt in sommige engines
  rekenwerk.
- **Batchservers laten draaien** tussen taken; zie [hoe u voorkomt dat GPU's stilstaan](/nl/hoe/hoe-voorkom-ik-dat-gpu-s-en-notebooks-ongebruikt-aan-blijven-staan/).

Lees meer in [efficiënt trainen en inferentie](/nl/goede-praktijk/efficiente-training-en-inferentie-van-ai/).

## Bronnen

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
