In het kort
Bedien live verkeer met een inference-engine die continuous batching gebruikt, zodat gelijktijdige verzoeken de accelerator delen. Zet werk dat geen direct antwoord nodig heeft, zoals het 's nachts verwerken van documenten, in een wachtrij en voer het uit in grote batches, bij voorkeur wanneer het stroomnet schoner is. Een accelerator die één verzoek tegelijk afhandelt, wordt onderbenut maar verbruikt nog steeds veel stroom.
Stappen
- Scheid interactieve verzoeken van werk dat minuten of uren kan wachten.
- Bedien interactief verkeer met een engine die continuous batching ondersteunt.
- Zet niet-urgent werk in een wachtrij en verwerk het in batches.
- Gebruik voor gehoste modellen de batch-interface van uw aanbieder, als die er is.
- Meet de energie per verzoek bij echte batchgroottes, naast de latentie.
Met batching kan één doorgang door de hardware veel verzoeken bedienen. De energie per antwoord hangt sterk af van hoe druk de accelerator bezig is.
Waarom is dit belangrijk?
GPU's verbruiken ook bij een lichte belasting veel stroom, dus wie verzoeken één voor één afhandelt, verdeelt dat vermogen over heel weinig antwoorden. Kwon en collega's meldden dat vLLM, met continuous batching en gepagineerd beheer van de key-value-cache, de doorvoer bij dezelfde latentie 2 tot 4 keer verbeterde vergeleken met eerdere systemen. Ook de inference-documentatie van Hugging Face behandelt continuous batching.
Twee soorten batching
- Continuous batching voor live verkeer. De serving-engine voegt nieuwe verzoeken toe aan een lopende batch zodra andere klaar zijn, zodat gebruikers niet hoeven te wachten tot een batch vol is. Gebruik een engine die dit ondersteunt in plaats van een eenvoudige lus met één verzoek per aanroep.
- Offline batches voor werk dat kan wachten. Het samenvatten van de documenten van gisteren, het taggen van een archief of het scoren van een dataset vraagt geen directe antwoorden. Zet het in een wachtrij en verwerk het in bulk. De Green Software Foundation raadt aan AI-batchwerk uit te voeren in regio's en op tijden met weinig CO₂-uitstoot, waar latentie minder kritisch is; zie hoe u werk plant wanneer het stroomnet groener is.
Veelgemaakte fouten
- Batches die zo groot zijn dat ze de latentie schaden voor interactieve gebruikers. Stem af op echt verkeer.
- Verspilling door padding. Heel korte en heel lange invoer samen groeperen verspilt in sommige engines rekenwerk.
- Batchservers laten draaien tussen taken; zie hoe u voorkomt dat GPU's stilstaan.
Lees meer in efficiënt trainen en inferentie.
Bronnen
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Gerelateerd
Hoe verminder ik het energieverbruik van een model in productie?
Een zelf gehost model bedienen met minder energie per verzoek: efficiënte runtimes, batching, halve precisie, gecompileerde caches en geteste hardware.
Hoe plan ik AI-training op momenten dat het stroomnet groener is?
Draai training en batch-AI-taken als de CO2-intensiteit van het net laag is: gebruik prognoses, maak taken pauzeerbaar en houd deadlines hard.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.
Hoe voorkom ik dat GPU's en notebooks ongebruikt aan blijven staan?
Voorkom dat stilstaande AI-hardware energie verspilt: start op aanvraag, stop inactieve notebooks, schaal buiten werktijd naar nul en meld ongebruikte GPU-uren.