greenai.guide

Home › Hoe doe ik…? › Hoe bundel ik AI-verzoeken om energie te besparen?

Hoe doe ik…?

Hoe bundel ik AI-verzoeken om energie te besparen?

Bijgewerkt · 1 min. leestijd

In het kort

Bedien live verkeer met een inference-engine die continuous batching gebruikt, zodat gelijktijdige verzoeken de accelerator delen. Zet werk dat geen direct antwoord nodig heeft, zoals het 's nachts verwerken van documenten, in een wachtrij en voer het uit in grote batches, bij voorkeur wanneer het stroomnet schoner is. Een accelerator die één verzoek tegelijk afhandelt, wordt onderbenut maar verbruikt nog steeds veel stroom.

Stappen

  1. Scheid interactieve verzoeken van werk dat minuten of uren kan wachten.
  2. Bedien interactief verkeer met een engine die continuous batching ondersteunt.
  3. Zet niet-urgent werk in een wachtrij en verwerk het in batches.
  4. Gebruik voor gehoste modellen de batch-interface van uw aanbieder, als die er is.
  5. Meet de energie per verzoek bij echte batchgroottes, naast de latentie.

Met batching kan één doorgang door de hardware veel verzoeken bedienen. De energie per antwoord hangt sterk af van hoe druk de accelerator bezig is.

Waarom is dit belangrijk?

GPU's verbruiken ook bij een lichte belasting veel stroom, dus wie verzoeken één voor één afhandelt, verdeelt dat vermogen over heel weinig antwoorden. Kwon en collega's meldden dat vLLM, met continuous batching en gepagineerd beheer van de key-value-cache, de doorvoer bij dezelfde latentie 2 tot 4 keer verbeterde vergeleken met eerdere systemen. Ook de inference-documentatie van Hugging Face behandelt continuous batching.

Twee soorten batching

  • Continuous batching voor live verkeer. De serving-engine voegt nieuwe verzoeken toe aan een lopende batch zodra andere klaar zijn, zodat gebruikers niet hoeven te wachten tot een batch vol is. Gebruik een engine die dit ondersteunt in plaats van een eenvoudige lus met één verzoek per aanroep.
  • Offline batches voor werk dat kan wachten. Het samenvatten van de documenten van gisteren, het taggen van een archief of het scoren van een dataset vraagt geen directe antwoorden. Zet het in een wachtrij en verwerk het in bulk. De Green Software Foundation raadt aan AI-batchwerk uit te voeren in regio's en op tijden met weinig CO₂-uitstoot, waar latentie minder kritisch is; zie hoe u werk plant wanneer het stroomnet groener is.

Veelgemaakte fouten

  • Batches die zo groot zijn dat ze de latentie schaden voor interactieve gebruikers. Stem af op echt verkeer.
  • Verspilling door padding. Heel korte en heel lange invoer samen groeperen verspilt in sommige engines rekenwerk.
  • Batchservers laten draaien tussen taken; zie hoe u voorkomt dat GPU's stilstaan.

Lees meer in efficiënt trainen en inferentie.

Bronnen

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy