In het kort
Benchmark uw eigen model op twee of drie combinaties van hardware en runtime en vergelijk de energie per verzoek of per trainingsrun bij realistische batchgroottes, naast latentie en kosten. Patterson en collega's ontdekten dat de keuze van model, datacenter en processor samen de CO₂-uitstoot van training tot ongeveer 100 tot 1.000 keer kan verlagen. Houd goede hardware aan het werk en in gebruik, want het maken van nieuwe apparatuur heeft een eigen voetafdruk.
Stappen
- Benchmark uw eigen model op twee of drie opties voor accelerator en instance.
- Meet de energie per verzoek of per run bij uw echte batchgroottes, naast de latentie.
- Probeer op elke optie meer dan één inference-runtime.
- Kies de optie met de laagste energie die aan uw eisen voor latentie en kwaliteit voldoet.
- Weeg de belichaamde uitstoot van nieuwe hardware af tegen de verwachte besparing.
- Test opnieuw wanneer het model of het verkeer verandert.
Kies hardware op gemeten energie voor uw eigen werk, niet op piekspecificaties. Hetzelfde model kan op verschillende accelerators, instancetypen en runtimes heel verschillend veel energie gebruiken, en de beste keuze hangt af van uw batchgroottes en verkeer.
Hoe vergelijk ik opties eerlijk?
De patterns van de Green Software Foundation raden aan efficiënte accelerators en instancetypen, en efficiënte frameworks en inference-runtimes, te kiezen op basis van bewijs. In de praktijk:
- draai hetzelfde model, met dezelfde invoer en instellingen, op elke kandidaat;
- meet de energie per verzoek (of per run) bij de batchgroottes die u echt gaat gebruiken, niet alleen in het gunstigste geval;
- leg naast de energie ook latentie en kwaliteit vast;
- neem de runtime mee: een andere serving-engine op dezelfde chip kan de uitkomst veranderen.
Patterson en collega's ontdekten dat de keuze van modelarchitectuur, datacenter en processor de CO₂-voetafdruk van training tot ongeveer 100 tot 1.000 keer kan verkleinen, dus de keuze van hardware hoort bij die andere beslissingen.
Moet ik nieuwe hardware kopen?
Niet vanzelf. Wu en collega's bij Meta meldden dat belichaamde uitstoot, van het maken van hardware, ongeveer 30% van de voetafdruk van Meta's grootschalige machine learning uitmaakte. Een nieuwe accelerator moet over zijn levensduur genoeg energie besparen om de productie ervan terug te verdienen. Zie belichaamde CO₂-uitstoot meerekenen.
Veelgemaakte fouten
- Grote accelerators onderbenutten. Een grote GPU met een lage benutting kan per antwoord meer energie gebruiken dan een kleinere die druk bezig wordt gehouden; zie AI-verzoeken bundelen.
- Eén keer benchmarken. Test opnieuw wanneer het model, de runtime of het verkeer verandert.
Zie efficiënt trainen en inferentie.
Bronnen
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)
Gerelateerd
Hoe verminder ik het energieverbruik van een model in productie?
Een zelf gehost model bedienen met minder energie per verzoek: efficiënte runtimes, batching, halve precisie, gecompileerde caches en geteste hardware.
Hoe reken ik de belichaamde CO₂-uitstoot van AI-hardware mee?
Tel de uitstoot van het maken van AI-chips en servers mee: verdeel die naar gebruikstijd, vraag leveranciers om data en gebruik hardware langer.
Hoe vergelijk ik het energieverbruik van verschillende AI-modellen?
AI-modellen eerlijk vergelijken op energie: gebruik benchmarks zoals de AI Energy Score, of meet ze zelf op dezelfde taak, hardware en instellingen.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.