greenai.guide

Home › Hoe doe ik…? › Hoe kies ik energiezuinige hardware voor AI?

Hoe doe ik…?

Hoe kies ik energiezuinige hardware voor AI?

Bijgewerkt · 1 min. leestijd

In het kort

Benchmark uw eigen model op twee of drie combinaties van hardware en runtime en vergelijk de energie per verzoek of per trainingsrun bij realistische batchgroottes, naast latentie en kosten. Patterson en collega's ontdekten dat de keuze van model, datacenter en processor samen de CO₂-uitstoot van training tot ongeveer 100 tot 1.000 keer kan verlagen. Houd goede hardware aan het werk en in gebruik, want het maken van nieuwe apparatuur heeft een eigen voetafdruk.

Stappen

  1. Benchmark uw eigen model op twee of drie opties voor accelerator en instance.
  2. Meet de energie per verzoek of per run bij uw echte batchgroottes, naast de latentie.
  3. Probeer op elke optie meer dan één inference-runtime.
  4. Kies de optie met de laagste energie die aan uw eisen voor latentie en kwaliteit voldoet.
  5. Weeg de belichaamde uitstoot van nieuwe hardware af tegen de verwachte besparing.
  6. Test opnieuw wanneer het model of het verkeer verandert.

Kies hardware op gemeten energie voor uw eigen werk, niet op piekspecificaties. Hetzelfde model kan op verschillende accelerators, instancetypen en runtimes heel verschillend veel energie gebruiken, en de beste keuze hangt af van uw batchgroottes en verkeer.

Hoe vergelijk ik opties eerlijk?

De patterns van de Green Software Foundation raden aan efficiënte accelerators en instancetypen, en efficiënte frameworks en inference-runtimes, te kiezen op basis van bewijs. In de praktijk:

  • draai hetzelfde model, met dezelfde invoer en instellingen, op elke kandidaat;
  • meet de energie per verzoek (of per run) bij de batchgroottes die u echt gaat gebruiken, niet alleen in het gunstigste geval;
  • leg naast de energie ook latentie en kwaliteit vast;
  • neem de runtime mee: een andere serving-engine op dezelfde chip kan de uitkomst veranderen.

Patterson en collega's ontdekten dat de keuze van modelarchitectuur, datacenter en processor de CO₂-voetafdruk van training tot ongeveer 100 tot 1.000 keer kan verkleinen, dus de keuze van hardware hoort bij die andere beslissingen.

Moet ik nieuwe hardware kopen?

Niet vanzelf. Wu en collega's bij Meta meldden dat belichaamde uitstoot, van het maken van hardware, ongeveer 30% van de voetafdruk van Meta's grootschalige machine learning uitmaakte. Een nieuwe accelerator moet over zijn levensduur genoeg energie besparen om de productie ervan terug te verdienen. Zie belichaamde CO₂-uitstoot meerekenen.

Veelgemaakte fouten

  • Grote accelerators onderbenutten. Een grote GPU met een lage benutting kan per antwoord meer energie gebruiken dan een kleinere die druk bezig wordt gehouden; zie AI-verzoeken bundelen.
  • Eén keer benchmarken. Test opnieuw wanneer het model, de runtime of het verkeer verandert.

Zie efficiënt trainen en inferentie.

Bronnen

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy