greenai.guide

Home › Hoe doe ik…? › Hoe verminder ik het energieverbruik van het trainen van een model?

Hoe doe ik…?

Hoe verminder ik het energieverbruik van het trainen van een model?

Bijgewerkt · 1 min. leestijd

In het kort

Begin waar mogelijk met een voorgetraind model, kies de kleinste architectuur die aan uw eis zou kunnen voldoen, train met gemengde precisie, stop zodra de validatie niet meer verbetert, en draai op efficiënte hardware in een regio en op een tijdstip met weinig CO2. Patterson en collega's ontdekten dat de keuze van model, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan verkleinen. Meet elke run, zodat de afwegingen zichtbaar worden.

Stappen

  1. Ga na of u een voorgetraind model kunt fine-tunen in plaats van vanaf nul te trainen.
  2. Test ideeën op kleine schaal voordat u een volledige run start.
  3. Train met gemengde precisie en stop vroeg zodra de validatie niet meer verbetert.
  4. Draai op efficiënte accelerators in een regio met weinig CO2, en plan flexibele runs in schonere uren.
  5. Sla checkpoints op, zodat runs kunnen pauzeren en hervatten en u niet opnieuw hoeft te beginnen.
  6. Houd energie en emissies bij voor elke run, ook de mislukte.

Trainingsenergie wordt vooral bepaald door beslissingen die u neemt voordat de run begint. Wat u traint, waarop, waar en wanneer, weegt zwaarder dan welke aanpassing tijdens de run ook.

Waarom is het belangrijk?

Het artikel van Strubell, Ganesh en McCallum uit 2019 bracht de financiële en milieukosten van het trainen van taalmodellen in kaart en stelde manieren voor om die te verlagen. Patterson en collega's ontdekten later dat de keuze van modelarchitectuur, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan verkleinen.

Wat maakt het grootste verschil?

  1. Niet vanaf nul trainen. Een voorgetraind model fine-tunen, of er een adapter op trainen, kost meestal een fractie van de pre-training. Zie hoe u trainen vanaf nul vermijdt.
  2. De juiste omvang. Een kleinere architectuur die aan de eis voldoet, is beter dan een grote die er ruim overheen gaat.
  3. Gemengde precisie. Trainen in halve precisie met een hoofdkopie in volledige precisie halveerde in het werk van Micikevicius en collega's bijna het geheugengebruik, zodat grotere batches op dezelfde hardware pasten.
  4. Vroeg stoppen. Beëindig runs zodra het validatieverlies niet meer daalt.
  5. Waar en wanneer. Kies efficiënte accelerators en een regio met weinig CO2, en draai flexibele taken wanneer het stroomnet schoner is: zie hoe u training plant.

Veelgemaakte fouten

Voor de volledige gereedschapskist, lees efficiënt trainen en inferentie.

Bronnen

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy