In het kort
Begin waar mogelijk met een voorgetraind model, kies de kleinste architectuur die aan uw eis zou kunnen voldoen, train met gemengde precisie, stop zodra de validatie niet meer verbetert, en draai op efficiënte hardware in een regio en op een tijdstip met weinig CO2. Patterson en collega's ontdekten dat de keuze van model, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan verkleinen. Meet elke run, zodat de afwegingen zichtbaar worden.
Stappen
- Ga na of u een voorgetraind model kunt fine-tunen in plaats van vanaf nul te trainen.
- Test ideeën op kleine schaal voordat u een volledige run start.
- Train met gemengde precisie en stop vroeg zodra de validatie niet meer verbetert.
- Draai op efficiënte accelerators in een regio met weinig CO2, en plan flexibele runs in schonere uren.
- Sla checkpoints op, zodat runs kunnen pauzeren en hervatten en u niet opnieuw hoeft te beginnen.
- Houd energie en emissies bij voor elke run, ook de mislukte.
Trainingsenergie wordt vooral bepaald door beslissingen die u neemt voordat de run begint. Wat u traint, waarop, waar en wanneer, weegt zwaarder dan welke aanpassing tijdens de run ook.
Waarom is het belangrijk?
Het artikel van Strubell, Ganesh en McCallum uit 2019 bracht de financiële en milieukosten van het trainen van taalmodellen in kaart en stelde manieren voor om die te verlagen. Patterson en collega's ontdekten later dat de keuze van modelarchitectuur, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan verkleinen.
Wat maakt het grootste verschil?
- Niet vanaf nul trainen. Een voorgetraind model fine-tunen, of er een adapter op trainen, kost meestal een fractie van de pre-training. Zie hoe u trainen vanaf nul vermijdt.
- De juiste omvang. Een kleinere architectuur die aan de eis voldoet, is beter dan een grote die er ruim overheen gaat.
- Gemengde precisie. Trainen in halve precisie met een hoofdkopie in volledige precisie halveerde in het werk van Micikevicius en collega's bijna het geheugengebruik, zodat grotere batches op dezelfde hardware pasten.
- Vroeg stoppen. Beëindig runs zodra het validatieverlies niet meer daalt.
- Waar en wanneer. Kies efficiënte accelerators en een regio met weinig CO2, en draai flexibele taken wanneer het stroomnet schoner is: zie hoe u training plant.
Veelgemaakte fouten
- Alleen de laatste run tellen. Afstemmingsruns en mislukte runs kosten vaak meer; zie hoe u het energieverbruik van hyperparameterzoektochten verlaagt.
- Geen checkpoints opslaan, zodat een onderbreking betekent dat u opnieuw moet beginnen.
- Niet meten. Zet een tracker zoals CodeCarbon in het trainingsscript.
Voor de volledige gereedschapskist, lees efficiënt trainen en inferentie.
Bronnen
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Gerelateerd
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.
Hoe voorkom ik dat ik een model vanaf nul train?
Hoe u bestaande modellen hergebruikt in plaats van zelf te pre-trainen: fine-tunen, aanpassen met LoRA, modellen samenvoegen of kennis ophalen.
Hoe plan ik AI-training op momenten dat het stroomnet groener is?
Draai training en batch-AI-taken als de CO2-intensiteit van het net laag is: gebruik prognoses, maak taken pauzeerbaar en houd deadlines hard.
Hoe meet ik de CO2-voetafdruk van het trainen van een model?
Volg het energieverbruik van een trainingsrun met een tool als CodeCarbon, vermenigvuldig met de lokale CO2-intensiteit en vermeld hardware, tijd en locatie.