In het kort
Schat hoeveel GPU-uren uw belangrijkste experimenten nodig hebben, tel er een marge voor verkenning bij op en houd het gebruik tegen dat budget bij, net als bij geld. Test ideeën eerst op kleine schaal, stop slechte runs vroeg, hergebruik voorgetrainde modellen en checkpoints, en rapporteer resultaten naast de rekenkracht die ze kostten. Een budget maakt afwegingen zichtbaar en voorkomt eindeloos bijstellen.
Stappen
- Schat de GPU-uren voor de belangrijkste experimenten en tel er een vastgelegde marge voor verkenning bij op.
- Doe kleinschalige proeven om ideeën uit te sluiten voordat u opschaalt.
- Houd per experiment GPU-uren en energieverbruik bij ten opzichte van het budget.
- Gebruik early stopping (vroegtijdig stoppen) voor slechte runs in plaats van grote grid searches.
- Hergebruik voorgetrainde modellen en checkpoints waar ze passen.
- Rapporteer resultaten ten opzichte van de rekenkracht, bijvoorbeeld nauwkeurigheid per kWh.
Bepaal vooraf hoeveel rekenkracht het project mag gebruiken, en houd dat bij. Zonder budget voelen extra runs gratis, en wordt de energie van een kleine winst in nauwkeurigheid er nooit tegen afgewogen.
Hoe schat ik het budget?
Ga uit van de experimenten in uw plan: modelgrootte, hoeveelheid gegevens en aantal runs geven bij benadering het aantal GPU-uren. De Green Algorithms-calculator van Lannelongue, Grealey en Inouye zet hardware, looptijd, geheugen en locatie om in een schatting van energie en uitstoot, zodat u ziet wat het budget betekent. Neem een expliciete marge voor verkenning op in plaats van die open te laten.
Wat houdt een project binnen budget?
- Eerst kleine proeven. Sluit ideeën uit met kleine modellen en deelverzamelingen van de gegevens.
- Efficiënte zoektochten. Stop slechte runs vroeg; zie de energie van hyperparameterzoektochten verlagen.
- Hergebruik. Begin met voorgetrainde modellen en opgeslagen checkpoints; zie niet vanaf nul trainen.
- Kies waar en waarop u draait. Patterson en collega's ontdekten dat de keuze van model, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan verkleinen.
Veelgemaakte fouten
- Alleen de laatste runs begroten. Verkenning is meestal het grootste deel van de rekenkracht.
- Geen checkpoints, zodat een storing betekent dat u opnieuw moet beginnen.
- Alleen de beste nauwkeurigheid rapporteren, wat meer uitgeven beloont.
De GREENER-principes van Lannelongue en collega's bieden een kader voor onderzoeksgroepen en instellingen. Zie de gids voor onderzoekers.
Bronnen
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Gerelateerd
Hoe verminder ik het energieverbruik van hyperparameterzoektochten?
Modellen afstemmen met minder rekenkracht: slimmer zoeken dan volledige grids, slechte trials vroeg stoppen, kleine pilots, goede standaarden en een budget.
Hoe rapporteer ik het energieverbruik van mijn AI-onderzoek?
Wat u in een artikel over rekenkracht en energie vermeldt: hardware, GPU-uren voor alle runs, energie, locatie, CO2, inferentiekosten en afbakening.
Hoe verklein ik de voetafdruk van AI-experimenten op een onderzoekscluster?
Verlaag de energie van AI-experimenten op HPC: lees de energieadministratie van Slurm, vraag alleen wat u gebruikt, test klein en sla tussenstanden op.
Groene AI voor onderzoekers
Een gids voor onderzoekers over efficiënte AI-methoden, energie meten en rapporteren in artikelen, rekenbudgetten, financiering en wat wiskunde bijdraagt.