greenai.guide

Home › Hoe doe ik…? › Hoe stel ik een rekenbudget op voor een onderzoeksproject?

Hoe doe ik…?

Hoe stel ik een rekenbudget op voor een onderzoeksproject?

Bijgewerkt · 1 min. leestijd

In het kort

Schat hoeveel GPU-uren uw belangrijkste experimenten nodig hebben, tel er een marge voor verkenning bij op en houd het gebruik tegen dat budget bij, net als bij geld. Test ideeën eerst op kleine schaal, stop slechte runs vroeg, hergebruik voorgetrainde modellen en checkpoints, en rapporteer resultaten naast de rekenkracht die ze kostten. Een budget maakt afwegingen zichtbaar en voorkomt eindeloos bijstellen.

Stappen

  1. Schat de GPU-uren voor de belangrijkste experimenten en tel er een vastgelegde marge voor verkenning bij op.
  2. Doe kleinschalige proeven om ideeën uit te sluiten voordat u opschaalt.
  3. Houd per experiment GPU-uren en energieverbruik bij ten opzichte van het budget.
  4. Gebruik early stopping (vroegtijdig stoppen) voor slechte runs in plaats van grote grid searches.
  5. Hergebruik voorgetrainde modellen en checkpoints waar ze passen.
  6. Rapporteer resultaten ten opzichte van de rekenkracht, bijvoorbeeld nauwkeurigheid per kWh.

Bepaal vooraf hoeveel rekenkracht het project mag gebruiken, en houd dat bij. Zonder budget voelen extra runs gratis, en wordt de energie van een kleine winst in nauwkeurigheid er nooit tegen afgewogen.

Hoe schat ik het budget?

Ga uit van de experimenten in uw plan: modelgrootte, hoeveelheid gegevens en aantal runs geven bij benadering het aantal GPU-uren. De Green Algorithms-calculator van Lannelongue, Grealey en Inouye zet hardware, looptijd, geheugen en locatie om in een schatting van energie en uitstoot, zodat u ziet wat het budget betekent. Neem een expliciete marge voor verkenning op in plaats van die open te laten.

Wat houdt een project binnen budget?

  • Eerst kleine proeven. Sluit ideeën uit met kleine modellen en deelverzamelingen van de gegevens.
  • Efficiënte zoektochten. Stop slechte runs vroeg; zie de energie van hyperparameterzoektochten verlagen.
  • Hergebruik. Begin met voorgetrainde modellen en opgeslagen checkpoints; zie niet vanaf nul trainen.
  • Kies waar en waarop u draait. Patterson en collega's ontdekten dat de keuze van model, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan verkleinen.

Veelgemaakte fouten

  • Alleen de laatste runs begroten. Verkenning is meestal het grootste deel van de rekenkracht.
  • Geen checkpoints, zodat een storing betekent dat u opnieuw moet beginnen.
  • Alleen de beste nauwkeurigheid rapporteren, wat meer uitgeven beloont.

De GREENER-principes van Lannelongue en collega's bieden een kader voor onderzoeksgroepen en instellingen. Zie de gids voor onderzoekers.

Bronnen

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy