greenai.guide

Strona główna › Jak…? › Jak ustalić budżet obliczeniowy dla projektu badawczego?

Jak…?

Jak ustalić budżet obliczeniowy dla projektu badawczego?

Aktualizacja · Czas czytania: 1 min

W skrócie

Należy oszacować, ile GPU-godzin potrzebują główne eksperymenty, dodać margines na eksplorację i śledzić zużycie względem tego budżetu tak jak pieniądze. Pomysły warto testować w małej skali, wcześnie przerywać słabe przebiegi, ponownie wykorzystywać wytrenowane wcześniej modele i punkty kontrolne oraz raportować wyniki w odniesieniu do nakładu obliczeń. Budżet uwidacznia kompromisy i zapobiega niekończącemu się strojeniu.

Kroki

  1. Oszacować GPU-godziny dla głównych eksperymentów i dodać określony margines na eksplorację.
  2. Przeprowadzać pilotaże w małej skali, aby odrzucić pomysły przed skalowaniem.
  3. Śledzić GPU-godziny i energię każdego eksperymentu względem budżetu.
  4. Wcześnie przerywać słabe przebiegi zamiast prowadzić duże przeszukiwania siatki.
  5. Ponownie wykorzystywać wytrenowane wcześniej modele i punkty kontrolne, gdy pasują.
  6. Raportować wyniki w odniesieniu do nakładu obliczeń, np. dokładność na kWh.

Należy z góry ustalić, ile obliczeń może zużyć projekt, i to śledzić. Bez budżetu dodatkowe przebiegi wydają się darmowe, a energii niewielkiego wzrostu dokładności nigdy się z nim nie porównuje.

Jak oszacować budżet?

Należy wyjść od eksperymentów zaplanowanych w projekcie: rozmiar modelu, rozmiar danych i liczba przebiegów dają przybliżoną liczbę GPU-godzin. Kalkulator Green Algorithms autorstwa Lannelongue, Grealeya i Inouye przelicza sprzęt, czas działania, pamięć i lokalizację na szacunek energii i emisji, co pomaga zrozumieć, co oznacza dany budżet. Warto dodać wyraźny margines na eksplorację, zamiast zostawiać go otwartym.

Co pozwala utrzymać projekt w budżecie?

  • Najpierw małe pilotaże. Pomysły można odrzucać na małych modelach i podzbiorach danych.
  • Wydajne przeszukiwanie. Słabe przebiegi należy wcześnie przerywać; zob. jak zmniejszyć energię przeszukiwania hiperparametrów.
  • Ponowne wykorzystanie. Warto zaczynać od wytrenowanych wcześniej modeli i zapisanych punktów kontrolnych; zob. jak uniknąć trenowania od zera.
  • Wybór miejsca i sprzętu. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet około 100–1000 razy.

Częste błędy

  • Budżetowanie tylko końcowych przebiegów. Eksploracja zwykle stanowi większość obliczeń.
  • Brak punktów kontrolnych, przez co awaria oznacza zaczynanie od nowa.
  • Raportowanie tylko najlepszej dokładności, co nagradza wydawanie więcej.

Zasady GREENER autorstwa Lannelongue i współpracowników dają ramy dla zespołów i instytucji. Zob. przewodnik dla badaczy.

Źródła

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność