W skrócie
Należy oszacować, ile GPU-godzin potrzebują główne eksperymenty, dodać margines na eksplorację i śledzić zużycie względem tego budżetu tak jak pieniądze. Pomysły warto testować w małej skali, wcześnie przerywać słabe przebiegi, ponownie wykorzystywać wytrenowane wcześniej modele i punkty kontrolne oraz raportować wyniki w odniesieniu do nakładu obliczeń. Budżet uwidacznia kompromisy i zapobiega niekończącemu się strojeniu.
Kroki
- Oszacować GPU-godziny dla głównych eksperymentów i dodać określony margines na eksplorację.
- Przeprowadzać pilotaże w małej skali, aby odrzucić pomysły przed skalowaniem.
- Śledzić GPU-godziny i energię każdego eksperymentu względem budżetu.
- Wcześnie przerywać słabe przebiegi zamiast prowadzić duże przeszukiwania siatki.
- Ponownie wykorzystywać wytrenowane wcześniej modele i punkty kontrolne, gdy pasują.
- Raportować wyniki w odniesieniu do nakładu obliczeń, np. dokładność na kWh.
Należy z góry ustalić, ile obliczeń może zużyć projekt, i to śledzić. Bez budżetu dodatkowe przebiegi wydają się darmowe, a energii niewielkiego wzrostu dokładności nigdy się z nim nie porównuje.
Jak oszacować budżet?
Należy wyjść od eksperymentów zaplanowanych w projekcie: rozmiar modelu, rozmiar danych i liczba przebiegów dają przybliżoną liczbę GPU-godzin. Kalkulator Green Algorithms autorstwa Lannelongue, Grealeya i Inouye przelicza sprzęt, czas działania, pamięć i lokalizację na szacunek energii i emisji, co pomaga zrozumieć, co oznacza dany budżet. Warto dodać wyraźny margines na eksplorację, zamiast zostawiać go otwartym.
Co pozwala utrzymać projekt w budżecie?
- Najpierw małe pilotaże. Pomysły można odrzucać na małych modelach i podzbiorach danych.
- Wydajne przeszukiwanie. Słabe przebiegi należy wcześnie przerywać; zob. jak zmniejszyć energię przeszukiwania hiperparametrów.
- Ponowne wykorzystanie. Warto zaczynać od wytrenowanych wcześniej modeli i zapisanych punktów kontrolnych; zob. jak uniknąć trenowania od zera.
- Wybór miejsca i sprzętu. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet około 100–1000 razy.
Częste błędy
- Budżetowanie tylko końcowych przebiegów. Eksploracja zwykle stanowi większość obliczeń.
- Brak punktów kontrolnych, przez co awaria oznacza zaczynanie od nowa.
- Raportowanie tylko najlepszej dokładności, co nagradza wydawanie więcej.
Zasady GREENER autorstwa Lannelongue i współpracowników dają ramy dla zespołów i instytucji. Zob. przewodnik dla badaczy.
Źródła
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Powiązane
Jak zmniejszyć zużycie energii przy przeszukiwaniu hiperparametrów?
Jak stroić modele mniejszym nakładem obliczeń: mądrzejsze przeszukiwanie niż pełna siatka, wczesne przerywanie słabych prób, małe pilotaże i budżet.
Jak raportować zużycie energii w moich badaniach nad AI?
Co podać w artykule o obliczeniach i energii: sprzęt, GPU-godziny wszystkich przebiegów, energię, lokalizację, emisje, koszt inferencji i przyjęte granice.
Jak zmniejszyć ślad eksperymentów z AI na klastrze badawczym?
Jak ograniczyć energię eksperymentów AI na HPC: czytać rozliczenia energii Slurm, zamawiać tylko potrzebne zasoby, robić małe pilotaże, checkpointy i planować zadania.
Zielona AI dla naukowców
Przewodnik dla naukowców: efektywne metody AI, pomiar i raportowanie energii w publikacjach, budżety obliczeniowe, finansowanie i rola matematyki.