W skrócie
Tam, gdzie to możliwe, należy zaczynać od modelu wstępnie wytrenowanego, wybrać najmniejszą architekturę, która może osiągnąć wymagany poziom, trenować w mieszanej precyzji, zatrzymywać trening, gdy wyniki walidacji przestają się poprawiać, i korzystać z wydajnego sprzętu w niskoemisyjnym regionie i czasie. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet ok. 100 do 1000 razy. Każdy przebieg należy mierzyć, aby kompromisy były widoczne.
Kroki
- Należy sprawdzić, czy zamiast trenowania od zera można dostroić model wstępnie wytrenowany.
- Pomysły należy najpierw sprawdzać w małej skali, zanim uruchomi się pełny przebieg.
- Należy trenować w mieszanej precyzji i wcześnie zatrzymywać trening, gdy wyniki walidacji przestają się poprawiać.
- Należy korzystać z wydajnych akceleratorów w niskoemisyjnym regionie, a elastyczne przebiegi planować na godziny z czystszą energią.
- Należy zapisywać punkty kontrolne (checkpointy), aby przebiegi można było wstrzymać i wznowić bez zaczynania od nowa.
- Należy śledzić energię i emisje każdego przebiegu, także nieudanych.
Energia trenowania zależy głównie od decyzji podjętych przed rozpoczęciem przebiegu. To, co się trenuje, na czym, gdzie i kiedy, ma większe znaczenie niż jakiekolwiek poprawki w trakcie.
Dlaczego to ważne?
Artykuł Strubell, Ganesha i McCalluma z 2019 roku określił finansowy i środowiskowy koszt trenowania modeli językowych i zaproponował sposoby jego obniżenia. Patterson i współpracownicy ustalili później, że wybór architektury modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet ok. 100 do 1000 razy.
Co ma największe znaczenie?
- Nietrenowanie od zera. Dostrojenie modelu wstępnie wytrenowanego lub adaptera na nim kosztuje zwykle drobny ułamek wstępnego trenowania. Zob. jak uniknąć trenowania od zera.
- Właściwy rozmiar. Mniejsza architektura, która osiąga wymagany poziom, jest lepsza od dużej, która go przekracza.
- Mieszana precyzja. Trenowanie w połowicznej precyzji z kopią główną w pełnej precyzji prawie o połowę zmniejszyło zużycie pamięci w pracy Micikeviciusa i współpracowników, co pozwala zmieścić większe paczki danych (batche) na tym samym sprzęcie.
- Wczesne zatrzymanie. Przebiegi należy kończyć, gdy strata walidacyjna przestaje spadać.
- Gdzie i kiedy. Należy wybierać wydajne akceleratory i niskoemisyjny region, a elastyczne zadania uruchamiać, gdy sieć jest czystsza: zob. jak planować trenowanie.
Częste błędy
- Liczenie tylko końcowego przebiegu. Strojenie i nieudane przebiegi często kosztują więcej; zob. jak ograniczyć energię przeszukiwania hiperparametrów.
- Brak punktów kontrolnych, przez co przerwa oznacza zaczynanie od nowa.
- Brak pomiaru. Do skryptu trenującego należy dodać licznik, np. CodeCarbon.
Pełny zestaw narzędzi opisuje strona efektywne trenowanie i wnioskowanie.
Źródła
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Powiązane
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.
Jak uniknąć trenowania modelu od zera?
Jak wykorzystać istniejące modele zamiast trenować własny: dostrajanie, adaptacja metodą LoRA, łączenie dostrojonych modeli lub wyszukiwanie wiedzy.
Jak planować trenowanie na czas, gdy sieć energetyczna jest czystsza?
Jak uruchamiać trenowanie i zadania wsadowe AI przy niskiej emisyjności sieci: prognozy, punkty kontrolne pozwalające wstrzymać zadanie i twarde terminy.
Jak zmierzyć ślad węglowy trenowania modelu?
Należy śledzić energię trenowania narzędziem takim jak CodeCarbon, pomnożyć ją przez emisyjność lokalnej sieci i podać sprzęt, czas oraz lokalizację.