greenai.guide

Strona główna › Jak…? › Jak zmniejszyć zużycie energii podczas trenowania modelu?

Jak…?

Jak zmniejszyć zużycie energii podczas trenowania modelu?

Aktualizacja · Czas czytania: 1 min

W skrócie

Tam, gdzie to możliwe, należy zaczynać od modelu wstępnie wytrenowanego, wybrać najmniejszą architekturę, która może osiągnąć wymagany poziom, trenować w mieszanej precyzji, zatrzymywać trening, gdy wyniki walidacji przestają się poprawiać, i korzystać z wydajnego sprzętu w niskoemisyjnym regionie i czasie. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet ok. 100 do 1000 razy. Każdy przebieg należy mierzyć, aby kompromisy były widoczne.

Kroki

  1. Należy sprawdzić, czy zamiast trenowania od zera można dostroić model wstępnie wytrenowany.
  2. Pomysły należy najpierw sprawdzać w małej skali, zanim uruchomi się pełny przebieg.
  3. Należy trenować w mieszanej precyzji i wcześnie zatrzymywać trening, gdy wyniki walidacji przestają się poprawiać.
  4. Należy korzystać z wydajnych akceleratorów w niskoemisyjnym regionie, a elastyczne przebiegi planować na godziny z czystszą energią.
  5. Należy zapisywać punkty kontrolne (checkpointy), aby przebiegi można było wstrzymać i wznowić bez zaczynania od nowa.
  6. Należy śledzić energię i emisje każdego przebiegu, także nieudanych.

Energia trenowania zależy głównie od decyzji podjętych przed rozpoczęciem przebiegu. To, co się trenuje, na czym, gdzie i kiedy, ma większe znaczenie niż jakiekolwiek poprawki w trakcie.

Dlaczego to ważne?

Artykuł Strubell, Ganesha i McCalluma z 2019 roku określił finansowy i środowiskowy koszt trenowania modeli językowych i zaproponował sposoby jego obniżenia. Patterson i współpracownicy ustalili później, że wybór architektury modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet ok. 100 do 1000 razy.

Co ma największe znaczenie?

  1. Nietrenowanie od zera. Dostrojenie modelu wstępnie wytrenowanego lub adaptera na nim kosztuje zwykle drobny ułamek wstępnego trenowania. Zob. jak uniknąć trenowania od zera.
  2. Właściwy rozmiar. Mniejsza architektura, która osiąga wymagany poziom, jest lepsza od dużej, która go przekracza.
  3. Mieszana precyzja. Trenowanie w połowicznej precyzji z kopią główną w pełnej precyzji prawie o połowę zmniejszyło zużycie pamięci w pracy Micikeviciusa i współpracowników, co pozwala zmieścić większe paczki danych (batche) na tym samym sprzęcie.
  4. Wczesne zatrzymanie. Przebiegi należy kończyć, gdy strata walidacyjna przestaje spadać.
  5. Gdzie i kiedy. Należy wybierać wydajne akceleratory i niskoemisyjny region, a elastyczne zadania uruchamiać, gdy sieć jest czystsza: zob. jak planować trenowanie.

Częste błędy

  • Liczenie tylko końcowego przebiegu. Strojenie i nieudane przebiegi często kosztują więcej; zob. jak ograniczyć energię przeszukiwania hiperparametrów.
  • Brak punktów kontrolnych, przez co przerwa oznacza zaczynanie od nowa.
  • Brak pomiaru. Do skryptu trenującego należy dodać licznik, np. CodeCarbon.

Pełny zestaw narzędzi opisuje strona efektywne trenowanie i wnioskowanie.

Źródła

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność