# Jak zmniejszyć zużycie energii podczas trenowania modelu?

> Główne sposoby na mniejsze zużycie energii przy trenowaniu: model wstępnie wytrenowany, właściwy rozmiar, mieszana precyzja, wczesne zatrzymanie, pomiar.

Source: https://greenai.guide/pl/jak/jak-zmniejszyc-zuzycie-energii-podczas-trenowania-modelu/  
Updated: 2026-11-19

## W skrócie

Tam, gdzie to możliwe, należy zaczynać od modelu wstępnie wytrenowanego, wybrać najmniejszą architekturę, która może osiągnąć wymagany poziom, trenować w mieszanej precyzji, zatrzymywać trening, gdy wyniki walidacji przestają się poprawiać, i korzystać z wydajnego sprzętu w niskoemisyjnym regionie i czasie. Patterson i współpracownicy ustalili, że wybór modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet ok. 100 do 1000 razy. Każdy przebieg należy mierzyć, aby kompromisy były widoczne.

## Steps

1. Należy sprawdzić, czy zamiast trenowania od zera można dostroić model wstępnie wytrenowany.
2. Pomysły należy najpierw sprawdzać w małej skali, zanim uruchomi się pełny przebieg.
3. Należy trenować w mieszanej precyzji i wcześnie zatrzymywać trening, gdy wyniki walidacji przestają się poprawiać.
4. Należy korzystać z wydajnych akceleratorów w niskoemisyjnym regionie, a elastyczne przebiegi planować na godziny z czystszą energią.
5. Należy zapisywać punkty kontrolne (checkpointy), aby przebiegi można było wstrzymać i wznowić bez zaczynania od nowa.
6. Należy śledzić energię i emisje każdego przebiegu, także nieudanych.

**Energia trenowania zależy głównie od decyzji podjętych przed rozpoczęciem przebiegu.** To, co się trenuje, na
czym, gdzie i kiedy, ma większe znaczenie niż jakiekolwiek poprawki w trakcie.

## Dlaczego to ważne? {#why-does-it-matter}

Artykuł Strubell, Ganesha i McCalluma z 2019 roku określił finansowy i środowiskowy koszt trenowania modeli
językowych i zaproponował sposoby jego obniżenia. Patterson i współpracownicy ustalili później, że wybór architektury
modelu, centrum danych i procesora może zmniejszyć ślad węglowy trenowania nawet ok. 100 do 1000 razy.

## Co ma największe znaczenie? {#what-makes-the-biggest-difference}

1. **Nietrenowanie od zera.** Dostrojenie modelu wstępnie wytrenowanego lub adaptera na nim kosztuje zwykle
   drobny ułamek wstępnego trenowania. Zob. [jak uniknąć trenowania od zera](/pl/jak/jak-uniknac-trenowania-modelu-od-zera/).
2. **Właściwy rozmiar.** Mniejsza architektura, która osiąga wymagany poziom, jest lepsza od dużej, która go przekracza.
3. **Mieszana precyzja.** Trenowanie w połowicznej precyzji z kopią główną w pełnej precyzji prawie o połowę
   zmniejszyło zużycie pamięci w pracy Micikeviciusa i współpracowników, co pozwala zmieścić większe paczki danych
   (batche) na tym samym sprzęcie.
4. **Wczesne zatrzymanie.** Przebiegi należy kończyć, gdy strata walidacyjna przestaje spadać.
5. **Gdzie i kiedy.** Należy wybierać wydajne akceleratory i niskoemisyjny region, a elastyczne zadania uruchamiać,
   gdy sieć jest czystsza: zob. [jak planować trenowanie](/pl/jak/jak-planowac-trenowanie-na-czas-gdy-siec-energetyczna-jest-czystsza/).

## Częste błędy {#common-mistakes}

- **Liczenie tylko końcowego przebiegu.** Strojenie i nieudane przebiegi często kosztują więcej; zob.
  [jak ograniczyć energię przeszukiwania hiperparametrów](/pl/jak/jak-zmniejszyc-zuzycie-energii-przy-przeszukiwaniu-hiperparametrow/).
- **Brak punktów kontrolnych**, przez co przerwa oznacza zaczynanie od nowa.
- **Brak pomiaru.** Do skryptu trenującego należy dodać licznik, np. CodeCarbon.

Pełny zestaw narzędzi opisuje strona [efektywne trenowanie i wnioskowanie](/pl/dobre-praktyki/efektywne-trenowanie-i-inferencja-ai/).

## Źródła

- [Carbon emissions and large neural network training](https://arxiv.org/abs/2104.10350), Patterson et al. (2021)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Energy and policy considerations for deep learning in NLP](https://arxiv.org/abs/1906.02243), Strubell, Ganesh and McCallum, ACL (2019)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
