# Efektywne trenowanie i inferencja AI

> Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.

Source: https://greenai.guide/pl/dobre-praktyki/efektywne-trenowanie-i-inferencja-ai/  
Updated: 2026-11-19

## W skrócie

Większość energii zużywanej przez AI można ograniczyć bez utraty jakości: wykorzystując istniejące modele zamiast trenować od zera, zmniejszając je przez przycinanie, kwantyzację i destylację wiedzy, obsługując je z użyciem batchingu i buforowania oraz uruchamiając elastyczne zadania wtedy i tam, gdzie energia elektryczna jest czystsza. Energię należy mierzyć przed każdą zmianą i po niej, bo szybciej nie zawsze znaczy ekologiczniej.

## Najważniejsze punkty

- Najpierw ponowne wykorzystanie, potem trenowanie: dostrajanie małego adaptera metodą LoRA zmniejszyło liczbę trenowanych parametrów 10 000-krotnie, a zużycie pamięci GPU trzykrotnie w porównaniu z pełnym dostrajaniem GPT-3 175B.
- Duże modele językowe można jednorazowo przyciąć do co najmniej 50% rzadkości bez ponownego trenowania, przy minimalnej utracie dokładności (SparseGPT).
- Inferencja 8-bitowa może zmniejszyć zapotrzebowanie na pamięć o połowę bez utraty jakości (LLM.int8()); warto przetestować też 4 bity.
- Sposób obsługi modelu ma znaczenie: batching i stronicowane zarządzanie KV cache dały w vLLM 2–4 razy większą przepustowość przy tym samym opóźnieniu.
- Harmonogramowanie uwzględniające emisyjność ogranicza emisje, a nie zużycie energii; należy je stosować jako uzupełnienie pracy nad efektywnością, nigdy zamiast niej.

## Od czego zacząć? {#where-should-i-start}

**Należy zacząć od pomiaru, a następnie kolejno: ponownie wykorzystać, zmniejszyć, dobrze obsługiwać i
harmonogramować.** Wczesne kroki zwykle dają największe oszczędności przy najmniejszym ryzyku.

Patterson i współpracownicy z Google oszacowali w 2021 roku, że wybór modelu, centrum danych i procesora może
zmienić ślad węglowy trenowania nawet około 100–1000-krotnie. Większość tego zakresu zależy od samego zespołu. Przed
wprowadzeniem jakichkolwiek zmian warto uruchomić [pomiar zużycia energii](/pl/dobre-praktyki/jak-mierzyc-zuzycie-energii-i-emisje-ai/) na tym samym
sprzęcie i przy tym samym obciążeniu, aby zachować tylko te zmiany, które oszczędzają energię bez szkody dla
jakości. Szybkość nie jest wiarygodnym wskaźnikiem zastępczym: zmiana może być szybsza i bardziej energochłonna albo
wolniejsza i oszczędniejsza.

## Czy można uniknąć trenowania od zera? {#can-i-avoid-training-from-scratch}

**Zwykle tak: należy zacząć od wstępnie wytrenowanego modelu i dostosować tylko to, co potrzebne.**

- **Dostrajanie efektywne parametrycznie.** LoRA trenuje małe macierze adapterów niskiego rzędu zamiast całego
  modelu. W porównaniu z pełnym dostrajaniem (fine-tuning) GPT-3 175B autorzy podali 10 000 razy mniej trenowanych
  parametrów i trzy razy mniejsze zużycie pamięci GPU. QLoRA łączy tę metodę z 4-bitowymi wagami; dzięki niej
  dostrojono model o 65 miliardach parametrów na jednym GPU z 48 GB pamięci.
- **Wyszukiwanie zamiast ponownego trenowania.** Zmieniające się fakty warto umieścić w przeszukiwalnym indeksie i
  pobierać je w chwili zapytania. Dostrajanie służy umiejętnościom i stylowi, nie faktom.
- **Łączenie modeli („souping”).** Według Wortsmana i współpracowników uśrednienie wag modeli dostrojonych z tej
  samej bazy może dać wynik lepszy od najlepszego pojedynczego modelu bez dodatkowego kosztu inferencji
  (wnioskowania). Łączenie specjalistycznych wersji dostrojonych to sposób na ponowne wykorzystanie już opłaconej
  pracy.
- **Uczenie ciągłe.** Gdy dane się zmieniają, model można aktualizować przyrostowo, zamiast trenować go od zera.

## Jak pomagają przycinanie i rzadkość? {#how-do-pruning-and-sparsity-help}

**Większość wag w wytrenowanej sieci można usunąć lub pozostawić nieaktywnymi przy niewielkiej stracie, co oznacza
mniej obliczeń i pamięci na odpowiedź.**

- **Przycinanie (pruning) niestrukturalne** usuwa pojedyncze wagi. SparseGPT jednorazowo przyciął modele z rodziny
  GPT do co najmniej 50% rzadkości bez ponownego trenowania, przy minimalnej utracie dokładności, a w przypadku
  największych otwartych modeli tamtego czasu osiągnął 60% przy znikomym wzroście perpleksji.
- **Przycinanie strukturalne** usuwa całe neurony, głowice lub warstwy, co zwykły sprzęt łatwiej wykorzystuje.
- **Rzadkość aktywacji** oznacza, że dla danego wejścia większość neuronów pozostaje nieaktywna.
- Modele **mixture of experts (MoE)** kierują każdy token do kilku wyspecjalizowanych podsieci. Patterson i
  współpracownicy ustalili, że duże, rzadko aktywowane modele mogą zużywać mniej niż jedną dziesiątą energii dużych
  modeli gęstych. Wszyscy eksperci nadal muszą jednak znajdować się w pamięci.

Zastrzeżenie z brytyjskiego sandpitu poświęconego zielonej AI w 2026 roku (sandpit to intensywne warsztaty
badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty), w którym udział wzięli
matematycy, informatycy i przedstawiciele przemysłu: rzadkość jest niedostatecznie wykorzystywana m.in. dlatego, że
sprzęt i biblioteki są projektowane z myślą o obliczeniach gęstych. Należy sprawdzić, czy używane środowisko
uruchomieniowe rzeczywiście przekłada rzadkość na oszczędność energii. Podczas sandpitu dyskutowano też o
wykorzystaniu teorii macierzy losowych do wyboru poziomu rzadkości przed trenowaniem oraz o rzadkich przybliżeniach
mechanizmu uwagi, które można wstawić do wstępnie wytrenowanych modeli. Więcej w artykule
[matematyka dla efektywnej AI](/pl/artykuly/matematyka-ktora-czyni-ai-bardziej-efektywna/).

## A kwantyzacja, destylacja i obliczenia o mieszanej precyzji? {#what-about-quantisation-distillation-and-mixed-precision}

**Wszędzie tam, gdzie pozwala na to próg jakości, warto używać mniejszej liczby bitów i mniejszych modeli.**

| Technika | Na czym polega | Opublikowany wynik |
|---|---|---|
| [Kwantyzacja](/pl/slowniczek/#quantisation) | Przechowuje wagi i wykonuje obliczenia na 8 lub 4 bitach zamiast 16 lub 32 | LLM.int8() zmniejszył o połowę pamięć potrzebną do inferencji bez utraty jakości dla modeli do 175 mld parametrów; UNESCO i UCL podają, że kompresja modeli, np. kwantyzacja, oszczędza do 44% energii |
| [Destylacja wiedzy](/pl/slowniczek/#distillation) | Trenuje mały model „ucznia”, by naśladował duży model „nauczyciela” | DistilBERT był o 40% mniejszy i o 60% szybszy od BERT, zachowując 97% jego zdolności rozumienia języka |
| Mieszana precyzja | Trenuje w połowicznej precyzji z kopią główną w pełnej precyzji | Niemal o połowę mniejsze zużycie pamięci podczas trenowania (Micikevicius i in.) |

Każdą z technik należy przetestować na własnym zestawie ewaluacyjnym. Hugging Face zwraca uwagę, że kwantyzacja może
zwiększyć opóźnienie, gdy obciążenie nie jest ograniczone przez pamięć, dlatego warto zmierzyć energię i opóźnienie
na zapytanie przed zmianą i po niej.

## Jak efektywnie obsługiwać modele? {#how-do-i-serve-models-efficiently}

**Akcelerator powinien być zajęty użyteczną pracą, a nic nie powinno być obliczane ponownie.** Niewykorzystane GPU
nadal pobiera znaczną moc.

1. **Grupowanie zapytań (batching).** Silniki obsługi z ciągłym batchingiem grupują równoczesne zapytania.
   PagedAttention w vLLM, który zarządza [KV cache](/pl/slowniczek/#kv-cache) jak pamięcią wirtualną, dał 2–4 razy
   większą przepustowość niż wcześniejsze systemy przy tym samym opóźnieniu.
2. **Dobre wykorzystanie KV cache.** Klucze i wartości dla wcześniejszych tokenów należy buforować; tam, gdzie
   biblioteka na to pozwala, warto użyć statycznego bufora ze skompilowanym przebiegiem w przód.
3. **Włączenie zoptymalizowanych ścieżek.** Wagi w połowicznej precyzji, wydajne jądra mechanizmu uwagi (np. SDPA
   lub FlashAttention) i kompilacja są często dostępne, ale domyślnie wyłączone.
4. **Dekodowanie spekulatywne.** Mały model roboczy proponuje tokeny, które duży model weryfikuje. Leviathan i
   współpracownicy podali 2–3 razy szybsze generowanie na T5-XXL przy identycznych wynikach.
5. **Ograniczenie długości odpowiedzi** do potrzeb zadania oraz buforowanie (caching) odpowiedzi na identyczne
   zapytania.
6. **Porównanie środowisk uruchomieniowych i sprzętu.** Warto przeprowadzić benchmark dwóch lub trzech stosów
   obsługi przy rzeczywistych rozmiarach partii.

## Kiedy i gdzie uruchamiać zadania? {#when-and-where-should-jobs-run}

**Elastyczne zadania warto uruchamiać wtedy i tam, gdzie energia elektryczna jest czystsza, ale traktować to jako
dodatek do efektywności, a nie jej zamiennik.**

- **Przesunięcie w czasie.** Trenowanie, ewaluacje i inferencja wsadowa często mogą poczekać kilka godzin. Można je
  zaplanować według prognozy emisyjności sieci elektroenergetycznej; narzędzia takie jak CATS opakowują w tym celu
  zadania klastrowe. W Wielkiej Brytanii regionalne prognozy publikuje Carbon Intensity API.
- **Możliwość wstrzymywania długich zadań.** Regularne zapisywanie punktów kontrolnych, łącznie ze stanem
  optymalizatora, pozwala wstrzymać zadanie, gdy energia w sieci jest brudna, i wznowić je później bez utraty
  pracy.
- **Wybór regionu i sprzętu.** Tam, gdzie opóźnienie nie ma znaczenia, warto wybierać niskoemisyjny region i
  wydajne akceleratory, uwzględniając koszt przenoszenia danych. Więcej w części
  [hosting i centra danych](/pl/dobre-praktyki/hosting-zielonej-ai-i-centra-danych/).
- **Pilnowanie bezwzględnego zużycia energii.** Harmonogramowanie uwzględniające emisyjność zmienia to, kiedy praca
  jest wykonywana, a nie to, ile energii zużywa. Obok emisji należy śledzić energię na jednostkę pracy.

## Lista kontrolna {#checklist}

- [ ] Energia mierzona przed każdą zmianą i po niej, w tej samej konfiguracji, w kilku przebiegach
- [ ] Wstępnie wytrenowany model i adaptery rozważone przed trenowaniem od zera
- [ ] Wyszukiwanie zamiast ponownego trenowania dla zmieniających się faktów
- [ ] Przycinanie, kwantyzacja lub destylacja przetestowane względem progu jakości
- [ ] Mieszana precyzja stosowana podczas trenowania
- [ ] Batching, optymalizacja KV cache i wydajny mechanizm uwagi włączone przy obsłudze modelu
- [ ] Długość odpowiedzi ograniczona; identyczne zapytania buforowane
- [ ] Elastyczne zadania z punktami kontrolnymi, planowane na czystsze godziny
- [ ] Energia trenowania i sprzęt zapisane w karcie modelu

## Co zrobić dalej {#what-to-do-next}

1. Dodać do skryptów trenowania i ewaluacji narzędzie do śledzenia emisji, takie jak CodeCarbon, i umieścić energię
   obok dokładności w tabeli wyników.
2. Wypróbować LoRA lub QLoRA przy kolejnym dostrajaniu i porównać z pełnym dostrajaniem.
3. Przetestować 8-bitową i 4-bitową wersję wdrożonego modelu na zestawie ewaluacyjnym.
4. Przeprowadzić benchmark stosu obsługi z włączonym batchingiem i zoptymalizowaną ścieżką mechanizmu uwagi.
5. Opakować jedno cykliczne zadanie klastrowe w harmonogram uwzględniający emisyjność.
6. Szkoleń szukać w [katalogu kursów](/pl/kursy/), a powiązanych prac w sekcjach [badania](/pl/badania/) i
   [doktoraty](/pl/doktoraty/).

## Najczęściej zadawane pytania

### Czy kwantyzacja obniża dokładność?

Czasami nieznacznie; w przypadku 8 bitów często w niezauważalnym stopniu. Skwantyzowany model należy zawsze przetestować na własnym zestawie ewaluacyjnym. Kwantyzacja może też zwiększyć opóźnienie, gdy obciążenie nie jest ograniczone przez pamięć.

### Czym jest KV cache?

Gdy transformer generuje tekst, przechowuje macierze kluczy i wartości dla wcześniejszych tokenów, aby nie przeliczać ich na każdym kroku. Dobre zarządzanie tym buforem to jedno z największych źródeł efektywności przy obsłudze modeli.

### Co pochłania więcej energii: trenowanie czy inferencja?

To zależy od tego, jak szeroko model jest używany. Trenowanie to duży koszt jednorazowy; inferencję opłaca się przy każdym zapytaniu, więc w przypadku popularnych modeli zwykle dominuje ona w całym cyklu życia modelu.

### Czym jest łączenie modeli (model merging, souping)?

To uśrednianie wag kilku modeli dostrojonych z tego samego punktu wyjścia. Wynik działa jako jeden model, bez dodatkowego kosztu inferencji, i może przewyższać najlepszy pojedynczy model.

## Źródła

- [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), Hu et al. (arXiv 2106.09685) (2021)
- [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers et al. (arXiv 2305.14314) (2023)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh (arXiv 2301.00774) (2023)
- [LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://arxiv.org/abs/2208.07339), Dettmers et al. (arXiv 2208.07339) (2022)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Fast Inference from Transformers via Speculative Decoding](https://arxiv.org/abs/2211.17192), Leviathan et al. (arXiv 2211.17192) (2022)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al. (arXiv 2203.05482) (2022)
- [Carbon Emissions and Large Neural Network Training](https://arxiv.org/abs/2104.10350), Patterson et al. (arXiv 2104.10350) (2021)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2025)
- [Green Software Patterns: carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation (2025)
- [CATS: Climate-Aware Task Scheduler](https://github.com/GreenScheduler/cats), GreenScheduler (2025)
