W skrócie
Większość energii zużywanej przez AI można ograniczyć bez utraty jakości: wykorzystując istniejące modele zamiast trenować od zera, zmniejszając je przez przycinanie, kwantyzację i destylację wiedzy, obsługując je z użyciem batchingu i buforowania oraz uruchamiając elastyczne zadania wtedy i tam, gdzie energia elektryczna jest czystsza. Energię należy mierzyć przed każdą zmianą i po niej, bo szybciej nie zawsze znaczy ekologiczniej.
Najważniejsze punkty
- Najpierw ponowne wykorzystanie, potem trenowanie: dostrajanie małego adaptera metodą LoRA zmniejszyło liczbę trenowanych parametrów 10 000-krotnie, a zużycie pamięci GPU trzykrotnie w porównaniu z pełnym dostrajaniem GPT-3 175B.
- Duże modele językowe można jednorazowo przyciąć do co najmniej 50% rzadkości bez ponownego trenowania, przy minimalnej utracie dokładności (SparseGPT).
- Inferencja 8-bitowa może zmniejszyć zapotrzebowanie na pamięć o połowę bez utraty jakości (LLM.int8()); warto przetestować też 4 bity.
- Sposób obsługi modelu ma znaczenie: batching i stronicowane zarządzanie KV cache dały w vLLM 2–4 razy większą przepustowość przy tym samym opóźnieniu.
- Harmonogramowanie uwzględniające emisyjność ogranicza emisje, a nie zużycie energii; należy je stosować jako uzupełnienie pracy nad efektywnością, nigdy zamiast niej.
Od czego zacząć?
Należy zacząć od pomiaru, a następnie kolejno: ponownie wykorzystać, zmniejszyć, dobrze obsługiwać i harmonogramować. Wczesne kroki zwykle dają największe oszczędności przy najmniejszym ryzyku.
Patterson i współpracownicy z Google oszacowali w 2021 roku, że wybór modelu, centrum danych i procesora może zmienić ślad węglowy trenowania nawet około 100–1000-krotnie. Większość tego zakresu zależy od samego zespołu. Przed wprowadzeniem jakichkolwiek zmian warto uruchomić pomiar zużycia energii na tym samym sprzęcie i przy tym samym obciążeniu, aby zachować tylko te zmiany, które oszczędzają energię bez szkody dla jakości. Szybkość nie jest wiarygodnym wskaźnikiem zastępczym: zmiana może być szybsza i bardziej energochłonna albo wolniejsza i oszczędniejsza.
Czy można uniknąć trenowania od zera?
Zwykle tak: należy zacząć od wstępnie wytrenowanego modelu i dostosować tylko to, co potrzebne.
- Dostrajanie efektywne parametrycznie. LoRA trenuje małe macierze adapterów niskiego rzędu zamiast całego modelu. W porównaniu z pełnym dostrajaniem (fine-tuning) GPT-3 175B autorzy podali 10 000 razy mniej trenowanych parametrów i trzy razy mniejsze zużycie pamięci GPU. QLoRA łączy tę metodę z 4-bitowymi wagami; dzięki niej dostrojono model o 65 miliardach parametrów na jednym GPU z 48 GB pamięci.
- Wyszukiwanie zamiast ponownego trenowania. Zmieniające się fakty warto umieścić w przeszukiwalnym indeksie i pobierać je w chwili zapytania. Dostrajanie służy umiejętnościom i stylowi, nie faktom.
- Łączenie modeli („souping”). Według Wortsmana i współpracowników uśrednienie wag modeli dostrojonych z tej samej bazy może dać wynik lepszy od najlepszego pojedynczego modelu bez dodatkowego kosztu inferencji (wnioskowania). Łączenie specjalistycznych wersji dostrojonych to sposób na ponowne wykorzystanie już opłaconej pracy.
- Uczenie ciągłe. Gdy dane się zmieniają, model można aktualizować przyrostowo, zamiast trenować go od zera.
Jak pomagają przycinanie i rzadkość?
Większość wag w wytrenowanej sieci można usunąć lub pozostawić nieaktywnymi przy niewielkiej stracie, co oznacza mniej obliczeń i pamięci na odpowiedź.
- Przycinanie (pruning) niestrukturalne usuwa pojedyncze wagi. SparseGPT jednorazowo przyciął modele z rodziny GPT do co najmniej 50% rzadkości bez ponownego trenowania, przy minimalnej utracie dokładności, a w przypadku największych otwartych modeli tamtego czasu osiągnął 60% przy znikomym wzroście perpleksji.
- Przycinanie strukturalne usuwa całe neurony, głowice lub warstwy, co zwykły sprzęt łatwiej wykorzystuje.
- Rzadkość aktywacji oznacza, że dla danego wejścia większość neuronów pozostaje nieaktywna.
- Modele mixture of experts (MoE) kierują każdy token do kilku wyspecjalizowanych podsieci. Patterson i współpracownicy ustalili, że duże, rzadko aktywowane modele mogą zużywać mniej niż jedną dziesiątą energii dużych modeli gęstych. Wszyscy eksperci nadal muszą jednak znajdować się w pamięci.
Zastrzeżenie z brytyjskiego sandpitu poświęconego zielonej AI w 2026 roku (sandpit to intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty), w którym udział wzięli matematycy, informatycy i przedstawiciele przemysłu: rzadkość jest niedostatecznie wykorzystywana m.in. dlatego, że sprzęt i biblioteki są projektowane z myślą o obliczeniach gęstych. Należy sprawdzić, czy używane środowisko uruchomieniowe rzeczywiście przekłada rzadkość na oszczędność energii. Podczas sandpitu dyskutowano też o wykorzystaniu teorii macierzy losowych do wyboru poziomu rzadkości przed trenowaniem oraz o rzadkich przybliżeniach mechanizmu uwagi, które można wstawić do wstępnie wytrenowanych modeli. Więcej w artykule matematyka dla efektywnej AI.
A kwantyzacja, destylacja i obliczenia o mieszanej precyzji?
Wszędzie tam, gdzie pozwala na to próg jakości, warto używać mniejszej liczby bitów i mniejszych modeli.
| Technika | Na czym polega | Opublikowany wynik |
|---|---|---|
| Kwantyzacja | Przechowuje wagi i wykonuje obliczenia na 8 lub 4 bitach zamiast 16 lub 32 | LLM.int8() zmniejszył o połowę pamięć potrzebną do inferencji bez utraty jakości dla modeli do 175 mld parametrów; UNESCO i UCL podają, że kompresja modeli, np. kwantyzacja, oszczędza do 44% energii |
| Destylacja wiedzy | Trenuje mały model „ucznia”, by naśladował duży model „nauczyciela” | DistilBERT był o 40% mniejszy i o 60% szybszy od BERT, zachowując 97% jego zdolności rozumienia języka |
| Mieszana precyzja | Trenuje w połowicznej precyzji z kopią główną w pełnej precyzji | Niemal o połowę mniejsze zużycie pamięci podczas trenowania (Micikevicius i in.) |
Każdą z technik należy przetestować na własnym zestawie ewaluacyjnym. Hugging Face zwraca uwagę, że kwantyzacja może zwiększyć opóźnienie, gdy obciążenie nie jest ograniczone przez pamięć, dlatego warto zmierzyć energię i opóźnienie na zapytanie przed zmianą i po niej.
Jak efektywnie obsługiwać modele?
Akcelerator powinien być zajęty użyteczną pracą, a nic nie powinno być obliczane ponownie. Niewykorzystane GPU nadal pobiera znaczną moc.
- Grupowanie zapytań (batching). Silniki obsługi z ciągłym batchingiem grupują równoczesne zapytania. PagedAttention w vLLM, który zarządza KV cache jak pamięcią wirtualną, dał 2–4 razy większą przepustowość niż wcześniejsze systemy przy tym samym opóźnieniu.
- Dobre wykorzystanie KV cache. Klucze i wartości dla wcześniejszych tokenów należy buforować; tam, gdzie biblioteka na to pozwala, warto użyć statycznego bufora ze skompilowanym przebiegiem w przód.
- Włączenie zoptymalizowanych ścieżek. Wagi w połowicznej precyzji, wydajne jądra mechanizmu uwagi (np. SDPA lub FlashAttention) i kompilacja są często dostępne, ale domyślnie wyłączone.
- Dekodowanie spekulatywne. Mały model roboczy proponuje tokeny, które duży model weryfikuje. Leviathan i współpracownicy podali 2–3 razy szybsze generowanie na T5-XXL przy identycznych wynikach.
- Ograniczenie długości odpowiedzi do potrzeb zadania oraz buforowanie (caching) odpowiedzi na identyczne zapytania.
- Porównanie środowisk uruchomieniowych i sprzętu. Warto przeprowadzić benchmark dwóch lub trzech stosów obsługi przy rzeczywistych rozmiarach partii.
Kiedy i gdzie uruchamiać zadania?
Elastyczne zadania warto uruchamiać wtedy i tam, gdzie energia elektryczna jest czystsza, ale traktować to jako dodatek do efektywności, a nie jej zamiennik.
- Przesunięcie w czasie. Trenowanie, ewaluacje i inferencja wsadowa często mogą poczekać kilka godzin. Można je zaplanować według prognozy emisyjności sieci elektroenergetycznej; narzędzia takie jak CATS opakowują w tym celu zadania klastrowe. W Wielkiej Brytanii regionalne prognozy publikuje Carbon Intensity API.
- Możliwość wstrzymywania długich zadań. Regularne zapisywanie punktów kontrolnych, łącznie ze stanem optymalizatora, pozwala wstrzymać zadanie, gdy energia w sieci jest brudna, i wznowić je później bez utraty pracy.
- Wybór regionu i sprzętu. Tam, gdzie opóźnienie nie ma znaczenia, warto wybierać niskoemisyjny region i wydajne akceleratory, uwzględniając koszt przenoszenia danych. Więcej w części hosting i centra danych.
- Pilnowanie bezwzględnego zużycia energii. Harmonogramowanie uwzględniające emisyjność zmienia to, kiedy praca jest wykonywana, a nie to, ile energii zużywa. Obok emisji należy śledzić energię na jednostkę pracy.
Lista kontrolna
- [ ] Energia mierzona przed każdą zmianą i po niej, w tej samej konfiguracji, w kilku przebiegach
- [ ] Wstępnie wytrenowany model i adaptery rozważone przed trenowaniem od zera
- [ ] Wyszukiwanie zamiast ponownego trenowania dla zmieniających się faktów
- [ ] Przycinanie, kwantyzacja lub destylacja przetestowane względem progu jakości
- [ ] Mieszana precyzja stosowana podczas trenowania
- [ ] Batching, optymalizacja KV cache i wydajny mechanizm uwagi włączone przy obsłudze modelu
- [ ] Długość odpowiedzi ograniczona; identyczne zapytania buforowane
- [ ] Elastyczne zadania z punktami kontrolnymi, planowane na czystsze godziny
- [ ] Energia trenowania i sprzęt zapisane w karcie modelu
Co zrobić dalej
- Dodać do skryptów trenowania i ewaluacji narzędzie do śledzenia emisji, takie jak CodeCarbon, i umieścić energię obok dokładności w tabeli wyników.
- Wypróbować LoRA lub QLoRA przy kolejnym dostrajaniu i porównać z pełnym dostrajaniem.
- Przetestować 8-bitową i 4-bitową wersję wdrożonego modelu na zestawie ewaluacyjnym.
- Przeprowadzić benchmark stosu obsługi z włączonym batchingiem i zoptymalizowaną ścieżką mechanizmu uwagi.
- Opakować jedno cykliczne zadanie klastrowe w harmonogram uwzględniający emisyjność.
- Szkoleń szukać w katalogu kursów, a powiązanych prac w sekcjach badania i doktoraty.
Najczęściej zadawane pytania
Czy kwantyzacja obniża dokładność?
Czasami nieznacznie; w przypadku 8 bitów często w niezauważalnym stopniu. Skwantyzowany model należy zawsze przetestować na własnym zestawie ewaluacyjnym. Kwantyzacja może też zwiększyć opóźnienie, gdy obciążenie nie jest ograniczone przez pamięć.
Czym jest KV cache?
Gdy transformer generuje tekst, przechowuje macierze kluczy i wartości dla wcześniejszych tokenów, aby nie przeliczać ich na każdym kroku. Dobre zarządzanie tym buforem to jedno z największych źródeł efektywności przy obsłudze modeli.
Co pochłania więcej energii: trenowanie czy inferencja?
To zależy od tego, jak szeroko model jest używany. Trenowanie to duży koszt jednorazowy; inferencję opłaca się przy każdym zapytaniu, więc w przypadku popularnych modeli zwykle dominuje ona w całym cyklu życia modelu.
Czym jest łączenie modeli (model merging, souping)?
To uśrednianie wag kilku modeli dostrojonych z tego samego punktu wyjścia. Wynik działa jako jeden model, bez dodatkowego kosztu inferencji, i może przewyższać najlepszy pojedynczy model.
Źródła
- LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
- QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
- SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
- Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- Optimizing inference, Hugging Face Transformers documentation (2025)
- Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
- CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)
Powiązane
Jak mierzyć zużycie energii i emisje AI
Praktyczny przewodnik po pomiarze lub szacowaniu energii i emisji AI: narzędzia, granice systemu, wskaźniki na zadanie i uczciwa niepewność.
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.
Matematyka, która czyni AI bardziej efektywną
Przycinanie, rzadkość, szkicowanie, teoria macierzy losowych i modele oparte na fizyce: jak matematyka ogranicza obliczenia, pamięć i energię potrzebne AI.
Hosting zielonej AI i centra danych
Jak wybrać miejsce działania AI: emisyjność sieci, PUE i WUE, deklaracje o energii odnawialnej, zużycie wody i lokalizacja oraz pytania do dostawców.