W skrócie
Kwantyzacja zapisuje wagi modelu na mniejszej liczbie bitów, zwykle 8 lub 4 zamiast 16 lub 32, więc model potrzebuje mniej pamięci i często mniej energii na odpowiedź. Można pobrać gotową skwantyzowaną wersję lub skwantyzować model wbudowanymi metodami używanej biblioteki, a potem przetestować go na własnych przykładach w porównaniu z modelem o pełnej precyzji. Warto go zachować, jeśli jakość się utrzymuje, a energia na zapytanie spada.
Kroki
- Należy sprawdzić, czy istnieje już gotowa skwantyzowana wersja modelu.
- W przeciwnym razie należy skwantyzować model obsługiwaną metodą biblioteki, zaczynając od 8 bitów.
- Model skwantyzowany i oryginalny należy uruchomić na tym samym zestawie ewaluacyjnym.
- Jeśli jakość przy 8 bitach się utrzymuje, a potrzeba więcej oszczędności pamięci, warto spróbować 4 bitów.
- Przed zmianą należy zmierzyć energię i opóźnienie na zapytanie przy rzeczywistym rozmiarze partii (batch).
Kwantyzacja to często najszybszy sposób na zwiększenie efektywności modelu uruchamianego samodzielnie. Zmniejsza zapotrzebowanie na pamięć, więc model mieści się na mniejszej liczbie GPU lub na mniejszych GPU, i może obniżyć energię na odpowiedź.
Dlaczego to ma znaczenie?
Dokumentacja Hugging Face daje wyobrażenie o skali: model o 8 mld parametrów potrzebuje na wagi około 16 GB przy precyzji 16-bitowej, około 8 GB przy 8 bitach i około 4–5 GB przy 4 bitach. Dettmers i współpracownicy wykazali za pomocą LLM.int8(), że wnioskowanie 8-bitowe może o połowę zmniejszyć potrzebną pamięć przy zachowaniu wydajności pełnej precyzji, dla modeli do 175 mld parametrów. UNESCO i University College London podają, że kompresja, taka jak kwantyzacja, może zaoszczędzić do 44% energii.
Jak to zrobić?
- Pobrać skwantyzowaną wersję. Wiele otwartych modeli jest publikowanych w formatach skwantyzowanych. GGUF, używany przez llama.cpp, oferuje typy kwantyzacji od około 1,5 do 8 bitów na wagę.
- Kwantyzować przy wczytywaniu. Biblioteki takie jak Hugging Face Transformers obsługują ponad 20 metod kwantyzacji, z których kilka kwantyzuje wagi podczas wczytywania modelu.
- W razie potrzeby kalibrować. Niektóre metody wykorzystują małą próbkę danych, by wybrać sposób zaokrąglania, co zwykle lepiej zachowuje jakość przy 4 bitach.
Częste błędy
- Pomijanie testu jakości. Mniej bitów kosztuje nieco dokładności, a każda metoda inaczej równoważy pamięć, szybkość i dokładność. Należy testować na własnych przypadkach.
- Założenie, że zawsze jest szybciej. Hugging Face zauważa, że jeśli pamięć GPU nie jest ograniczeniem, kwantyzacja może nieznacznie zwiększyć opóźnienie z powodu dodatkowych kroków kwantyzacji i dekwantyzacji. Należy mierzyć energię, a nie tylko szybkość.
- Poprzestanie na kwantyzacji. Warto połączyć ją z mniejszym modelem lub destylacją.
Więcej na stronie efektywne trenowanie i wnioskowanie.
Źródła
- Quantization overview, Hugging Face Transformers documentation (2026)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- GGUF, Hugging Face Hub documentation (2026)
Powiązane
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.
Jak uruchomić model AI lokalnie?
Jak uruchomić otwarty model AI na własnym laptopie lub serwerze za pomocą Ollama lub llama.cpp, wybrać pasujący model skwantyzowany i zmierzyć jego energię.
Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?
Jak serwować własny model przy mniejszym zużyciu energii na zapytanie: wydajne środowiska, batching, połowiczna precyzja, kompilacja, cache i testy sprzętu.
Jak przyciąć (pruning) sieć neuronową?
Jak przyciąć wytrenowaną sieć neuronową, usuwając wagi o małym wkładzie, sprawdzić, ile dokładności zostaje, i czy sprzęt naprawdę oszczędza.