W skrócie
Należy zacząć od wytrenowanego wcześniej modelu i trenować mały adapter zamiast wszystkich wag, korzystając z LoRA lub z QLoRA z wagami 4-bitowymi. LoRA zmniejszyła liczbę trenowanych parametrów 10 000 razy, a pamięć GPU trzy razy w porównaniu z pełnym dostrajaniem GPT-3, a QLoRA pozwoliła dostroić model o 65 mld parametrów na jednym GPU 48 GB. Zanim rozważy się coś większego, należy porównać wynik z wymaganym poziomem jakości.
Kroki
- Przed dostrajaniem należy sprawdzić, czy odpowiedni prompt lub wyszukiwanie (retrieval) nie wystarczą.
- Warto wybrać najmniejszy wytrenowany model, który jest bliski celu w danym zadaniu.
- Należy dostroić adapter LoRA, a przy ograniczonej pamięci QLoRA.
- Warto użyć małego, czystego zbioru danych dla konkretnego zadania i przerwać trening, gdy wynik walidacji przestaje się poprawiać.
- Energię należy śledzić narzędziem do pomiaru emisji i zapisywać ją razem z wynikami.
Lepiej dostosować małą część wytrenowanego modelu, niż trenować go od nowa w całości. Dostrajanie efektywne parametrycznie daje większość korzyści pełnego dostrajania przy niewielkim ułamku obliczeń.
Dlaczego to ma znaczenie?
Pełne dostrajanie aktualizuje każdą wagę, co wymaga dużych klastrów GPU i długich przebiegów. Hu i współpracownicy wykazali, że LoRA (adaptacja niskiego rzędu), która trenuje małe dodatkowe macierze obok zamrożonych wag, może zmniejszyć liczbę trenowanych parametrów 10 000 razy, a pamięć GPU trzy razy w porównaniu z dostrajaniem GPT-3 175B. QLoRA Dettmersa i współpracowników łączy to z wagami 4-bitowymi i pozwoliła dostroić model o 65 mld parametrów na jednym GPU 48 GB.
Jak to zrobić?
- Należy zakwestionować potrzebę. Dostrajanie uczy umiejętności i stylu. To słaby sposób na dodawanie faktów, które się zmieniają. Zobacz wyszukiwanie czy dostrajanie.
- Warto zacząć od małego modelu. Mały model dostrojony do zadania może w tym zadaniu dorównać znacznie większemu modelowi ogólnemu.
- Należy użyć biblioteki adapterów. Popularne biblioteki open source obsługują LoRA i QLoRA za pomocą kilku linii konfiguracji.
- Dane powinny być zwięzłe. Mniej, ale czystszych przykładów trenuje się szybciej. Należy usunąć duplikaty.
- Należy mierzyć. Przebieg można objąć narzędziem takim jak CodeCarbon i zapisywać energię obok dokładności.
Częste błędy
- Dostrajanie największego dostępnego modelu przed przetestowaniem mniejszego.
- Długie przebiegi bez wczesnego zatrzymania, które zużywają zasoby, gdy jakość już się ustabilizowała.
- Ponowne trenowanie przy każdej aktualizacji danych zamiast aktualizacji indeksu wyszukiwania.
Więcej technik trenowania opisuje strona efektywne trenowanie i wnioskowanie.
Źródła
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
Powiązane
Jak uniknąć trenowania modelu od zera?
Jak wykorzystać istniejące modele zamiast trenować własny: dostrajanie, adaptacja metodą LoRA, łączenie dostrojonych modeli lub wyszukiwanie wiedzy.
Jak wybrać między wyszukiwaniem (RAG) a dostrajaniem, aby oszczędzać energię?
Kiedy stosować wyszukiwanie (RAG), a kiedy dostrajanie: wyszukiwanie dla zmiennych faktów, dostrajanie dla umiejętności i stylu. I dlaczego pomyłka marnuje energię.
Jak zmierzyć ślad węglowy trenowania modelu?
Należy śledzić energię trenowania narzędziem takim jak CodeCarbon, pomnożyć ją przez emisyjność lokalnej sieci i podać sprzęt, czas oraz lokalizację.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.