W skrócie
Należy połączyć duży model z małym modelem szkicującym z tej samej rodziny: model szkicujący proponuje kilka tokenów, a duży model sprawdza je w jednym przebiegu i zachowuje tylko te, z którymi się zgadza. Wynik jest taki sam jak w przypadku samego dużego modelu, a pierwotne badanie wykazało 2–3-krotnie szybsze wnioskowanie. Warto sprawdzić, czy używany stos serwujący obsługuje tę technikę, a potem mierzyć energię na zapytanie, a nie tylko szybkość.
Kroki
- Sprawdzić, czy używana biblioteka do wnioskowania lub silnik serwujący obsługuje dekodowanie spekulatywne lub wspomagane (assisted decoding).
- Wybrać mały model szkicujący, który ma ten sam tokenizer co duży model.
- Włączyć tę funkcję i potwierdzić, że wyniki są zgodne przy własnym obciążeniu.
- Zmierzyć energię na zapytanie i opóźnienie przy rzeczywistych rozmiarach partii (batch).
- Zachować rozwiązanie tylko wtedy, gdy spada energia na zapytanie, a nie samo opóźnienie.
Mały model zgaduje, duży sprawdza. Duże modele generują po jednym tokenie naraz, zajmując potężny sprzęt przy każdym słowie; dekodowanie spekulatywne pozwala im zatwierdzać kilka tokenów jednocześnie.
Jak to działa?
Mały model szkicujący (draft model) szybko proponuje kilka kolejnych tokenów. Duży model docelowy (target model) sprawdza je wszystkie w jednym przebiegu w przód i przyjmuje te, które sam by wygenerował. Tam, gdzie się nie zgadza, wstawia własny token i szkicowanie zaczyna się od nowa. Leviathan, Kalman i Matias wykazali 2–3-krotne przyspieszenie modelu T5-XXL przy identycznych wynikach. Dokumentacja Hugging Face zaznacza, że dokładność się nie pogarsza, bo przebieg weryfikacyjny gwarantuje generowanie tych samych wyników.
Odmiany tej techniki obejmują prompt lookup decoding, które tworzy szkice z tekstu obecnego już w prompcie. Sprawdza się ono w zadaniach takich jak redagowanie czy streszczanie, w których odpowiedź powtarza dane wejściowe.
Czy szybciej znaczy bardziej ekologicznie?
Nie automatycznie. Działają teraz dwa modele, a duży wykonuje dodatkową pracę sprawdzającą. To, czy energia na zapytanie spadnie, zależy od tego, jak często szkice są przyjmowane, od rozmiaru partii i od sprzętu. Badacze GreenCode ustalili na llama.cpp, że energia i szybkość mogą mówić co innego: jedna zmiana oszczędziła 4,7% energii GPU przy wzroście szybkości o zaledwie 3%. Energię należy mierzyć bezpośrednio.
Częste błędy
- Zbyt duży model szkicujący, który spowalnia całość.
- Niezgodne tokenizery modelu szkicującego i docelowego.
- Testowanie przy innym obciążeniu niż produkcyjne; odsetek przyjętych szkiców zależy od zadania.
Inne techniki serwowania opisują strony jak zmniejszyć energię serwowania modelu oraz wydajne trenowanie i wnioskowanie.
Źródła
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Powiązane
Jak zmniejszyć zużycie energii przy serwowaniu modelu w produkcji?
Jak serwować własny model przy mniejszym zużyciu energii na zapytanie: wydajne środowiska, batching, połowiczna precyzja, kompilacja, cache i testy sprzętu.
Jak grupować zapytania do AI w partie, aby oszczędzać energię?
Jak grupowanie zapytań zwiększa wykorzystanie akceleratora i zmniejsza energię na odpowiedź: ciągłe partie dla ruchu na żywo i kolejki dla pracy offline.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.
Matematyka, która czyni AI bardziej efektywną
Przycinanie, rzadkość, szkicowanie, teoria macierzy losowych i modele oparte na fizyce: jak matematyka ogranicza obliczenia, pamięć i energię potrzebne AI.