W skrócie
Najpierw należy sprawdzić, czy istnieje już destylowana wersja danego modelu. Jeśli nie, można użyć dużego modelu „nauczyciela” do etykietowania lub generowania przykładów dla danego zadania, wytrenować na nich mały model „ucznia” i przetestować go na własnych, rzeczywistych przypadkach. DistilBERT, jeden z wczesnych przykładów, był o 40% mniejszy i o 60% szybszy niż BERT, a zachował 97% jego zdolności rozumienia języka.
Kroki
- Poszukać istniejącej destylowanej lub mniejszej wersji modelu do danego zadania.
- Zebrać zestaw rzeczywistych danych wejściowych z danego zadania.
- Użyć dużego modelu do wygenerowania dla nich etykiet lub wyników i ręcznie sprawdzić próbkę.
- Wytrenować na tych danych mały model-ucznia.
- Przetestować ucznia względem wymaganego poziomu jakości i kierować niepewne przypadki do dużego modelu.
Destylacja przenosi to, co duży model wie o danym zadaniu, do małego modelu, który jest tani w działaniu. Za trenowanie ucznia płaci się raz, a oszczędza przy każdym zapytaniu.
Dlaczego to ważne?
Duży model ogólny wdrożony do jednego wąskiego zadania, takiego jak klasyfikowanie zgłoszeń czy wyodrębnianie pól, płaci za wiedzę, z której zadanie nigdy nie korzysta. Luccioni, Jernite i Strubell ustalili, że systemy dedykowane zadaniom są o rzędy wielkości tańsze w działaniu niż wielozadaniowe modele generatywne wykonujące te same zadania. Green Software Foundation wymienia destylację wśród swoich wzorców dla odpowiednio dobranych, energooszczędnych modeli AI.
Jak to działa?
Nauczyciel to duży model, a uczeń to mały. W klasycznej metodzie uczeń uczy się odtwarzać prawdopodobieństwa wyjściowe nauczyciela, a nie tylko jego końcowe odpowiedzi, co niesie więcej informacji na przykład. Sanh i współpracownicy wykorzystali to w DistilBERT, uzyskując model o 40% mniejszy i o 60% szybszy niż BERT, który zachował 97% jego zdolności rozumienia języka.
W przypadku modeli generatywnych popularna praktyczna droga jest prostsza: nauczyciel generuje odpowiedzi dla rzeczywistych danych wejściowych, sprawdza się próbkę, a następnie dostraja na nich mały model.
Częste błędy
- Destylowanie, gdy mały model już istnieje. Najpierw należy poszukać: zob. jak znaleźć model dedykowany zadaniu.
- Ślepe zaufanie do wyników nauczyciela. Błędy nauczyciela stają się błędami ucznia.
- Brak rozwiązania zapasowego. Duży model warto zachować dla przypadków, co do których uczeń nie jest pewny, korzystając z routingu między modelami.
- Pomijanie licencji. Warunki niektórych modeli ograniczają wykorzystywanie ich wyników do trenowania innych modeli.
Więcej w części wydajne trenowanie i inferencja.
Źródła
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
Powiązane
Jak znaleźć model dedykowany zadaniu zamiast ogólnego chatbota?
Jak znaleźć mały model stworzony do jednego zadania, np. klasyfikacji, ekstrakcji lub tłumaczenia, i sprawdzić, czy dorównuje chatbotowi przy mniejszej energii.
Jak kierować zapytania do mniejszych modeli?
Jak kierować rutynowe zapytania do małego modelu, a tylko trudne do dużego, i jak dostroić router, by ponowne próby nie zjadły oszczędności.
Jak przyciąć (pruning) sieć neuronową?
Jak przyciąć wytrenowaną sieć neuronową, usuwając wagi o małym wkładzie, sprawdzić, ile dokładności zostaje, i czy sprzęt naprawdę oszczędza.
Efektywne trenowanie i inferencja AI
Techniki ograniczania zużycia energii przez AI dla programistów i badaczy: przycinanie, rzadkość, kwantyzacja, destylacja, KV cache, batching i harmonogramy.