# Jak przeprowadzić destylację dużego modelu do mniejszego?

> Jak działa destylacja wiedzy: duży model-nauczyciel trenuje mały model-ucznia do danego zadania, a duży model zostaje jako rozwiązanie zapasowe.

Source: https://greenai.guide/pl/jak/jak-przeprowadzic-destylacje-duzego-modelu-do-mniejszego/  
Updated: 2026-11-19

## W skrócie

Najpierw należy sprawdzić, czy istnieje już destylowana wersja danego modelu. Jeśli nie, można użyć dużego modelu „nauczyciela” do etykietowania lub generowania przykładów dla danego zadania, wytrenować na nich mały model „ucznia” i przetestować go na własnych, rzeczywistych przypadkach. DistilBERT, jeden z wczesnych przykładów, był o 40% mniejszy i o 60% szybszy niż BERT, a zachował 97% jego zdolności rozumienia języka.

## Steps

1. Poszukać istniejącej destylowanej lub mniejszej wersji modelu do danego zadania.
2. Zebrać zestaw rzeczywistych danych wejściowych z danego zadania.
3. Użyć dużego modelu do wygenerowania dla nich etykiet lub wyników i ręcznie sprawdzić próbkę.
4. Wytrenować na tych danych mały model-ucznia.
5. Przetestować ucznia względem wymaganego poziomu jakości i kierować niepewne przypadki do dużego modelu.

**Destylacja przenosi to, co duży model wie o danym zadaniu, do małego modelu, który jest tani w działaniu.**
Za trenowanie ucznia płaci się raz, a oszczędza przy każdym zapytaniu.

## Dlaczego to ważne? {#why-does-it-matter}

Duży model ogólny wdrożony do jednego wąskiego zadania, takiego jak klasyfikowanie zgłoszeń czy wyodrębnianie pól,
płaci za wiedzę, z której zadanie nigdy nie korzysta. Luccioni, Jernite i Strubell ustalili, że systemy dedykowane
zadaniom są o rzędy wielkości tańsze w działaniu niż wielozadaniowe modele generatywne wykonujące te same zadania.
Green Software Foundation wymienia destylację wśród swoich wzorców dla odpowiednio dobranych, energooszczędnych
modeli AI.

## Jak to działa? {#how-does-it-work}

**Nauczyciel** to duży model, a **uczeń** to mały. W klasycznej metodzie uczeń uczy się odtwarzać
prawdopodobieństwa wyjściowe nauczyciela, a nie tylko jego końcowe odpowiedzi, co niesie więcej informacji na
przykład. Sanh i współpracownicy wykorzystali to w DistilBERT, uzyskując model o 40% mniejszy i o 60% szybszy niż
BERT, który zachował 97% jego zdolności rozumienia języka.

W przypadku modeli generatywnych popularna praktyczna droga jest prostsza: nauczyciel generuje odpowiedzi dla
rzeczywistych danych wejściowych, sprawdza się próbkę, a następnie dostraja na nich mały model.

## Częste błędy {#common-mistakes}

- **Destylowanie, gdy mały model już istnieje.** Najpierw należy poszukać: zob.
  [jak znaleźć model dedykowany zadaniu](/pl/jak/jak-znalezc-model-dedykowany-zadaniu-zamiast-ogolnego-chatbota/).
- **Ślepe zaufanie do wyników nauczyciela.** Błędy nauczyciela stają się błędami ucznia.
- **Brak rozwiązania zapasowego.** Duży model warto zachować dla przypadków, co do których uczeń nie jest pewny,
  korzystając z [routingu między modelami](/pl/jak/jak-kierowac-zapytania-do-mniejszych-modeli/).
- **Pomijanie licencji.** Warunki niektórych modeli ograniczają wykorzystywanie ich wyników do trenowania innych
  modeli.

Więcej w części [wydajne trenowanie i inferencja](/pl/dobre-praktyki/efektywne-trenowanie-i-inferencja-ai/).

## Źródła

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
