W skrócie
Wyszukiwanie należy stosować, gdy model potrzebuje faktów, które się zmieniają lub dotyczą konkretnej organizacji: umieszcza się je w przeszukiwalnym indeksie i pobiera tylko istotne fragmenty. Dostrajanie należy stosować, gdy model potrzebuje umiejętności, formatu lub stylu, którego mu brakuje. Ponowne trenowanie w celu aktualizacji faktów powtarza koszty trenowania, a wklejanie całych dokumentów do każdego promptu marnuje energię na wnioskowanie. Każde podejście ma więc swoje miejsce.
Kroki
- Wypisać, czego brakuje modelowi: faktów, umiejętności, formatu czy tonu.
- Umieścić zmienne lub poufne fakty w przeszukiwalnym indeksie i pobierać tylko istotne fragmenty.
- Dostrajać mały adapter wyłącznie dla umiejętności, formatów lub stylów, których nie da się uzyskać samym promptem.
- Aktualizować indeks, gdy treść się zmienia, przetwarzając tylko to, co się zmieniło.
- Przed decyzją zmierzyć liczbę tokenów na zapytanie i jakość dla każdej opcji.
Fakty należy wyszukiwać, umiejętności dostrajać. Zły wybór oznacza płacenie w kółko: albo za ponowne trenowanie, albo za zbyt duże prompty.
Na czym polega różnica?
- Generowanie wspomagane wyszukiwaniem (RAG) wyszukuje istotne fragmenty we własnych treściach i przekazuje je modelowi razem z pytaniem. Lewis i współpracownicy przedstawili to podejście w 2020 roku dla zadań wymagających dużej wiedzy. Wagi modelu się nie zmieniają, więc aktualizacja wiedzy oznacza aktualizację indeksu.
- Dostrajanie (fine-tuning) zmienia wagi modelu albo mały adapter, na przykład LoRA, tak aby model nauczył się określonego zachowania: formatu, schematu klasyfikacji, stylu organizacji.
Co zużywa mniej energii?
To zależy od tego, jak często coś się zmienia i ile tekstu niesie każde zapytanie.
| Sytuacja | Zwykle lepsze |
|---|---|
| Fakty zmieniają się co tydzień lub co miesiąc | Wyszukiwanie |
| Poufne dokumenty, zasady, dane o produktach | Wyszukiwanie |
| Stały format wyników lub schemat etykietowania | Dostrojenie małego modelu |
| Bardzo duża liczba zapytań, wąskie zadanie | Dostrajanie, aby prompty mogły być krótkie |
GreenCode, projekt badawczy ITEA, opisuje stosowanie wyszukiwania tak, aby jego własna AI czytała tylko potrzebne dane i przetwarzała tylko to, co zmieniło się między uruchomieniami.
Częste błędy
- Ponowne trenowanie w celu dodania faktów. Każda aktualizacja powtarza koszt trenowania.
- RAG w stylu „wrzuć wszystko do promptu”. Pobieranie dwudziestu długich fragmentów, gdy wystarczyłyby dwa, zwielokrotnia liczbę tokenów wejściowych. Zob. jak zwiększyć wydajność wyszukiwania wektorowego i RAG.
- Dostrajanie dużego modelu, gdy wystarczyłby mały dostrojony model.
Ogólną zasadę opisuje artykuł orkiestracja zamiast generowania.
Źródła
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green AI and energy-aware computing, GreenCode (2026)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
Powiązane
Jak zwiększyć efektywność wyszukiwania wektorowego i RAG?
Jak ograniczyć obliczenia w generowaniu wspomaganym wyszukiwaniem: indeksy przybliżone, mniej i krótsze fragmenty, indeksowanie przyrostowe i mniejsze modele.
Jak dostroić model bez ogromnej mocy obliczeniowej?
Jak dostosować wytrenowany model metodami dostrajania efektywnego parametrycznie, takimi jak LoRA i QLoRA, by zmieścił się na jednym GPU i zużył znacznie mniej energii.
Orkiestracja zamiast generowania
Dlaczego ponowne użycie sprawdzonych komponentów i routing zapytań do najmniejszego wystarczającego modelu może obniżyć zużycie energii przez AI.
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.