greenai.guide

Strona główna › Jak…? › Jak wybrać między wyszukiwaniem (RAG) a dostrajaniem, aby oszczędzać energię?

Jak…?

Jak wybrać między wyszukiwaniem (RAG) a dostrajaniem, aby oszczędzać energię?

Aktualizacja · Czas czytania: 1 min

W skrócie

Wyszukiwanie należy stosować, gdy model potrzebuje faktów, które się zmieniają lub dotyczą konkretnej organizacji: umieszcza się je w przeszukiwalnym indeksie i pobiera tylko istotne fragmenty. Dostrajanie należy stosować, gdy model potrzebuje umiejętności, formatu lub stylu, którego mu brakuje. Ponowne trenowanie w celu aktualizacji faktów powtarza koszty trenowania, a wklejanie całych dokumentów do każdego promptu marnuje energię na wnioskowanie. Każde podejście ma więc swoje miejsce.

Kroki

  1. Wypisać, czego brakuje modelowi: faktów, umiejętności, formatu czy tonu.
  2. Umieścić zmienne lub poufne fakty w przeszukiwalnym indeksie i pobierać tylko istotne fragmenty.
  3. Dostrajać mały adapter wyłącznie dla umiejętności, formatów lub stylów, których nie da się uzyskać samym promptem.
  4. Aktualizować indeks, gdy treść się zmienia, przetwarzając tylko to, co się zmieniło.
  5. Przed decyzją zmierzyć liczbę tokenów na zapytanie i jakość dla każdej opcji.

Fakty należy wyszukiwać, umiejętności dostrajać. Zły wybór oznacza płacenie w kółko: albo za ponowne trenowanie, albo za zbyt duże prompty.

Na czym polega różnica?

  • Generowanie wspomagane wyszukiwaniem (RAG) wyszukuje istotne fragmenty we własnych treściach i przekazuje je modelowi razem z pytaniem. Lewis i współpracownicy przedstawili to podejście w 2020 roku dla zadań wymagających dużej wiedzy. Wagi modelu się nie zmieniają, więc aktualizacja wiedzy oznacza aktualizację indeksu.
  • Dostrajanie (fine-tuning) zmienia wagi modelu albo mały adapter, na przykład LoRA, tak aby model nauczył się określonego zachowania: formatu, schematu klasyfikacji, stylu organizacji.

Co zużywa mniej energii?

To zależy od tego, jak często coś się zmienia i ile tekstu niesie każde zapytanie.

Sytuacja Zwykle lepsze
Fakty zmieniają się co tydzień lub co miesiąc Wyszukiwanie
Poufne dokumenty, zasady, dane o produktach Wyszukiwanie
Stały format wyników lub schemat etykietowania Dostrojenie małego modelu
Bardzo duża liczba zapytań, wąskie zadanie Dostrajanie, aby prompty mogły być krótkie

GreenCode, projekt badawczy ITEA, opisuje stosowanie wyszukiwania tak, aby jego własna AI czytała tylko potrzebne dane i przetwarzała tylko to, co zmieniło się między uruchomieniami.

Częste błędy

  • Ponowne trenowanie w celu dodania faktów. Każda aktualizacja powtarza koszt trenowania.
  • RAG w stylu „wrzuć wszystko do promptu”. Pobieranie dwudziestu długich fragmentów, gdy wystarczyłyby dwa, zwielokrotnia liczbę tokenów wejściowych. Zob. jak zwiększyć wydajność wyszukiwania wektorowego i RAG.
  • Dostrajanie dużego modelu, gdy wystarczyłby mały dostrojony model.

Ogólną zasadę opisuje artykuł orkiestracja zamiast generowania.

Źródła

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność