W skrócie
Zamiast porównywać każde zapytanie z każdym zapisanym wektorem, należy użyć indeksu przybliżonego wyszukiwania najbliższych sąsiadów, pobierać kilka krótkich, trafnych fragmentów zamiast wielu długich i ponownie tworzyć embeddingi tylko dla treści, które się zmieniły. Potem warto użyć najmniejszego modelu generującego, który dobrze odpowiada na podstawie dobrego kontekstu. Większość marnotrawstwa w systemach wyszukiwania wynika z wyszukiwania siłowego i zbyt dużych promptów.
Kroki
- Siłowe porównywanie wektorów należy zastąpić indeksem przybliżonego wyszukiwania najbliższych sąsiadów.
- Dokumenty warto dzielić na krótkie fragmenty i pobierać tylko kilka najlepszych.
- Embeddingi należy tworzyć ponownie tylko dla nowych lub zmienionych treści, zamiast przebudowywać cały indeks.
- Należy rejestrować tokeny wejściowe na odpowiedź i przycinać kontekst, który nie poprawia jakości.
- Gdy jakość wyszukiwania jest dobra, warto przetestować mniejszy model generujący.
Wyszukiwanie powinno sprawiać, że model czyta mniej, a nie więcej. Dobrze zbudowany system generowania wspomaganego wyszukiwaniem (RAG) szybko znajduje kilka trafnych fragmentów i przekazuje modelowi tylko je.
Gdzie RAG marnuje energię?
- Wyszukiwanie siłowe. Koszt porównywania zapytania z każdym zapisanym embeddingiem po kolei rośnie wraz z rozmiarem zbioru. Green Software Foundation zaleca zamiast tego indeks przybliżonego wyszukiwania najbliższych sąsiadów.
- Zbyt duży kontekst. Pobieranie dwudziestu długich fragmentów „na wszelki wypadek” mnoży tokeny wejściowe. Epoch AI szacuje, że typowe zapytanie, zużywające około 0,3 Wh, przy wejściu o długości 10 000 tokenów zużywa około 2,5 Wh.
- Przebudowywanie wszystkiego. Ponowne tworzenie embeddingów dla całego zbioru dokumentów co noc, gdy zmieniło się tylko kilka z nich.
Co daje największą różnicę?
Lepsze wyszukiwanie, dzięki któremu model potrzebuje mniej kontekstu. Dobry podział na fragmenty, etap ponownego rankingu i filtry metadanych (data, dział, produkt) sprawiają, że trzy krótkie fragmenty mogą zastąpić piętnaście długich. Gdy kontekst jest dobry, mniejszy model generujący często odpowiada równie dobrze. Zobacz jak wybrać mniejszy model AI.
Częste błędy
- Używanie dużego modelu embeddingów tam, gdzie mały równie dobrze wyszukuje w danych. Należy przetestować oba.
- Brak zestawu ewaluacyjnego. Jakość wyszukiwania (czy wrócił właściwy fragment?) należy mierzyć oddzielnie od jakości odpowiedzi.
- Brak jakiegokolwiek cache’owania. Na popularne pytania można ponownie wykorzystywać odpowiedzi. Zobacz jak korzystać z cache’owania.
Szerszą ideę ponownego wykorzystania zamiast generowania od nowa opisuje artykuł orkiestracja zamiast generowania.
Źródła
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
Powiązane
Jak wybrać między wyszukiwaniem (RAG) a dostrajaniem, aby oszczędzać energię?
Kiedy stosować wyszukiwanie (RAG), a kiedy dostrajanie: wyszukiwanie dla zmiennych faktów, dostrajanie dla umiejętności i stylu. I dlaczego pomyłka marnuje energię.
Jak sprawić, by chatbot nie wysyłał ponownie całej rozmowy?
Jak utrzymać mały kontekst chatbota: ograniczyć liczbę dawnych wymian, streszczać starsze wiadomości, wyszukiwać to, co istotne, i buforować stałe prompty.
Orkiestracja zamiast generowania
Dlaczego ponowne użycie sprawdzonych komponentów i routing zapytań do najmniejszego wystarczającego modelu może obniżyć zużycie energii przez AI.
Jak przechowywać dane treningowe AI, aby potoki danych mniej czytały?
Jak formaty kolumnowe i binarne, partycjonowanie i jednorazowe przetwarzanie wstępne zmniejszają energię, którą potoki AI zużywają na czytanie danych.