W skrócie
Przed modelami należy umieścić router: regułę, mały klasyfikator lub kaskadę, która najpierw próbuje małego modelu i przekazuje zadanie dalej, gdy pewność jest niska lub test nie przejdzie. Opublikowane routery w niektórych testach zmniejszyły koszty o ponad połowę bez obniżenia jakości. Próg należy dostroić na własnych danych i mierzyć koszt na udane zadanie, a nie na wywołanie.
Kroki
- Należy zbudować zestaw ewaluacyjny z prawdziwych zapytań z kryterium zaliczenia dla każdego.
- Należy zmierzyć, jak często mały model samodzielnie spełnia kryterium.
- Należy wybrać rodzaj routera, np. reguły, klasyfikator trudności lub kaskadę z testem.
- Próg przekazania do większego modelu należy dostroić na zestawie ewaluacyjnym.
- Należy śledzić koszt i energię na udane zadanie, łącznie z przekazaniami i ponownymi próbami.
- Gdy którykolwiek model się zmieni, należy ponownie dostroić router.
Routing daje większość jakości dużego modelu przy koszcie zbliżonym do kosztu małego. Idea jest prosta: każde zapytanie należy wysłać do najtańszego modelu, który prawdopodobnie dobrze sobie z nim poradzi.
Jaki rodzaj routera wybrać?
- Reguły. Kierowanie według typu zapytania, długości lub kanału. Łatwe do zrozumienia i często wystarczające.
- Klasyfikator trudności. Mały model przewiduje, jak trudne jest zapytanie. Praca Hybrid LLM Dinga i współpracowników w ten sposób kieruje zapytania między małym a dużym modelem, równoważąc koszt i jakość.
- Kaskada. Najpierw mały model. Jeśli test nie przejdzie lub pewność jest niska, zadanie trafia do większego. FrugalGPT autorstwa Chena, Zaharii i Zou badał takie kaskady pod kątem obniżania kosztów.
- Router uczony. Trenowany na danych o tym, który model dobrze poradził sobie z jakim zapytaniem. Badanie RouteLLM wykazało w niektórych przypadkach obniżenie kosztów o ponad połowę bez pogorszenia jakości odpowiedzi.
Częste błędy
- Pomiar na wywołanie. Nieudana próba małego modelu plus ponowienie na dużym może kosztować więcej niż od razu użycie dużego. Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) poświęcony zielonej AI w 2026 roku, z udziałem matematyków, informatyków i przemysłu, wskazał to jako realne ryzyko w systemach agentowych. Należy mierzyć na udane zadanie.
- Przerzucanie wyboru na użytkowników. Routing powinien być częścią systemu, a nie listy rozwijanej, którą większość osób ignoruje.
- Ustawienie i zapomnienie. Należy rejestrować odsetek przekazań i wracać do ustawień, gdy modele się zmieniają.
Co daje największą różnicę?
Dobry zestaw ewaluacyjny. Bez prawdziwych przykładów i kryterium zaliczenia nie da się dostroić progu ani udowodnić oszczędności. Jak go zbudować, opisuje strona wybór właściwego modelu.
Źródła
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
Powiązane
Wybór właściwego modelu do zadania
Jak dobrać AI do zadania: kiedy wystarczy mały lub wyspecjalizowany model, kiedy duży model jest wart kosztów, jak działa routing i kiedy obejść się bez AI.
Orkiestracja zamiast generowania
Dlaczego ponowne użycie sprawdzonych komponentów i routing zapytań do najmniejszego wystarczającego modelu może obniżyć zużycie energii przez AI.
Jak wybrać mniejszy model AI?
Jak wybrać najmniejszy model AI, który dobrze wykonuje zadanie: ustalić próg jakości, testować od małych do dużych, sprawdzić oceny energii, mieć duży model w rezerwie.
Jak sprawić, by agenci AI nie marnowali tokenów?
Praktyczne zabezpieczenia dla agentów AI: warunki zakończenia, limity kroków i tokenów, wykrywanie pętli, przycinanie kontekstu i małe modele do prostych kroków.