# Jak kierować zapytania do mniejszych modeli?

> Jak kierować rutynowe zapytania do małego modelu, a tylko trudne do dużego, i jak dostroić router, by ponowne próby nie zjadły oszczędności.

Source: https://greenai.guide/pl/jak/jak-kierowac-zapytania-do-mniejszych-modeli/  
Updated: 2026-11-19

## W skrócie

Przed modelami należy umieścić router: regułę, mały klasyfikator lub kaskadę, która najpierw próbuje małego modelu i przekazuje zadanie dalej, gdy pewność jest niska lub test nie przejdzie. Opublikowane routery w niektórych testach zmniejszyły koszty o ponad połowę bez obniżenia jakości. Próg należy dostroić na własnych danych i mierzyć koszt na udane zadanie, a nie na wywołanie.

## Steps

1. Należy zbudować zestaw ewaluacyjny z prawdziwych zapytań z kryterium zaliczenia dla każdego.
2. Należy zmierzyć, jak często mały model samodzielnie spełnia kryterium.
3. Należy wybrać rodzaj routera, np. reguły, klasyfikator trudności lub kaskadę z testem.
4. Próg przekazania do większego modelu należy dostroić na zestawie ewaluacyjnym.
5. Należy śledzić koszt i energię na udane zadanie, łącznie z przekazaniami i ponownymi próbami.
6. Gdy którykolwiek model się zmieni, należy ponownie dostroić router.

**Routing daje większość jakości dużego modelu przy koszcie zbliżonym do kosztu małego.** Idea jest prosta: każde
zapytanie należy wysłać do najtańszego modelu, który prawdopodobnie dobrze sobie z nim poradzi.

## Jaki rodzaj routera wybrać? {#which-design-should-i-use}

- **Reguły.** Kierowanie według typu zapytania, długości lub kanału. Łatwe do zrozumienia i często wystarczające.
- **Klasyfikator trudności.** Mały model przewiduje, jak trudne jest zapytanie. Praca Hybrid LLM Dinga
  i współpracowników w ten sposób kieruje zapytania między małym a dużym modelem, równoważąc koszt i jakość.
- **Kaskada.** Najpierw mały model. Jeśli test nie przejdzie lub pewność jest niska, zadanie trafia do większego.
  FrugalGPT autorstwa Chena, Zaharii i Zou badał takie kaskady pod kątem obniżania kosztów.
- **Router uczony.** Trenowany na danych o tym, który model dobrze poradził sobie z jakim zapytaniem. Badanie
  RouteLLM wykazało w niektórych przypadkach obniżenie kosztów o ponad połowę bez pogorszenia jakości odpowiedzi.

## Częste błędy {#common-mistakes}

- **Pomiar na wywołanie.** Nieudana próba małego modelu plus ponowienie na dużym może kosztować więcej niż od razu
  użycie dużego. Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie
  wypracowują pomysły na projekty) poświęcony zielonej AI w 2026 roku, z udziałem matematyków, informatyków
  i przemysłu, wskazał to jako realne ryzyko w systemach agentowych. Należy mierzyć na udane zadanie.
- **Przerzucanie wyboru na użytkowników.** Routing powinien być częścią systemu, a nie listy rozwijanej, którą
  większość osób ignoruje.
- **Ustawienie i zapomnienie.** Należy rejestrować odsetek przekazań i wracać do ustawień, gdy modele się zmieniają.

## Co daje największą różnicę? {#what-makes-the-biggest-difference}

**Dobry zestaw ewaluacyjny.** Bez prawdziwych przykładów i kryterium zaliczenia nie da się dostroić progu ani
udowodnić oszczędności. Jak go zbudować, opisuje strona [wybór właściwego modelu](/pl/dobre-praktyki/wybor-wlasciwego-modelu-do-zadania/).

## Źródła

- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
