greenai.guide

Strona główna › Jak…? › Jak kierować zapytania do mniejszych modeli?

Jak…?

Jak kierować zapytania do mniejszych modeli?

Aktualizacja · Czas czytania: 1 min

W skrócie

Przed modelami należy umieścić router: regułę, mały klasyfikator lub kaskadę, która najpierw próbuje małego modelu i przekazuje zadanie dalej, gdy pewność jest niska lub test nie przejdzie. Opublikowane routery w niektórych testach zmniejszyły koszty o ponad połowę bez obniżenia jakości. Próg należy dostroić na własnych danych i mierzyć koszt na udane zadanie, a nie na wywołanie.

Kroki

  1. Należy zbudować zestaw ewaluacyjny z prawdziwych zapytań z kryterium zaliczenia dla każdego.
  2. Należy zmierzyć, jak często mały model samodzielnie spełnia kryterium.
  3. Należy wybrać rodzaj routera, np. reguły, klasyfikator trudności lub kaskadę z testem.
  4. Próg przekazania do większego modelu należy dostroić na zestawie ewaluacyjnym.
  5. Należy śledzić koszt i energię na udane zadanie, łącznie z przekazaniami i ponownymi próbami.
  6. Gdy którykolwiek model się zmieni, należy ponownie dostroić router.

Routing daje większość jakości dużego modelu przy koszcie zbliżonym do kosztu małego. Idea jest prosta: każde zapytanie należy wysłać do najtańszego modelu, który prawdopodobnie dobrze sobie z nim poradzi.

Jaki rodzaj routera wybrać?

  • Reguły. Kierowanie według typu zapytania, długości lub kanału. Łatwe do zrozumienia i często wystarczające.
  • Klasyfikator trudności. Mały model przewiduje, jak trudne jest zapytanie. Praca Hybrid LLM Dinga i współpracowników w ten sposób kieruje zapytania między małym a dużym modelem, równoważąc koszt i jakość.
  • Kaskada. Najpierw mały model. Jeśli test nie przejdzie lub pewność jest niska, zadanie trafia do większego. FrugalGPT autorstwa Chena, Zaharii i Zou badał takie kaskady pod kątem obniżania kosztów.
  • Router uczony. Trenowany na danych o tym, który model dobrze poradził sobie z jakim zapytaniem. Badanie RouteLLM wykazało w niektórych przypadkach obniżenie kosztów o ponad połowę bez pogorszenia jakości odpowiedzi.

Częste błędy

  • Pomiar na wywołanie. Nieudana próba małego modelu plus ponowienie na dużym może kosztować więcej niż od razu użycie dużego. Brytyjski sandpit (intensywne warsztaty badawcze, na których naukowcy i przemysł wspólnie wypracowują pomysły na projekty) poświęcony zielonej AI w 2026 roku, z udziałem matematyków, informatyków i przemysłu, wskazał to jako realne ryzyko w systemach agentowych. Należy mierzyć na udane zadanie.
  • Przerzucanie wyboru na użytkowników. Routing powinien być częścią systemu, a nie listy rozwijanej, którą większość osób ignoruje.
  • Ustawienie i zapomnienie. Należy rejestrować odsetek przekazań i wracać do ustawień, gdy modele się zmieniają.

Co daje największą różnicę?

Dobry zestaw ewaluacyjny. Bez prawdziwych przykładów i kryterium zaliczenia nie da się dostroić progu ani udowodnić oszczędności. Jak go zbudować, opisuje strona wybór właściwego modelu.

Źródła

  1. RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
  2. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
  3. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność