In het kort
Zet een router vóór uw modellen: een regel, een kleine classifier of een cascade die eerst een klein model probeert en opschaalt als het vertrouwen laag is of een controle faalt. Gepubliceerde routers hebben in sommige tests de kosten met meer dan de helft verlaagd zonder kwaliteitsverlies. Stem de drempel af op uw eigen gegevens en meet de kosten per geslaagde taak, niet per aanroep.
Stappen
- Stel een evaluatieset samen van echte verzoeken, met voor elk een slaagcriterium.
- Meet hoe vaak een klein model op eigen kracht slaagt.
- Kies een routerontwerp, zoals regels, een moeilijkheidsclassifier of een cascade met een controle.
- Stem de opschalingsdrempel af op uw evaluatieset.
- Houd kosten en energie per geslaagde taak bij, inclusief opschalingen en herhaalpogingen.
- Stem opnieuw af wanneer een van beide modellen verandert.
Met routering krijgt u het grootste deel van de kwaliteit van een groot model voor een flink deel van de kosten van een klein model. Het idee is eenvoudig: stuur elk verzoek naar het goedkoopste model dat het waarschijnlijk goed afhandelt.
Welk ontwerp moet ik gebruiken?
- Regels. Routeer op soort verzoek, lengte of kanaal. Makkelijk te begrijpen, en vaak genoeg.
- Moeilijkheidsclassifier. Een klein model voorspelt hoe moeilijk een verzoek is. Het Hybrid LLM-werk van Ding en collega's verdeelt vragen op deze manier over een klein en een groot model, met een balans tussen kosten en kwaliteit.
- Cascade. Probeer het kleine model; als een controle faalt of het vertrouwen laag is, geef het door aan een groter model. FrugalGPT, van Chen, Zaharia en Zou, onderzocht zulke cascades om kosten te verlagen.
- Aangeleerde router. Getraind op welk model het goed deed bij welk verzoek. De RouteLLM-studie meldde in sommige gevallen kostenverlagingen van meer dan de helft zonder dat de kwaliteit van de antwoorden daalde.
Veelgemaakte fouten
- Per aanroep meten. Een mislukte poging met het kleine model plus een herhaalpoging op het grote model kan meer kosten dan meteen naar het grote model gaan. Een Britse green AI-sandpit (een verkennende werksessie) in 2026 met wiskundigen, informatici en het bedrijfsleven wees dit aan als een reëel risico in agentische systemen. Meet per geslaagde taak.
- De keuze bij gebruikers neerleggen. Bouw de routering in het systeem in, niet in een keuzemenu dat de meeste mensen negeren.
- Instellen en vergeten. Log hoe vaak er wordt opgeschaald en kijk er opnieuw naar wanneer modellen veranderen.
Wat maakt het grootste verschil?
Een goede evaluatieset. Zonder echte voorbeelden en een slaagcriterium kunt u de drempel niet afstemmen en de besparing niet aantonen. Lees kies het juiste model voor hoe u er een opbouwt.
Bronnen
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
Gerelateerd
Kies het juiste model voor de taak
AI op maat: wanneer u kleine of gespecialiseerde modellen gebruikt, wanneer een frontiermodel zijn kosten waard is, hoe routing werkt en wanneer u geen AI gebruikt.
Orkestratie boven generatie
Waarom het hergebruik van geteste onderdelen en het routeren naar het kleinste geschikte model het energieverbruik van AI kan verlagen, en wat het bewijs tot nu toe zegt.
Hoe kies ik een kleiner AI-model?
Zo kiest u het kleinste AI-model dat uw taak goed doet: stel een kwaliteitslat, test van klein naar groot, check energielabels en houd een groot model achter de hand.
Hoe voorkom ik dat AI-agents tokens verspillen?
Praktische vangrails voor AI-agents: stopvoorwaarden, limieten op stappen en tokens, lusdetectie, ingekorte context en kleine modellen voor eenvoudige stappen.