greenai.guide

Home › Hoe doe ik…? › Hoe stuur ik verzoeken door naar kleinere AI-modellen?

Hoe doe ik…?

Hoe stuur ik verzoeken door naar kleinere AI-modellen?

Bijgewerkt · 1 min. leestijd

In het kort

Zet een router vóór uw modellen: een regel, een kleine classifier of een cascade die eerst een klein model probeert en opschaalt als het vertrouwen laag is of een controle faalt. Gepubliceerde routers hebben in sommige tests de kosten met meer dan de helft verlaagd zonder kwaliteitsverlies. Stem de drempel af op uw eigen gegevens en meet de kosten per geslaagde taak, niet per aanroep.

Stappen

  1. Stel een evaluatieset samen van echte verzoeken, met voor elk een slaagcriterium.
  2. Meet hoe vaak een klein model op eigen kracht slaagt.
  3. Kies een routerontwerp, zoals regels, een moeilijkheidsclassifier of een cascade met een controle.
  4. Stem de opschalingsdrempel af op uw evaluatieset.
  5. Houd kosten en energie per geslaagde taak bij, inclusief opschalingen en herhaalpogingen.
  6. Stem opnieuw af wanneer een van beide modellen verandert.

Met routering krijgt u het grootste deel van de kwaliteit van een groot model voor een flink deel van de kosten van een klein model. Het idee is eenvoudig: stuur elk verzoek naar het goedkoopste model dat het waarschijnlijk goed afhandelt.

Welk ontwerp moet ik gebruiken?

  • Regels. Routeer op soort verzoek, lengte of kanaal. Makkelijk te begrijpen, en vaak genoeg.
  • Moeilijkheidsclassifier. Een klein model voorspelt hoe moeilijk een verzoek is. Het Hybrid LLM-werk van Ding en collega's verdeelt vragen op deze manier over een klein en een groot model, met een balans tussen kosten en kwaliteit.
  • Cascade. Probeer het kleine model; als een controle faalt of het vertrouwen laag is, geef het door aan een groter model. FrugalGPT, van Chen, Zaharia en Zou, onderzocht zulke cascades om kosten te verlagen.
  • Aangeleerde router. Getraind op welk model het goed deed bij welk verzoek. De RouteLLM-studie meldde in sommige gevallen kostenverlagingen van meer dan de helft zonder dat de kwaliteit van de antwoorden daalde.

Veelgemaakte fouten

  • Per aanroep meten. Een mislukte poging met het kleine model plus een herhaalpoging op het grote model kan meer kosten dan meteen naar het grote model gaan. Een Britse green AI-sandpit (een verkennende werksessie) in 2026 met wiskundigen, informatici en het bedrijfsleven wees dit aan als een reëel risico in agentische systemen. Meet per geslaagde taak.
  • De keuze bij gebruikers neerleggen. Bouw de routering in het systeem in, niet in een keuzemenu dat de meeste mensen negeren.
  • Instellen en vergeten. Log hoe vaak er wordt opgeschaald en kijk er opnieuw naar wanneer modellen veranderen.

Wat maakt het grootste verschil?

Een goede evaluatieset. Zonder echte voorbeelden en een slaagcriterium kunt u de drempel niet afstemmen en de besparing niet aantonen. Lees kies het juiste model voor hoe u er een opbouwt.

Bronnen

  1. RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
  2. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
  3. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy