In het kort
Gebruik het kleinste model, of de eenvoudigste methode zonder AI, dat aan uw kwaliteitseis voldoet, en bewaar grote algemene modellen voor de gevallen die ze echt nodig hebben. Taakspecifieke modellen kunnen een klein deel van de energie van generatieve modellen voor algemeen gebruik verbruiken, en met routing krijgt u het grootste deel van het voordeel van beide.
Kernpunten
- Vraag eerst of de taak überhaupt AI nodig heeft; regels, zoeken of een klassiek algoritme doen het werk vaak ook.
- Taakspecifieke modellen bleken voor dezelfde taken ordes van grootte goedkoper in gebruik dan generatieve modellen voor meerdere doeleinden.
- UNESCO en UCL melden dat kleine taakspecifieke modellen het energieverbruik met tot 90% kunnen verlagen.
- Routing stuurt eenvoudige verzoeken naar kleine modellen en moeilijke naar grote; stel drempels zorgvuldig in, want een mislukte kleine poging plus een nieuwe poging kan meer kosten.
- Hybride pijplijnen gebruiken voor de meeste stappen klassieke of natuurkundige methoden, en een klein neuraal netwerk alleen waar dat iets toevoegt.
Waarom is de modelkeuze zo belangrijk?
De modelkeuze is meestal de grootste afzonderlijke hefboom voor het energieverbruik van een AI-functie. Dezelfde taak kan worden uitgevoerd door modellen waarvan de gebruikskosten ordes van grootte verschillen.
In een systematische vergelijking die in 2024 op ACM FAccT werd gepubliceerd, maten Luccioni, Jernite en Strubell het energieverbruik van 1.000 inferenties over veel taken en modellen. Ze stelden vast dat generatieve modellen voor meerdere doeleinden ordes van grootte duurder waren dan taakspecifieke systemen voor dezelfde taken, zelfs als rekening werd gehouden met de modelgrootte. Een rapport van UNESCO en UCL uit 2025 vond dat kleine modellen die op specifieke taken zijn afgestemd het energieverbruik met tot 90% kunnen verlagen.
Het patroon is eenvoudig: een algemeen model betaalt bij elk verzoek voor kennis en vaardigheden die uw taak nooit gebruikt.
Heeft deze taak überhaupt AI nodig?
Ga eerst na of een methode zonder AI het werk al doet. De goedkoopste inferentie is de inferentie die u nooit uitvoert.
Een Britse sandpit (een verkennende werksessie) over groene AI in 2026, met wiskundigen, informatici en mensen uit het bedrijfsleven, kwam hier steeds op terug: mensen grijpen vaak naar AI terwijl er al een goed begrepen algoritme bestaat, en de groenste berekening is vaak de berekening die u vermijdt. Ook de Web Sustainability Guidelines van het W3C vragen teams om de noodzaak van AI te beoordelen voordat ze het inbouwen.
Vraag u af:
- Kan een regel, opzoektabel of reguliere expressie het doen?
- Kan zoeken in uw eigen content de vraag beantwoorden?
- Bestaat er een gevestigde numerieke of statistische methode (een optimalisator, een regressie, een solver)?
- Moet het antwoord exact reproduceerbaar of controleerbaar zijn? Deterministische methoden zijn makkelijker te controleren.
- Hoe vaak zal dit draaien? Een functie die miljoenen keren wordt gebruikt, verdient meer ontwerpinspanning dan een eenmalige toepassing.
AI is niet gratis, ook niet als het tijd bespaart. Een studie uit 2025 die handmatig en AI-ondersteund programmeren vergeleek op 12 programmeertaken, vond dat de AI-ondersteunde aanpak gemiddeld ongeveer 33 keer de CO2-voetafdruk van de handmatige aanpak had, met een groter verschil naarmate de taken moeilijker werden. Dat betekent niet dat u nooit assistenten moet gebruiken; het betekent dat u ze inzet waar ze zich duidelijk terugbetalen.
Klein, gespecialiseerd of frontier?
Stem het model af op de taak, niet op het krachtigste dat beschikbaar is.
| Soort taak | Meestal genoeg | Wanneer groter kiezen |
|---|---|---|
| Classificeren, taggen, routeren, spam of sentiment | Een kleine taakspecifieke classificator | Zelden |
| Velden uit documenten halen | Een klein of fijngetuned model, of regels | Rommelige, wisselende opmaak |
| Zoeken en vragen beantwoorden over uw eigen content | Retrieval plus een klein of middelgroot model | Complex redeneren over meerdere documenten |
| Vertalen, samenvatten | Een middelgroot of gespecialiseerd model | Tekst waar veel van afhangt of vol nuances |
| Open redeneren, plannen, moeilijke code | Een groot algemeen model | Hier is het zijn kosten waard |
Gespecialiseerde kleine modellen kunnen op verschillende manieren ontstaan, behandeld in efficiënte training en inferentie:
- Distillatie: een groot "leraar"-model traint een klein "leerling"-model. DistilBERT was 40% kleiner dan BERT en 60% sneller, en behield 97% van het taalbegrip.
- Een klein model fijntunen op gegevens van uw eigen taak.
- Gekwantiseerde versies van een bestaand model, die minder geheugen en energie nodig hebben.
Waar openbare benchmarks bestaan, vergelijkt u kandidaten op energie én op kwaliteit. De AI Energy Score van Hugging Face beoordeelt modellen op het GPU-energieverbruik per 1.000 queries voor tien veelvoorkomende taken, met één tot vijf sterren ten opzichte van andere modellen voor dezelfde taak.
Hoe werkt modelrouting?
Een router stuurt elk verzoek naar het goedkoopste model dat het waarschijnlijk goed beantwoordt, en schakelt alleen zo nodig op.
Gangbare ontwerpen:
- Eerst een classificator: een klein model of een set regels voorspelt hoe moeilijk een verzoek is en kiest een model.
- Cascade: probeer het kleine model; als het weinig zeker is of een controle faalt, gaat het verzoek door naar een groter model.
- Aangeleerde router: getraind op voorbeelden van welk model het goed deed bij welk verzoek. De RouteLLM-studie meldde in sommige gevallen kostenverlagingen van meer dan de helft zonder dat de kwaliteit van de antwoorden daalde.
Stel de drempel zorgvuldig in
De sandpit bracht een belangrijk voorbehoud naar voren: in agentische systemen kan een te klein model falen, waarna alles opnieuw op het grote model moet draaien. Een mislukte goedkope poging plus een dure nieuwe poging kan meer kosten dan meteen het grote model gebruiken. Daarom:
- meet de totale kosten per geslaagde taak, niet per aanroep;
- stem de drempel voor opschalen af op uw eigen gegevens;
- registreer hoe vaak verzoeken worden opgeschaald, en kijk opnieuw als modellen veranderen;
- leg de routeringsbeslissing in het systeem, niet bij de eindgebruiker.
Wat zijn hybride pijplijnen?
Hybride pijplijnen gebruiken voor de meeste stappen klassieke, natuurkundige of op regels gebaseerde methoden, en een klein model alleen waar dat iets toevoegt. Ze zijn vaak goedkoper, nauwkeuriger en betrouwbaarder dan een volledig neurale aanpak.
Voorbeelden:
- Een natuurkundig of numeriek model doet de simulatie; een klein aangeleerd onderdeel vervangt alleen het duurste deel ervan (een "surrogaatmodel").
- Deterministische code regelt het parsen, valideren en opmaken; een model doet alleen de beoordeling van vrije tekst.
- Een generatief model plant of kiest, maar de uitvoer wordt samengesteld uit een bibliotheek van vooraf gecontroleerde onderdelen in plaats van elke keer opnieuw gegenereerd. Zie orkestratie boven generatie.
De sandpit besprak ook hoe u wiskundige of natuurkundige structuur (symmetrieën, behoudswetten, convexiteit) in modellen kunt inbouwen, zodat ze minder parameters en minder training nodig hebben. Zie wiskunde voor efficiënte AI.
Checklist
- [ ] Eenvoudigste methode zonder AI eerst opgeschreven en getest
- [ ] Kwaliteitseis vastgesteld op uw eigen, echte gevallen
- [ ] Ten minste één klein of taakspecifiek model daartegen getest
- [ ] Energie per verzoek vergeleken voor elke kandidaat, op dezelfde manier gemeten
- [ ] Groot model alleen gebruikt waar het kleine niet aan de eis voldoet
- [ ] Routeringskosten gemeten per geslaagde taak, inclusief nieuwe pogingen
- [ ] Keuze vastgelegd, met een datum om haar opnieuw te bekijken
Wat nu te doen
- Maak een lijst van uw AI-functies en geef aan welke een kleiner model, een klassieke methode of geen AI zouden kunnen gebruiken.
- Stel een kleine evaluatieset samen van echte gevallen, met een norm om te slagen.
- Test twee of drie modelgroottes daartegen en meet het energieverbruik van elk.
- Test routing in een pilot op één functie met veel gebruik en volg de kosten per geslaagde taak.
- Neem "gebruik het kleinste model dat aan de eis voldoet" op in uw beleid voor groene AI.
- Vraag leveranciers welke modelgroottes ze aanbieden en wat hun energieverbruik per verzoek is; zie duurzame inkoop van AI.
Veelgestelde vragen
Zijn kleine taalmodellen goed genoeg?
Voor veel goed afgebakende taken, zoals classificeren, gegevens extraheren en routeren, wel. Test ze op uw eigen gevallen tegen een duidelijke kwaliteitseis voordat u beslist.
Wat is modelrouting?
Een router bekijkt elk verzoek en stuurt het naar het goedkoopste model dat het waarschijnlijk goed afhandelt, en schakelt alleen zo nodig op naar een groter model. Gepubliceerde routers hebben in sommige tests de kosten met meer dan de helft verlaagd zonder kwaliteitsverlies.
Wanneer kan ik beter geen AI gebruiken?
Wanneer een regel, een opzoeking, een zoekopdracht of een gevestigde numerieke methode de taak al betrouwbaar uitvoert. Die zijn meestal goedkoper, sneller, voorspelbaarder en makkelijker te controleren.
Is een groter model altijd nauwkeuriger?
Nee. Voor smalle taken kan een fijngetuned of gedistilleerd klein model een algemeen model evenaren of verslaan, en de fouten ervan zijn vaak makkelijker te begrijpen.
Bronnen
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- RouteLLM: Learning to Route LLMs with Preference Data, Ong et al. (arXiv 2406.18665) (2024)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development, arXiv 2505.04521 (2025)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- AI Energy Score, Hugging Face (2025)
- Web Sustainability Guidelines, W3C (2025)
Gerelateerd
Zo meet u de energie en CO2-uitstoot van AI
Een praktische gids om de energie en CO2-uitstoot van AI-werk te meten of te schatten: tools, systeemgrenzen, maatstaven per taak en eerlijke onzekerheid.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.
Orkestratie boven generatie
Waarom het hergebruik van geteste onderdelen en het routeren naar het kleinste geschikte model het energieverbruik van AI kan verlagen, en wat het bewijs tot nu toe zegt.
Efficiëntie is geen suffiëntie: het reboundeffect bij AI
Waarom efficiëntere AI niet garandeert dat AI in totaal minder energie gebruikt, wat het rebound- of Jevons-effect is, en wat besparingen echt houdt.