In het kort
Elk antwoord, elke regel code of elke afbeelding vanaf nul laten genereren door een groot model is de duurste manier om AI te gebruiken. Orkestratie gebruikt AI om te plannen en te selecteren, stelt het resultaat daarna samen uit geteste onderdelen en stuurt elke stap naar het goedkoopste model dat hem aankan. De goedkoopste token is de token die u nooit genereert.
Kernpunten
- Genereren is de dure stap in generatieve AI; bestaande, geteste onderdelen selecteren en hergebruiken is veel goedkoper.
- Routering stuurt elk verzoek naar het kleinste model dat het aankan, en gepubliceerde routers verlagen de kosten flink met weinig kwaliteitsverlies.
- Retrieval (ophalen) levert alleen het relevante deel van een document of codebase, zodat het model minder tokens leest.
- Hergebruik van geteste onderdelen helpt ook bij beveiliging en onderhoud: één reparatie bereikt elke plek waar het onderdeel wordt gebruikt.
- Routering heeft een addertje: een model dat te klein is, kan falen en een dure nieuwe poging op een groot model afdwingen.
De meeste discussies over de voetafdruk van AI gaan over hoe generatie goedkoper kan: kleinere modellen, snellere chips, schonere stroom. Een andere vraag is hoeveel generatie er überhaupt nodig is. Orkestratie beantwoordt die vraag door generatie als laatste redmiddel te behandelen in plaats van als standaard.
Wat betekent "orkestratie boven generatie"?
Het betekent dat AI een taak plant en de onderdelen kiest, waarna het resultaat grotendeels wordt opgebouwd uit dingen die al bestaan en al zijn gecontroleerd. Een groot model wordt alleen gevraagd iets nieuws te genereren als er niets geschikts bestaat.
Veel van wat mensen aan generatieve AI vragen, is niet nieuw. Software zit vol met dezelfde patronen: inlogschermen, bestandsuploads, datumverwerking, gegevensvalidatie. Contracten hergebruiken standaardclausules. Rapporten hergebruiken standaardhoofdstukken. Elk daarvan telkens opnieuw genereren herhaalt de energiekosten en levert steeds net iets andere versies op, die elk moeten worden gecontroleerd.
Een georkestreerd systeem werkt meer als een goed geleid engineeringteam:
- Een planner bepaalt wat de taak nodig heeft.
- Een goedkope classifier of zoekstap vindt een bestaand, getest onderdeel dat past.
- Alleen de echt nieuwe delen worden gegenereerd, door het kleinste model dat dat kan.
- Nieuw gegenereerde delen worden getest en aan de bibliotheek toegevoegd, zodat het volgende verzoek ze kan hergebruiken.
De bibliotheek gedraagt zich als een cache. Een Britse groene-AI-sandpit (een verkennende werksessie) uit 2026 met wiskundigen, informatici en mensen uit het bedrijfsleven besprak dit patroon onder de noemer "de goedkoopste token is de token die u nooit genereert".
Waarom zou hergebruik energie besparen?
Omdat het ophalen en aanpassen van een onderdeel maar een fractie kost van het genereren ervan, en geteste onderdelen minder herstelwerk vragen. Bij het genereren worden de tokens verbruikt, en dus het grootste deel van de energie voor inferentie.
De energiekosten van door AI geschreven uitvoer zijn niet te verwaarlozen. Een studie van King's College London (Cheung en collega's, 2025), een partnerartikel binnen het GreenCode-project, vergeleek het met de hand oplossen van programmeertaken met het oplossen ervan met een AI-assistent. Gemiddeld over de taken, die uit programmeerwedstrijden kwamen, had codegeneratie met AI een 32,72 keer zo grote CO2-voetafdruk als de handmatige aanpak, en het verschil werd groter naarmate de taken complexer werden. Hergebruik pakt precies die kosten aan.
Er zijn voordelen die verder gaan dan energie:
- Kwaliteit. Een gecontroleerd onderdeel is één keer getest en kan vele keren worden vertrouwd.
- Beveiliging. Blijkt een onderdeel een fout te bevatten, dan weet u op welke plekken het wordt gebruikt, en één reparatie bereikt ze allemaal.
- Onderhoud. Een codebase die is opgebouwd uit gedeelde onderdelen is kleiner en makkelijker te begrijpen dan een codebase vol bijna-duplicaten.
Wat is modelroutering?
Routering stuurt elk verzoek naar het model dat er het best bij past, meestal het kleinste dat waarschijnlijk goed antwoordt. Eenvoudige verzoeken gaan naar kleine, goedkope modellen; moeilijke worden opgeschaald.
Gepubliceerd onderzoek laat het potentieel zien:
- FrugalGPT (Chen, Zaharia en Zou, 2023) schakelde modellen van goedkoop naar duur achter elkaar en stopte zodra een antwoord goed genoeg werd geacht. De onderzoekers meldden dezelfde prestaties als GPT-4 tegen tot 98% lagere kosten.
- RouteLLM (Ong en collega's, 2024) trainde routers op gegevens over menselijke voorkeuren om te bepalen wanneer een verzoek een sterk model nodig heeft, en meldde dat de kosten in sommige gevallen met meer dan de helft daalden zonder kwaliteitsverlies.
- Hybrid LLM (Ding en collega's, 2024) verdeelde vragen tussen een klein en een groot model op basis van de voorspelde moeilijkheid, met tot 40% minder aanroepen van het grote model en zonder verlies aan kwaliteit van de antwoorden.
Deze studies meten kosten en niet rechtstreeks energie, maar bij dezelfde aanbieder en hardware betekenen minder tokens op grote modellen doorgaans minder energie. Zie het juiste model kiezen.
Wat is retrieval, en waarom helpt het?
Retrieval (ophalen) zoekt de relevante informatie op en geeft het model alleen die, in plaats van het alles te laten lezen of onthouden. Retrieval-augmented generation (RAG), in 2020 geïntroduceerd door Lewis en collega's, combineert een zoekstap met een generator.
Voor energie draait het om het aantal tokens. Hele documenten of codebases door het contextvenster van een model duwen kost bij elk verzoek energie. GreenCode, een Europees (ITEA) onderzoeksproject naar energiezuinige software, gebruikt retrieval uit een index van de codebase, zodat "het aantal tokens de taak weerspiegelt en niet de repository". Daarnaast gebruikt het kleine, fijngetunede modellen en routering naar het kleinste geschikte onderdeel.
Wat laat het werk van GreenCode zien?
Dat de kosten van AI-gebruik moeten worden meegeteld, en dat de manier waarop een agent werkt net zo belangrijk is als welk model hij gebruikt. Twee partnerartikelen laten dat zien:
- EnergyBench (Ionescu, Jensen en Thomsen, 2025) beoordeelt door AI gegenereerde code op zowel juistheid als het energieverbruik bij het uitvoeren. De onderzoekers ontdekten dat de formulering van de prompt de energie-efficiëntie van de gegenereerde code in sommige gevallen met tot 91,9% kon verbeteren, maar vaak ten koste van de nauwkeurigheid. Vragen om groene code is op zichzelf geen betrouwbare oplossing.
- De GreenCode Constitution (Kapenekakis en collega's, 2026) gaf een codeeragent geschreven principes mee, eerst juistheid, daarna 37 energie-antipatronen, en liet hem het energieverbruik meten voor en na elke wijziging. Op llama.cpp, een al sterk geoptimaliseerde inferentie-engine, verlaagde dat het GPU-energieverbruik met 4,7%. De energiebesparing was groter dan de snelheidswinst, een herinnering dat sneller niet altijd groener is. Energie moet dus rechtstreeks worden gemeten.
De eigen pipeline van GreenCode past het orkestratieprincipe toe: die geeft de voorkeur aan kleine, taakspecifieke modellen, retrieval en routering, en voert vooraf een beoordeling uit, zodat een taak waarvan de inferentiekosten zich niet zouden terugverdienen, niet wordt uitgevoerd.
Wat kan er misgaan?
Routering en hergebruik besparen alleen energie als ze goed kiezen. De belangrijkste risico's:
- Te klein kiezen. Een model dat te klein is, kan falen, en de nieuwe poging op een groter model kost meer dan daar meteen heen gaan. In agentische systemen, waar één fout veel latere stappen kan laten ontsporen, weegt dit zwaarder. De drempel bepalen is een echt ontwerpprobleem.
- Verouderde bibliotheken. Onderdelen hebben eigenaren, tests en updates nodig, anders verspreidt hergebruik oude fouten.
- Verborgen kosten. De classifier, de index en de zoekstap verbruiken allemaal energie. Ze zijn meestal veel goedkoper dan generatie, maar moeten ook worden gemeten.
- Rebound. Goedkopere AI lokt meer AI uit. Zie efficiëntie is geen suffiëntie.
Wat u nu kunt doen
- Zoek eerst, voordat u genereert: bestaat er al een getest onderdeel, sjabloon of eerder antwoord?
- Routeer verzoeken op moeilijkheid; gebruik standaard een klein model en schaal op. Zie AI efficiënt gebruiken.
- Gebruik retrieval om prompts kort te houden, in plaats van hele documenten te plakken.
- Houd een bibliotheek bij van gecontroleerde uitvoer, met tests en een eigenaar, en vul die gaandeweg aan.
- Meet energie of tokens per voltooide taak, inclusief nieuwe pogingen, niet per verzoek.
- Lees agentische AI en tokenverspilling als u agents met meerdere stappen gebruikt.
Veelgestelde vragen
Wat is orkestratie in AI?
Het coördineren van meerdere modellen, tools en opgeslagen onderdelen om een taak uit te voeren, in plaats van één groot model het hele antwoord te laten genereren. Een planner bepaalt wat er nodig is; goedkopere onderdelen doen het meeste werk.
Wat is modelroutering?
Elk verzoek naar het model sturen dat er het best bij past, meestal het kleinste en goedkoopste model dat waarschijnlijk goed antwoordt, en alleen opschalen naar een groter model als dat nodig is.
Gaat routering ten koste van de kwaliteit?
Gepubliceerde routeringssystemen melden grote kostenbesparingen terwijl ze het grootste deel van de kwaliteit van het sterkste model behouden, maar het resultaat hangt af van de taak en van hoe goed de router de moeilijkheid inschat.
Bronnen
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green optimised generative AI, GreenCode (2026)
- Green AI and energy-aware computing, GreenCode (2026)
- Comparative analysis of carbon footprint in manual vs. LLM-assisted code development, Cheung, Kaul, Jahangirova, Mousavi and Zie, ResponsibleSE 2025 (ACM) (2025)
- EnergyBench: holistic benchmark for correct and energy-efficient LLM-generated code, Ionescu, Jensen and Thomsen, FLTA 2025 (2025)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Gerelateerd
Kies het juiste model voor de taak
AI op maat: wanneer u kleine of gespecialiseerde modellen gebruikt, wanneer een frontiermodel zijn kosten waard is, hoe routing werkt en wanneer u geen AI gebruikt.
AI efficiënt gebruiken: dagelijkse gewoonten
Dagelijkse gewoonten die het energieverbruik van AI verlagen: duidelijke prompts, minder opnieuw genereren, zuinig met beeld en video, caching en standaardfuncties uit.
Agentische AI en verspilde tokens
Waarom AI-agents vele malen meer tokens en energie gebruiken dan een chat, hoe lussen ze verspillen, en welke vangrails agents op de juiste maat houden.
De wiskunde die AI efficiënter maakt
Pruning, sparsiteit, sketching, randommatrixtheorie en fysica-geïnformeerde modellen: hoe wiskunde het rekenwerk, geheugen en energie van AI vermindert.