In het kort
Het meeste energieverbruik van AI kan omlaag zonder kwaliteitsverlies: hergebruik modellen in plaats van ze vanaf nul te trainen, maak ze kleiner met pruning, kwantisatie en distillatie, bied ze aan met batching en caching, en laat flexibele taken draaien wanneer en waar de stroom schoner is. Meet het energieverbruik voor en na elke wijziging, want sneller is niet altijd groener.
Kernpunten
- Hergebruik voordat u traint: een kleine adapter fijntunen met LoRA verminderde het aantal trainbare parameters 10.000-voudig en het GPU-geheugen drievoudig ten opzichte van volledig fijntunen van GPT-3 175B.
- Grote taalmodellen kunnen in één keer, zonder opnieuw trainen, tot ten minste 50% sparsity worden gesnoeid met minimaal verlies aan nauwkeurigheid (SparseGPT).
- 8-bit-inferentie kan de geheugenbehoefte halveren zonder kwaliteitsverlies (LLM.int8()); test ook 4-bit.
- Het aanbieden van modellen doet ertoe: batching en beheer van de KV-cache in pagina's gaven in vLLM 2–4 keer zoveel doorvoer bij dezelfde latentie.
- CO2-bewuste planning verlaagt de uitstoot, niet het energieverbruik; doe het bovenop efficiëntiewerk, nooit in plaats daarvan.
Waar begin ik?
Begin met meten, en dan hergebruiken, verkleinen, goed aanbieden en plannen, in die volgorde. De eerste stappen besparen meestal het meest en brengen het minste risico mee.
Patterson en collega's bij Google schatten in 2021 dat de keuze van model, datacenter en processor de CO2-voetafdruk van training tot ongeveer 100 à 1.000 keer kan veranderen. Het grootste deel van die marge hebt u zelf in de hand. Zet voordat u iets verandert energiemeting op met dezelfde hardware en belasting, zodat u alleen de wijzigingen houdt die energie besparen zonder de kwaliteit te schaden. Snelheid is geen betrouwbare graadmeter: een wijziging kan sneller en hongeriger zijn, of trager en zuiniger.
Kan ik vermijden dat ik vanaf nul train?
Meestal wel: begin met een voorgetraind model en pas alleen aan wat u nodig hebt.
- Parameterefficiënt fijntunen. LoRA traint kleine adaptermatrices van lage rang in plaats van het volledige model. Ten opzichte van volledig fijntunen van GPT-3 175B meldden de auteurs 10.000 keer minder trainbare parameters en drie keer minder GPU-geheugen. QLoRA combineert dit met 4-bit-gewichten en fijntunede een model met 65 miljard parameters op één GPU van 48 GB.
- Retrieval in plaats van opnieuw trainen. Zet feiten die veranderen in een doorzoekbare index en haal ze op het moment van de vraag op. Fijntun voor vaardigheden en stijl, niet voor feiten.
- Modellen samenvoegen ("souping"). Volgens Wortsman en collega's kan het middelen van de gewichten van modellen die vanaf dezelfde basis zijn fijngetuned het beste afzonderlijke model verslaan, zonder extra inferentiekosten. Gespecialiseerde fijngetunede modellen samenvoegen is een manier om werk te hergebruiken waarvoor al betaald is.
- Continu leren. Werk een model stapsgewijs bij in plaats van het vanaf nul opnieuw te trainen als de gegevens veranderen.
Hoe helpen pruning en sparsity?
De meeste gewichten in een getraind netwerk kunnen worden verwijderd of inactief blijven met weinig verlies, wat minder rekenwerk en geheugen per antwoord betekent.
- Ongestructureerde pruning (snoeien) verwijdert afzonderlijke gewichten. SparseGPT snoeide modellen uit de GPT-familie in één keer, zonder opnieuw trainen, tot ten minste 50% sparsity met minimaal verlies aan nauwkeurigheid, en haalde 60% bij de grootste open modellen van dat moment met een verwaarloosbare stijging van de perplexiteit.
- Gestructureerde pruning verwijdert hele neuronen, heads of lagen, waar gewone hardware makkelijker gebruik van kan maken.
- Activatiesparsity laat de meeste neuronen voor een bepaalde invoer inactief.
- Mixture-of-experts-modellen sturen elk token naar een paar gespecialiseerde subnetwerken. Patterson en collega's vonden dat grote, spaarzaam geactiveerde modellen minder dan een tiende van de energie van grote dichte modellen kunnen verbruiken. Alle experts moeten wel in het geheugen staan.
Een voorbehoud van een Britse sandpit (een verkennende werksessie) over groene AI in 2026, met wiskundigen, informatici en mensen uit het bedrijfsleven: sparsity wordt te weinig benut, deels omdat hardware en bibliotheken gebouwd zijn voor dichte wiskunde. Controleer of uw runtime sparsity echt omzet in bespaarde energie. De sandpit besprak ook het gebruik van de theorie van toevalsmatrices om vóór de training sparsityniveaus te kiezen, en spaarzame benaderingen van attention die in voorgetrainde modellen kunnen worden ingevoegd. Zie wiskunde voor efficiënte AI.
En kwantisatie, distillatie en gemengde precisie?
Gebruik minder bits en kleinere modellen waar de kwaliteitseis dat toelaat.
| Techniek | Wat het doet | Gepubliceerd resultaat |
|---|---|---|
| Kwantisatie | Slaat gewichten op in 8 of 4 bits in plaats van 16 of 32, en rekent ermee | LLM.int8() halveerde het inferentiegeheugen zonder kwaliteitsverlies tot 175B parameters; UNESCO en UCL melden dat modelcompressie zoals kwantisatie tot 44% energie bespaart |
| Distillatie | Traint een kleine "leerling" om een grote "leraar" na te bootsen | DistilBERT was 40% kleiner en 60% sneller dan BERT en behield 97% van het taalbegrip |
| Gemengde precisie | Traint in halve precisie met een hoofdkopie in volledige precisie | Bijna halvering van het geheugengebruik bij training (Micikevicius et al.) |
Test elke techniek op uw eigen evaluatieset. Hugging Face merkt op dat kwantisatie latentie kan toevoegen als een workload niet door geheugen wordt beperkt, dus meet energie en latentie per verzoek, voor en na.
Hoe bied ik modellen efficiënt aan?
Houd de accelerator bezig met nuttig werk en bereken niets opnieuw. Een onderbenutte GPU neemt nog steeds flink wat stroom af.
- Bundel verzoeken (batching). Serving-engines met continuous batching groeperen gelijktijdige verzoeken. PagedAttention van vLLM, dat de KV-cache beheert zoals virtueel geheugen, gaf 2 tot 4 keer de doorvoer van eerdere systemen bij dezelfde latentie.
- Gebruik de KV-cache goed. Cache keys en values van eerdere tokens; gebruik een statische cache met een gecompileerde forward pass als uw bibliotheek dat ondersteunt.
- Zet de geoptimaliseerde paden aan. Gewichten in halve precisie, efficiënte attention-kernels (zoals SDPA of FlashAttention) en compilatie zijn vaak beschikbaar, maar staan standaard uit.
- Speculatieve decodering. Een klein conceptmodel stelt tokens voor die het grote model controleert. Leviathan en collega's meldden 2 tot 3 keer snellere generatie op T5-XXL met identieke uitvoer.
- Beperk de lengte van de uitvoer tot wat de taak nodig heeft, en cache antwoorden op identieke verzoeken.
- Vergelijk runtimes en hardware. Benchmark twee of drie serving-stacks bij uw echte batchgroottes.
Wanneer en waar moeten taken draaien?
Laat flexibel werk draaien wanneer en waar de stroom schoner is, maar zie dit als een bonus bovenop efficiëntie, niet als vervanging ervan.
- Verschuif in de tijd. Trainingsruns, evaluaties en batch-inferentie kunnen vaak uren wachten. Plan ze aan de hand van een voorspelling van de CO2-intensiteit; tools zoals CATS omhullen clustertaken om dit te doen. In Groot-Brittannië publiceert de Carbon Intensity API regionale voorspellingen.
- Maak lange taken pauzeerbaar. Sla regelmatig checkpoints op, inclusief de toestand van de optimalisator, zodat een taak kan pauzeren als het stroomnet vuil is en later kan hervatten zonder dat er werk verloren gaat.
- Kies regio en hardware. Waar latentie er niet toe doet, kiest u bij voorkeur een regio met weinig CO2-uitstoot en efficiënte accelerators, rekening houdend met de kosten van het verplaatsen van gegevens. Zie hosting en datacenters.
- Let op het absolute energieverbruik. CO2-bewuste planning verandert wanneer werk draait, niet hoeveel het verbruikt. Volg het energieverbruik per eenheid werk naast de CO2-uitstoot.
Checklist
- [ ] Energie gemeten voor en na elke wijziging, met dezelfde opstelling, over meerdere runs
- [ ] Voorgetraind model en adapters overwogen voordat u vanaf nul traint
- [ ] Retrieval gebruikt voor veranderende feiten in plaats van opnieuw trainen
- [ ] Pruning, kwantisatie of distillatie getest tegen de kwaliteitseis
- [ ] Gemengde precisie gebruikt bij training
- [ ] Batching, optimalisatie van de KV-cache en efficiënte attention aan bij het aanbieden
- [ ] Lengte van de uitvoer begrensd; identieke verzoeken gecachet
- [ ] Flexibele taken met checkpoints en gepland voor schonere uren
- [ ] Energieverbruik en hardware van de training vastgelegd in de model card
Wat nu te doen
- Voeg een emissietracker zoals CodeCarbon toe aan uw trainings- en evaluatiescripts, en zet energie naast nauwkeurigheid in uw resultatentabel.
- Probeer LoRA of QLoRA bij uw volgende fijntuning en vergelijk met volledig fijntunen.
- Test een 8-bit- en een 4-bit-versie van uw ingezette model op uw evaluatieset.
- Benchmark uw serving-stack met batching en het geoptimaliseerde attention-pad ingeschakeld.
- Omhul één terugkerende clustertaak met een CO2-bewuste planner.
- Zoek opleidingen in de cursusgids en verwant werk bij onderzoek en promotieplaatsen.
Veelgestelde vragen
Vermindert kwantisatie de nauwkeurigheid?
Soms een beetje; bij 8-bit vaak niet merkbaar. Test het gekwantiseerde model altijd op uw eigen evaluatieset, en houd er rekening mee dat kwantisatie latentie kan toevoegen als een workload niet door geheugen wordt beperkt.
Wat is een KV-cache?
Als een transformer tekst genereert, bewaart hij de key- en value-matrices van eerdere tokens, zodat die niet bij elke stap opnieuw worden berekend. Die cache goed beheren is een van de grootste efficiëntiewinsten bij het aanbieden van modellen.
Kost training of inferentie meer energie?
Dat hangt af van hoe breed een model wordt gebruikt. Training is een grote eenmalige kost; inferentie betaalt u bij elk verzoek, dus bij populaire modellen overheerst die meestal over de levensduur van het model.
Wat is model merging of souping?
Het middelen van de gewichten van meerdere modellen die vanaf hetzelfde startpunt zijn fijngetuned. Het resultaat draait als één model, zonder extra inferentiekosten, en kan beter presteren dan het beste afzonderlijke model.
Bronnen
- LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
- QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
- SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
- Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- Optimizing inference, Hugging Face Transformers documentation (2025)
- Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
- CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)
Gerelateerd
Zo meet u de energie en CO2-uitstoot van AI
Een praktische gids om de energie en CO2-uitstoot van AI-werk te meten of te schatten: tools, systeemgrenzen, maatstaven per taak en eerlijke onzekerheid.
Kies het juiste model voor de taak
AI op maat: wanneer u kleine of gespecialiseerde modellen gebruikt, wanneer een frontiermodel zijn kosten waard is, hoe routing werkt en wanneer u geen AI gebruikt.
De wiskunde die AI efficiënter maakt
Pruning, sparsiteit, sketching, randommatrixtheorie en fysica-geïnformeerde modellen: hoe wiskunde het rekenwerk, geheugen en energie van AI vermindert.
Hosting en datacenters voor groene AI
Waar laat u AI draaien? CO2-intensiteit van het stroomnet, PUE en WUE, claims over groene stroom, waterverbruik en locatie, met vragen voor hosts.