In het kort
Koppel uw grote model aan een klein conceptmodel (draft model) uit dezelfde familie: het conceptmodel stelt meerdere tokens voor en het grote model controleert ze in één doorgang, waarbij het alleen de tokens houdt waarmee het instemt. De output is dezelfde als van het grote model alleen, en het oorspronkelijke onderzoek meldde 2 tot 3 keer snellere inferentie. Controleer of uw serving-stack het ondersteunt en meet daarna het energieverbruik per verzoek, niet alleen de snelheid.
Stappen
- Controleer of uw inferentiebibliotheek of serving-engine speculatieve of geassisteerde decodering ondersteunt.
- Kies een klein conceptmodel dat dezelfde tokenizer heeft als het grote model.
- Zet het aan en controleer of de output op uw eigen werklast overeenkomt.
- Meet het energieverbruik per verzoek en de latentie bij uw echte batchgroottes.
- Houd het alleen aan als het energieverbruik per verzoek daalt, niet alleen de latentie.
Laat een klein model raden en het grote model controleren. Grote modellen genereren één token tegelijk, waardoor zware hardware voor elk woord bezig is; met speculatieve decodering kunnen ze meerdere tokens tegelijk bevestigen.
Hoe werkt het?
Een klein conceptmodel (draft model) stelt snel de volgende paar tokens voor. Het grote doelmodel (target model) controleert ze daarna allemaal in één voorwaartse doorgang en accepteert de tokens die het zelf ook zou hebben gemaakt. Waar het het niet eens is, vervangt het die door een eigen token en gaat het voorstellen verder. Leviathan, Kalman en Matias lieten een versnelling van 2 tot 3 keer zien op het T5-XXL-model, met identieke output. De documentatie van Hugging Face vermeldt dat de nauwkeurigheid niet achteruitgaat, omdat de controlestap ervoor zorgt dat dezelfde output wordt gegenereerd.
Varianten zijn onder meer prompt lookup decoding, waarbij voorstellen worden gehaald uit tekst die al in de prompt staat. Dat past bij taken zoals bewerken of samenvatten, waarbij het antwoord de invoer herhaalt.
Is sneller ook groener?
Niet vanzelf. U draait nu twee modellen, en het grote model doet extra controlewerk. Of het energieverbruik per verzoek daalt, hangt af van hoe vaak voorstellen worden geaccepteerd, uw batchgrootte en uw hardware. Onderzoekers van GreenCode ontdekten met llama.cpp dat energie en snelheid een verschillend verhaal kunnen vertellen: één wijziging bespaarde 4,7% GPU-energie met maar 3% snelheidswinst. Meet de energie rechtstreeks.
Veelgemaakte fouten
- Een te groot conceptmodel, waardoor alles trager wordt.
- Verschillende tokenizers voor conceptmodel en doelmodel.
- Testen op een andere werklast dan in productie; het acceptatiepercentage verschilt per taak.
Zie voor andere serving-technieken hoe u het energieverbruik van het serveren van een model verlaagt en efficiënte training en inferentie.
Bronnen
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Gerelateerd
Hoe verminder ik het energieverbruik van een model in productie?
Een zelf gehost model bedienen met minder energie per verzoek: efficiënte runtimes, batching, halve precisie, gecompileerde caches en geteste hardware.
Hoe bundel ik AI-verzoeken om energie te besparen?
Hoe batching de benutting van accelerators verhoogt en de energie per antwoord verlaagt: continuous batching voor live verkeer, wachtrijen voor offline werk.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.
De wiskunde die AI efficiënter maakt
Pruning, sparsiteit, sketching, randommatrixtheorie en fysica-geïnformeerde modellen: hoe wiskunde het rekenwerk, geheugen en energie van AI vermindert.