In breve
Affianchi al Suo modello grande un piccolo modello bozza della stessa famiglia: la bozza propone diversi token e il modello grande li verifica in un solo passaggio, tenendo solo quelli su cui concorda. L'output è identico a quello del solo modello grande, e lo studio originale ha riportato un'inferenza da 2 a 3 volte più veloce. Verifichi che il Suo sistema di serving la supporti, poi misuri l'energia per richiesta, non solo la velocità.
Passaggi
- Verifichi se la Sua libreria di inferenza o il Suo motore di serving supportano la decodifica speculativa o assistita.
- Scelga un piccolo modello bozza che condivida il tokenizzatore del modello grande.
- La attivi e confermi che gli output coincidano sul Suo carico di lavoro reale.
- Misuri l'energia per richiesta e la latenza con le dimensioni di batch reali.
- La mantenga solo se diminuisce l'energia per richiesta, non soltanto la latenza.
Lasci che sia un modello piccolo a tirare a indovinare e il modello grande a verificare. I modelli grandi generano un token alla volta, tenendo impegnato hardware potente per ogni parola; la decodifica speculativa permette loro di confermare più token in una volta.
Come funziona?
Un piccolo modello bozza propone rapidamente i token successivi. Il grande modello di destinazione li verifica poi tutti in un unico passaggio in avanti (forward pass) e accetta quelli che avrebbe prodotto lui stesso. Dove non concorda, sostituisce il proprio token e la bozza riprende. Leviathan, Kalman e Matias hanno mostrato un'accelerazione da 2 a 3 volte sul modello T5-XXL con output identici. La documentazione di Hugging Face osserva che non c'è alcun peggioramento dell'accuratezza, perché il passaggio di verifica garantisce che vengano generati gli stessi output.
Tra le varianti c'è la prompt lookup decoding, che ricava la bozza da testo già presente nel prompt ed è adatta a compiti come la revisione o il riassunto, in cui la risposta ripete l'input.
Più veloce significa più verde?
Non automaticamente. Ora i modelli in esecuzione sono due, e quello grande svolge un lavoro di verifica in più. Che l'energia per richiesta diminuisca dipende da quanto spesso le bozze vengono accettate, dalla dimensione del batch e dall'hardware. I ricercatori di GreenCode hanno rilevato su llama.cpp che energia e velocità possono raccontare storie diverse: una modifica ha fatto risparmiare il 4,7% dell'energia della GPU con un guadagno di velocità di appena il 3%. Misuri direttamente l'energia.
Errori comuni
- Un modello bozza troppo grande, che rallenta tutto.
- Tokenizzatori diversi tra bozza e modello di destinazione.
- Fare test su un carico di lavoro diverso da quello di produzione; i tassi di accettazione variano a seconda del compito.
Per altre tecniche di serving, veda come ridurre l'energia necessaria a servire un modello e addestramento e inferenza efficienti.
Fonti
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Correlati
Come riduco l'energia per servire un modello in produzione?
Come servire un modello in self-hosting con meno energia per richiesta: runtime efficienti, batching, mezza precisione, cache compilate e hardware collaudato.
Come raggruppo le richieste all'IA in batch per risparmiare energia?
Come il batching aumenta l'utilizzo degli acceleratori e riduce l'energia per risposta: batching continuo per il traffico in tempo reale e batch in coda per il lavoro offline.
Addestramento e inferenza efficienti per l'IA
Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.
La matematica che rende l'IA più efficiente
Pruning, sparsità, sketching, teoria delle matrici aleatorie e modelli informati dalla fisica: come la matematica riduce calcolo, memoria ed energia dell'IA.