# Come velocizzo un modello di grandi dimensioni con la decodifica speculativa?

> Come la decodifica speculativa permette a un piccolo modello bozza di proporre token che un modello grande verifica, con risposte più rapide e output identici.

Source: https://greenai.guide/it/come/come-velocizzo-un-modello-di-grandi-dimensioni-con-la-decodifica/  
Updated: 2026-11-19

## In breve

Affianchi al Suo modello grande un piccolo modello bozza della stessa famiglia: la bozza propone diversi token e il modello grande li verifica in un solo passaggio, tenendo solo quelli su cui concorda. L'output è identico a quello del solo modello grande, e lo studio originale ha riportato un'inferenza da 2 a 3 volte più veloce. Verifichi che il Suo sistema di serving la supporti, poi misuri l'energia per richiesta, non solo la velocità.

## Steps

1. Verifichi se la Sua libreria di inferenza o il Suo motore di serving supportano la decodifica speculativa o assistita.
2. Scelga un piccolo modello bozza che condivida il tokenizzatore del modello grande.
3. La attivi e confermi che gli output coincidano sul Suo carico di lavoro reale.
4. Misuri l'energia per richiesta e la latenza con le dimensioni di batch reali.
5. La mantenga solo se diminuisce l'energia per richiesta, non soltanto la latenza.

**Lasci che sia un modello piccolo a tirare a indovinare e il modello grande a verificare.** I modelli grandi
generano un token alla volta, tenendo impegnato hardware potente per ogni parola; la decodifica speculativa permette
loro di confermare più token in una volta.

## Come funziona? {#how-does-it-work}

Un piccolo **modello bozza** propone rapidamente i token successivi. Il grande **modello di destinazione** li
verifica poi tutti in un unico passaggio in avanti (forward pass) e accetta quelli che avrebbe prodotto lui stesso.
Dove non concorda, sostituisce il proprio token e la bozza riprende. Leviathan, Kalman e Matias hanno mostrato
un'accelerazione da 2 a 3 volte sul modello T5-XXL con output identici. La documentazione di Hugging Face osserva che
non c'è alcun peggioramento dell'accuratezza, perché il passaggio di verifica garantisce che vengano generati gli
stessi output.

Tra le varianti c'è la prompt lookup decoding, che ricava la bozza da testo già presente nel prompt ed è adatta a
compiti come la revisione o il riassunto, in cui la risposta ripete l'input.

## Più veloce significa più verde? {#does-faster-mean-greener}

**Non automaticamente.** Ora i modelli in esecuzione sono due, e quello grande svolge un lavoro di verifica in più.
Che l'energia per richiesta diminuisca dipende da quanto spesso le bozze vengono accettate, dalla dimensione del
batch e dall'hardware. I ricercatori di GreenCode hanno rilevato su llama.cpp che energia e velocità possono
raccontare storie diverse: una modifica ha fatto risparmiare il 4,7% dell'energia della GPU con un guadagno di
velocità di appena il 3%. Misuri direttamente l'energia.

## Errori comuni {#common-mistakes}

- **Un modello bozza troppo grande**, che rallenta tutto.
- **Tokenizzatori diversi** tra bozza e modello di destinazione.
- **Fare test su un carico di lavoro diverso** da quello di produzione; i tassi di accettazione variano a seconda
  del compito.

Per altre tecniche di serving, veda [come ridurre l'energia necessaria a servire un modello](/it/come/come-riduco-l-energia-per-servire-un-modello-in-produzione/)
e [addestramento e inferenza efficienti](/it/buone-pratiche/addestramento-e-inferenza-efficienti-per-l-ia/).

## Fonti

- [Fast inference from transformers via speculative decoding](https://arxiv.org/abs/2211.17192), Leviathan, Kalman and Matias, ICML 2023 (2022)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
