# Addestramento e inferenza efficienti per l'IA

> Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.

Source: https://greenai.guide/it/buone-pratiche/addestramento-e-inferenza-efficienti-per-l-ia/  
Updated: 2026-11-19

## In breve

Gran parte dell'energia dell'IA si può ridurre senza perdere qualità riutilizzando i modelli invece di addestrarli da zero, riducendoli con pruning, quantizzazione e distillazione, servendoli con batching e caching ed eseguendo i lavori flessibili quando e dove l'elettricità è più pulita. Misuri l'energia prima e dopo ogni modifica, perché più veloce non significa sempre più verde.

## Punti chiave

- Riutilizzi prima di addestrare: il fine-tuning di un piccolo adattatore con LoRA ha ridotto i parametri addestrabili di 10.000 volte e la memoria GPU di tre volte rispetto al fine-tuning completo di GPT-3 175B.
- I grandi modelli linguistici possono essere sottoposti a pruning fino ad almeno il 50% di sparsità in un solo passaggio senza riaddestramento, con una perdita minima di accuratezza (SparseGPT).
- L'inferenza a 8 bit può dimezzare il fabbisogno di memoria senza perdita di qualità (LLM.int8()); provi anche i 4 bit.
- Il modo di servire i modelli conta: batching e gestione paginata della KV cache hanno dato in vLLM un throughput da 2 a 4 volte superiore a parità di latenza.
- La pianificazione attenta al carbonio riduce le emissioni, non l'energia; la applichi in aggiunta al lavoro sull'efficienza, mai al suo posto.

## Da dove cominciare? {#where-should-i-start}

**Cominci misurando, poi riutilizzi, riduca, serva bene i modelli e pianifichi, in quest'ordine.** I primi passi di
solito fanno risparmiare di più e comportano meno rischi.

Patterson e colleghi di Google hanno stimato nel 2021 che la scelta di modello, data centre e processore può
cambiare l'impronta di carbonio dell'addestramento fino a circa 100–1.000 volte. Gran parte di questo margine è nelle
Sue mani. Prima di cambiare qualsiasi cosa, predisponga la [misurazione dell'energia](/it/buone-pratiche/come-misurare-l-energia-e-il-carbonio-dell-ia/)
sullo stesso hardware e con lo stesso carico, così da mantenere solo le modifiche che fanno risparmiare energia senza
peggiorare la qualità. La velocità non è un indicatore affidabile: una modifica può essere più veloce e più
energivora, oppure più lenta e più parsimoniosa.

## Posso evitare di addestrare da zero? {#can-i-avoid-training-from-scratch}

**Di solito sì: parta da un modello pre-addestrato e adatti solo ciò che Le serve.**

- **Fine-tuning efficiente nei parametri.** LoRA addestra piccole matrici adattatrici di rango basso invece del
  modello completo. Rispetto al fine-tuning completo di GPT-3 175B, i suoi autori hanno riportato 10.000 volte meno
  parametri addestrabili e un terzo della memoria GPU. QLoRA combina questo approccio con pesi a 4 bit e ha permesso
  il fine-tuning di un modello da 65 miliardi di parametri su una sola GPU da 48 GB.
- **Recupero invece di riaddestramento.** Metta i fatti che cambiano in un indice consultabile e li recuperi al
  momento della richiesta. Usi il fine-tuning per competenze e stile, non per i fatti.
- **Model merging ("souping").** Secondo Wortsman e colleghi, fare la media dei pesi di modelli sottoposti a
  fine-tuning a partire dalla stessa base può superare il miglior modello singolo senza costi di inferenza
  aggiuntivi. Unire fine-tuning specialistici è un modo per riutilizzare lavoro già pagato.
- **Apprendimento continuo.** Aggiorni un modello in modo incrementale invece di riaddestrarlo da zero quando i dati
  cambiano.

## In che modo aiutano pruning e sparsità? {#how-do-pruning-and-sparsity-help}

**La maggior parte dei pesi di una rete addestrata può essere rimossa o lasciata inattiva con poca perdita, il che
significa meno calcolo e meno memoria per ogni risposta.**

- **Il pruning non strutturato** rimuove singoli pesi. SparseGPT ha portato modelli della famiglia GPT ad almeno il
  50% di sparsità in un solo passaggio senza riaddestramento, con una perdita minima di accuratezza, e ha raggiunto il
  60% sui più grandi modelli aperti dell'epoca con un aumento trascurabile della perplessità.
- **Il pruning strutturato** rimuove interi neuroni, teste o strati, che l'hardware comune può sfruttare più
  facilmente.
- **La sparsità delle attivazioni** lascia inattiva la maggior parte dei neuroni per un dato input.
- **I modelli mixture-of-experts** inviano ogni token a poche sotto-reti specializzate. Patterson e colleghi hanno
  rilevato che i grandi modelli ad attivazione sparsa possono consumare meno di un decimo dell'energia dei grandi
  modelli densi. Tutti gli esperti devono comunque risiedere in memoria.

Un'avvertenza da un sandpit (laboratorio di ricerca intensivo di più giorni) britannico sulla IA verde del 2026, che
ha riunito matematici, informatici e industria: la sparsità è poco sfruttata anche perché hardware e librerie sono
costruiti per la matematica densa. Verifichi che il Suo ambiente di esecuzione trasformi davvero la sparsità in
energia risparmiata. Il sandpit ha discusso anche dell'uso della teoria delle matrici aleatorie per scegliere i
livelli di sparsità prima dell'addestramento, e di approssimazioni sparse dell'attenzione che si possono inserire
direttamente in modelli pre-addestrati. Veda [la matematica per un'IA efficiente](/it/articoli/la-matematica-che-rende-l-ia-piu-efficiente/).

## E quantizzazione, distillazione e precisione mista? {#what-about-quantisation-distillation-and-mixed-precision}

**Usi meno bit e modelli più piccoli ovunque il livello di qualità lo consenta.**

| Tecnica | Che cosa fa | Risultato pubblicato |
|---|---|---|
| [Quantizzazione](/it/glossario/#quantisation) | Memorizza e calcola i pesi a 8 o 4 bit invece che a 16 o 32 | LLM.int8() ha dimezzato la memoria per l'inferenza senza perdita di qualità fino a 175B parametri; UNESCO e UCL riferiscono che la compressione dei modelli, come la quantizzazione, fa risparmiare fino al 44% di energia |
| [Distillazione](/it/glossario/#distillation) | Addestra un piccolo "studente" a imitare un grande "insegnante" | DistilBERT era più piccolo del 40% e più veloce del 60% rispetto a BERT, mantenendo il 97% della sua comprensione del linguaggio |
| Precisione mista | Addestra a mezza precisione con una copia master a precisione piena | Ha quasi dimezzato l'uso di memoria nell'addestramento (Micikevicius et al.) |

Provi ciascuna tecnica sul Suo insieme di valutazione. Hugging Face osserva che la quantizzazione può aumentare la
latenza quando un carico di lavoro non è limitato dalla memoria, quindi misuri energia e latenza per richiesta prima
e dopo.

## Come servire i modelli in modo efficiente? {#how-do-i-serve-models-efficiently}

**Tenga l'acceleratore occupato con lavoro utile ed eviti di ricalcolare qualsiasi cosa.** Una GPU sottoutilizzata
assorbe comunque molta potenza.

1. **Raggruppi le richieste (batching).** I motori di serving con batching continuo raggruppano le richieste
   simultanee. PagedAttention di vLLM, che gestisce la [KV cache](/it/glossario/#kv-cache) come una memoria virtuale, ha
   dato un throughput da 2 a 4 volte superiore ai sistemi precedenti a parità di latenza.
2. **Usi bene la KV cache.** Memorizzi chiavi e valori dei token precedenti; usi una cache statica con un forward
   pass compilato dove la Sua libreria lo supporta.
3. **Attivi i percorsi ottimizzati.** Pesi a mezza precisione, kernel di attenzione efficienti (come SDPA o
   FlashAttention) e compilazione sono spesso disponibili ma disattivati per impostazione predefinita.
4. **Decodifica speculativa.** Un piccolo modello di bozza propone token che il grande modello verifica. Leviathan e
   colleghi hanno riportato una generazione da 2 a 3 volte più veloce su T5-XXL con output identici.
5. **Limiti la lunghezza dell'output** a ciò che serve al compito, e metta in cache le risposte a richieste
   identiche.
6. **Confronti ambienti di esecuzione e hardware.** Misuri le prestazioni di due o tre stack di serving con le Sue
   dimensioni di batch reali.

## Quando e dove dovrebbero girare i lavori? {#when-and-where-should-jobs-run}

**Esegua il lavoro flessibile quando e dove l'elettricità è più pulita, ma lo consideri un vantaggio in più rispetto
all'efficienza, non un sostituto.**

- **Spostamento nel tempo.** Addestramenti, valutazioni e inferenza in batch spesso possono aspettare ore. Li
  pianifichi in base a una previsione dell'intensità di carbonio; strumenti come CATS avvolgono i lavori del cluster
  per farlo. In Gran Bretagna, la Carbon Intensity API pubblica previsioni regionali.
- **Renda sospendibili i lavori lunghi.** Salvi checkpoint regolarmente, compreso lo stato dell'ottimizzatore, così
  che un lavoro possa fermarsi quando la rete elettrica è più inquinante e riprendere più tardi senza perdere lavoro.
- **Scelga regione e hardware.** Dove la latenza non conta, preferisca una regione a basse emissioni e acceleratori
  efficienti, tenendo conto del costo di spostare i dati. Veda
  [hosting e data centre](/it/buone-pratiche/hosting-e-data-centre-per-un-ia-verde/).
- **Tenga d'occhio l'energia assoluta.** La pianificazione attenta al carbonio sposta il momento in cui il lavoro
  viene eseguito, non quanta energia consuma. Monitori l'energia per unità di lavoro accanto al carbonio.

## Lista di controllo {#checklist}

- [ ] Energia misurata prima e dopo ogni modifica, con la stessa configurazione e più esecuzioni
- [ ] Modello pre-addestrato e adattatori valutati prima di addestrare da zero
- [ ] Recupero usato per i fatti che cambiano invece del riaddestramento
- [ ] Pruning, quantizzazione o distillazione provati rispetto al livello di qualità
- [ ] Precisione mista usata nell'addestramento
- [ ] Batching, ottimizzazione della KV cache e attenzione efficiente attivati nel serving
- [ ] Lunghezza dell'output limitata; richieste identiche messe in cache
- [ ] Lavori flessibili con checkpoint e pianificati per le ore più pulite
- [ ] Energia e hardware dell'addestramento registrati nella model card

## Che cosa fare ora {#what-to-do-next}

1. Aggiunga un tracker delle emissioni come CodeCarbon ai Suoi script di addestramento e valutazione, e metta
   l'energia accanto all'accuratezza nella tabella dei risultati.
2. Provi LoRA o QLoRA nel Suo prossimo fine-tuning e confronti con il fine-tuning completo.
3. Provi una versione a 8 bit e una a 4 bit del modello in produzione sul Suo insieme di valutazione.
4. Misuri le prestazioni del Suo stack di serving con il batching e il percorso di attenzione ottimizzato attivati.
5. Avvolga un lavoro ricorrente del cluster in uno scheduler attento al carbonio.
6. Cerchi formazione nella [directory dei corsi](/it/corsi/) e lavori correlati in [ricerca](/it/ricerca/) e
   [dottorati](/it/dottorati/).

## Domande frequenti

### La quantizzazione riduce l'accuratezza?

A volte, di poco; spesso in modo non percettibile con 8 bit. Provi sempre il modello quantizzato sul Suo insieme di valutazione, e tenga presente che la quantizzazione può aumentare la latenza quando un carico di lavoro non è limitato dalla memoria.

### Che cos'è una KV cache?

Quando un transformer genera testo, memorizza le matrici delle chiavi e dei valori dei token precedenti, così da non ricalcolarle a ogni passo. Gestire bene questa cache è una delle maggiori fonti di efficienza nel servire i modelli.

### Costa più energia l'addestramento o l'inferenza?

Dipende da quanto è usato un modello. L'addestramento è un grande costo una tantum; l'inferenza si paga a ogni richiesta, quindi per i modelli popolari di solito domina nell'arco della vita del modello.

### Che cos'è il model merging o souping?

Fare la media dei pesi di più modelli sottoposti a fine-tuning a partire dallo stesso punto. Il risultato funziona come un unico modello, senza costi di inferenza aggiuntivi, e può superare il miglior modello singolo.

## Fonti

- [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), Hu et al. (arXiv 2106.09685) (2021)
- [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers et al. (arXiv 2305.14314) (2023)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh (arXiv 2301.00774) (2023)
- [LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://arxiv.org/abs/2208.07339), Dettmers et al. (arXiv 2208.07339) (2022)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Fast Inference from Transformers via Speculative Decoding](https://arxiv.org/abs/2211.17192), Leviathan et al. (arXiv 2211.17192) (2022)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al. (arXiv 2203.05482) (2022)
- [Carbon Emissions and Large Neural Network Training](https://arxiv.org/abs/2104.10350), Patterson et al. (arXiv 2104.10350) (2021)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2025)
- [Green Software Patterns: carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation (2025)
- [CATS: Climate-Aware Task Scheduler](https://github.com/GreenScheduler/cats), GreenScheduler (2025)
