# Come quantizzo un modello?

> Come quantizzare un modello di IA a 8 o 4 bit: quali strumenti usare, come verificare la qualità e quando la quantizzazione fa risparmiare energia e quando no.

Source: https://greenai.guide/it/come/come-quantizzo-un-modello/  
Updated: 2026-11-19

## In breve

Quantizzare significa memorizzare i pesi di un modello con meno bit, di solito 8 o 4 invece di 16 o 32, così che serva meno memoria e spesso meno energia per risposta. Carichi una versione già quantizzata o quantizzi con i metodi integrati della Sua libreria, poi la verifichi sui Suoi esempi rispetto al modello a precisione piena. La tenga se la qualità regge e l'energia per richiesta diminuisce.

## Steps

1. Verifichi se esiste già una versione quantizzata del Suo modello.
2. Altrimenti quantizzi con un metodo supportato dalla Sua libreria, partendo da 8 bit.
3. Esegua il modello quantizzato e quello originale sullo stesso insieme di valutazione.
4. Provi i 4 bit se la qualità a 8 bit regge e ha bisogno di risparmiare altra memoria.
5. Misuri energia e latenza per richiesta con la dimensione di batch reale prima di passare al nuovo modello.

**Per un modello che esegue in proprio, la quantizzazione è spesso il guadagno di efficienza più rapido.** Riduce la
memoria, così il modello entra in meno GPU o in GPU più piccole, e può ridurre l'energia per risposta.

## Perché è importante? {#why-does-it-matter}

La documentazione di Hugging Face dà un'idea delle proporzioni: un modello da 8 miliardi di parametri richiede circa
16 GB per i pesi a precisione di 16 bit, circa 8 GB a 8 bit e circa 4-5 GB a 4 bit. Dettmers e colleghi hanno
mostrato con LLM.int8() che l'inferenza a 8 bit può dimezzare la memoria necessaria mantenendo le prestazioni a
precisione piena, per modelli fino a 175 miliardi di parametri. UNESCO e University College London riferiscono che
la compressione, come la quantizzazione, può far risparmiare fino al 44% di energia.

## Come si fa? {#how-do-i-do-it}

- **Scarichi una versione quantizzata.** Molti modelli aperti sono pubblicati in formati quantizzati. GGUF, usato da
  llama.cpp, offre tipi di quantizzazione da circa 1,5 a 8 bit per peso.
- **Quantizzi al caricamento.** Librerie come Hugging Face Transformers supportano oltre 20 metodi di quantizzazione,
  diversi dei quali quantizzano i pesi mentre il modello viene caricato.
- **Calibri dove serve.** Alcuni metodi usano un piccolo campione dei Suoi dati per scegliere come arrotondare, il
  che tende a preservare meglio la qualità a 4 bit.

## Errori comuni {#common-mistakes}

- **Saltare la verifica della qualità.** Meno bit costano un po' di accuratezza, e ogni metodo bilancia in modo
  diverso memoria, velocità e accuratezza. Faccia prove sui Suoi casi.
- **Dare per scontato che sia sempre più veloce.** Hugging Face osserva che, se non è limitato dalla memoria della
  GPU, la quantizzazione può aumentare leggermente la latenza per via dei passaggi aggiuntivi di quantizzazione e
  dequantizzazione. Misuri l'energia, non solo la velocità.
- **Fermarsi alla quantizzazione.** La combini con un modello più piccolo o con la [distillazione](/it/come/come-distillo-un-modello-grande-in-uno-piu-piccolo/).

Approfondisca in [addestramento e inferenza efficienti](/it/buone-pratiche/addestramento-e-inferenza-efficienti-per-l-ia/).

## Fonti

- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [LLM.int8(): 8-bit matrix multiplication for transformers at scale](https://arxiv.org/abs/2208.07339), Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- [Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO and University College London (2025)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
