In breve
Quantizzare significa memorizzare i pesi di un modello con meno bit, di solito 8 o 4 invece di 16 o 32, così che serva meno memoria e spesso meno energia per risposta. Carichi una versione già quantizzata o quantizzi con i metodi integrati della Sua libreria, poi la verifichi sui Suoi esempi rispetto al modello a precisione piena. La tenga se la qualità regge e l'energia per richiesta diminuisce.
Passaggi
- Verifichi se esiste già una versione quantizzata del Suo modello.
- Altrimenti quantizzi con un metodo supportato dalla Sua libreria, partendo da 8 bit.
- Esegua il modello quantizzato e quello originale sullo stesso insieme di valutazione.
- Provi i 4 bit se la qualità a 8 bit regge e ha bisogno di risparmiare altra memoria.
- Misuri energia e latenza per richiesta con la dimensione di batch reale prima di passare al nuovo modello.
Per un modello che esegue in proprio, la quantizzazione è spesso il guadagno di efficienza più rapido. Riduce la memoria, così il modello entra in meno GPU o in GPU più piccole, e può ridurre l'energia per risposta.
Perché è importante?
La documentazione di Hugging Face dà un'idea delle proporzioni: un modello da 8 miliardi di parametri richiede circa 16 GB per i pesi a precisione di 16 bit, circa 8 GB a 8 bit e circa 4-5 GB a 4 bit. Dettmers e colleghi hanno mostrato con LLM.int8() che l'inferenza a 8 bit può dimezzare la memoria necessaria mantenendo le prestazioni a precisione piena, per modelli fino a 175 miliardi di parametri. UNESCO e University College London riferiscono che la compressione, come la quantizzazione, può far risparmiare fino al 44% di energia.
Come si fa?
- Scarichi una versione quantizzata. Molti modelli aperti sono pubblicati in formati quantizzati. GGUF, usato da llama.cpp, offre tipi di quantizzazione da circa 1,5 a 8 bit per peso.
- Quantizzi al caricamento. Librerie come Hugging Face Transformers supportano oltre 20 metodi di quantizzazione, diversi dei quali quantizzano i pesi mentre il modello viene caricato.
- Calibri dove serve. Alcuni metodi usano un piccolo campione dei Suoi dati per scegliere come arrotondare, il che tende a preservare meglio la qualità a 4 bit.
Errori comuni
- Saltare la verifica della qualità. Meno bit costano un po' di accuratezza, e ogni metodo bilancia in modo diverso memoria, velocità e accuratezza. Faccia prove sui Suoi casi.
- Dare per scontato che sia sempre più veloce. Hugging Face osserva che, se non è limitato dalla memoria della GPU, la quantizzazione può aumentare leggermente la latenza per via dei passaggi aggiuntivi di quantizzazione e dequantizzazione. Misuri l'energia, non solo la velocità.
- Fermarsi alla quantizzazione. La combini con un modello più piccolo o con la distillazione.
Approfondisca in addestramento e inferenza efficienti.
Fonti
- Quantization overview, Hugging Face Transformers documentation (2026)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- GGUF, Hugging Face Hub documentation (2026)
Correlati
Addestramento e inferenza efficienti per l'IA
Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.
Come eseguo un modello di IA in locale?
Come eseguire un modello di IA aperto sul proprio portatile o server con strumenti come Ollama o llama.cpp, scegliere un modello quantizzato adatto e misurarne l'energia.
Come riduco l'energia per servire un modello in produzione?
Come servire un modello in self-hosting con meno energia per richiesta: runtime efficienti, batching, mezza precisione, cache compilate e hardware collaudato.
Come faccio il pruning di una rete neurale?
Come potare una rete neurale addestrata eliminando i pesi poco utili, verificare quanta accuratezza resta e controllare che l'hardware risparmi davvero.