greenai.guide

Home › Come faccio a…? › Come quantizzo un modello?

Come faccio a…?

Come quantizzo un modello?

Aggiornato · 1 min di lettura

In breve

Quantizzare significa memorizzare i pesi di un modello con meno bit, di solito 8 o 4 invece di 16 o 32, così che serva meno memoria e spesso meno energia per risposta. Carichi una versione già quantizzata o quantizzi con i metodi integrati della Sua libreria, poi la verifichi sui Suoi esempi rispetto al modello a precisione piena. La tenga se la qualità regge e l'energia per richiesta diminuisce.

Passaggi

  1. Verifichi se esiste già una versione quantizzata del Suo modello.
  2. Altrimenti quantizzi con un metodo supportato dalla Sua libreria, partendo da 8 bit.
  3. Esegua il modello quantizzato e quello originale sullo stesso insieme di valutazione.
  4. Provi i 4 bit se la qualità a 8 bit regge e ha bisogno di risparmiare altra memoria.
  5. Misuri energia e latenza per richiesta con la dimensione di batch reale prima di passare al nuovo modello.

Per un modello che esegue in proprio, la quantizzazione è spesso il guadagno di efficienza più rapido. Riduce la memoria, così il modello entra in meno GPU o in GPU più piccole, e può ridurre l'energia per risposta.

Perché è importante?

La documentazione di Hugging Face dà un'idea delle proporzioni: un modello da 8 miliardi di parametri richiede circa 16 GB per i pesi a precisione di 16 bit, circa 8 GB a 8 bit e circa 4-5 GB a 4 bit. Dettmers e colleghi hanno mostrato con LLM.int8() che l'inferenza a 8 bit può dimezzare la memoria necessaria mantenendo le prestazioni a precisione piena, per modelli fino a 175 miliardi di parametri. UNESCO e University College London riferiscono che la compressione, come la quantizzazione, può far risparmiare fino al 44% di energia.

Come si fa?

  • Scarichi una versione quantizzata. Molti modelli aperti sono pubblicati in formati quantizzati. GGUF, usato da llama.cpp, offre tipi di quantizzazione da circa 1,5 a 8 bit per peso.
  • Quantizzi al caricamento. Librerie come Hugging Face Transformers supportano oltre 20 metodi di quantizzazione, diversi dei quali quantizzano i pesi mentre il modello viene caricato.
  • Calibri dove serve. Alcuni metodi usano un piccolo campione dei Suoi dati per scegliere come arrotondare, il che tende a preservare meglio la qualità a 4 bit.

Errori comuni

  • Saltare la verifica della qualità. Meno bit costano un po' di accuratezza, e ogni metodo bilancia in modo diverso memoria, velocità e accuratezza. Faccia prove sui Suoi casi.
  • Dare per scontato che sia sempre più veloce. Hugging Face osserva che, se non è limitato dalla memoria della GPU, la quantizzazione può aumentare leggermente la latenza per via dei passaggi aggiuntivi di quantizzazione e dequantizzazione. Misuri l'energia, non solo la velocità.
  • Fermarsi alla quantizzazione. La combini con un modello più piccolo o con la distillazione.

Approfondisca in addestramento e inferenza efficienti.

Fonti

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy