greenai.guide

Home › Buone pratiche › Addestramento e inferenza efficienti per l'IA

Buone pratiche

Addestramento e inferenza efficienti per l'IA

Aggiornato · 6 min di lettura

In breve

Gran parte dell'energia dell'IA si può ridurre senza perdere qualità riutilizzando i modelli invece di addestrarli da zero, riducendoli con pruning, quantizzazione e distillazione, servendoli con batching e caching ed eseguendo i lavori flessibili quando e dove l'elettricità è più pulita. Misuri l'energia prima e dopo ogni modifica, perché più veloce non significa sempre più verde.

Punti chiave

  • Riutilizzi prima di addestrare: il fine-tuning di un piccolo adattatore con LoRA ha ridotto i parametri addestrabili di 10.000 volte e la memoria GPU di tre volte rispetto al fine-tuning completo di GPT-3 175B.
  • I grandi modelli linguistici possono essere sottoposti a pruning fino ad almeno il 50% di sparsità in un solo passaggio senza riaddestramento, con una perdita minima di accuratezza (SparseGPT).
  • L'inferenza a 8 bit può dimezzare il fabbisogno di memoria senza perdita di qualità (LLM.int8()); provi anche i 4 bit.
  • Il modo di servire i modelli conta: batching e gestione paginata della KV cache hanno dato in vLLM un throughput da 2 a 4 volte superiore a parità di latenza.
  • La pianificazione attenta al carbonio riduce le emissioni, non l'energia; la applichi in aggiunta al lavoro sull'efficienza, mai al suo posto.

Da dove cominciare?

Cominci misurando, poi riutilizzi, riduca, serva bene i modelli e pianifichi, in quest'ordine. I primi passi di solito fanno risparmiare di più e comportano meno rischi.

Patterson e colleghi di Google hanno stimato nel 2021 che la scelta di modello, data centre e processore può cambiare l'impronta di carbonio dell'addestramento fino a circa 100–1.000 volte. Gran parte di questo margine è nelle Sue mani. Prima di cambiare qualsiasi cosa, predisponga la misurazione dell'energia sullo stesso hardware e con lo stesso carico, così da mantenere solo le modifiche che fanno risparmiare energia senza peggiorare la qualità. La velocità non è un indicatore affidabile: una modifica può essere più veloce e più energivora, oppure più lenta e più parsimoniosa.

Posso evitare di addestrare da zero?

Di solito sì: parta da un modello pre-addestrato e adatti solo ciò che Le serve.

  • Fine-tuning efficiente nei parametri. LoRA addestra piccole matrici adattatrici di rango basso invece del modello completo. Rispetto al fine-tuning completo di GPT-3 175B, i suoi autori hanno riportato 10.000 volte meno parametri addestrabili e un terzo della memoria GPU. QLoRA combina questo approccio con pesi a 4 bit e ha permesso il fine-tuning di un modello da 65 miliardi di parametri su una sola GPU da 48 GB.
  • Recupero invece di riaddestramento. Metta i fatti che cambiano in un indice consultabile e li recuperi al momento della richiesta. Usi il fine-tuning per competenze e stile, non per i fatti.
  • Model merging ("souping"). Secondo Wortsman e colleghi, fare la media dei pesi di modelli sottoposti a fine-tuning a partire dalla stessa base può superare il miglior modello singolo senza costi di inferenza aggiuntivi. Unire fine-tuning specialistici è un modo per riutilizzare lavoro già pagato.
  • Apprendimento continuo. Aggiorni un modello in modo incrementale invece di riaddestrarlo da zero quando i dati cambiano.

In che modo aiutano pruning e sparsità?

La maggior parte dei pesi di una rete addestrata può essere rimossa o lasciata inattiva con poca perdita, il che significa meno calcolo e meno memoria per ogni risposta.

  • Il pruning non strutturato rimuove singoli pesi. SparseGPT ha portato modelli della famiglia GPT ad almeno il 50% di sparsità in un solo passaggio senza riaddestramento, con una perdita minima di accuratezza, e ha raggiunto il 60% sui più grandi modelli aperti dell'epoca con un aumento trascurabile della perplessità.
  • Il pruning strutturato rimuove interi neuroni, teste o strati, che l'hardware comune può sfruttare più facilmente.
  • La sparsità delle attivazioni lascia inattiva la maggior parte dei neuroni per un dato input.
  • I modelli mixture-of-experts inviano ogni token a poche sotto-reti specializzate. Patterson e colleghi hanno rilevato che i grandi modelli ad attivazione sparsa possono consumare meno di un decimo dell'energia dei grandi modelli densi. Tutti gli esperti devono comunque risiedere in memoria.

Un'avvertenza da un sandpit (laboratorio di ricerca intensivo di più giorni) britannico sulla IA verde del 2026, che ha riunito matematici, informatici e industria: la sparsità è poco sfruttata anche perché hardware e librerie sono costruiti per la matematica densa. Verifichi che il Suo ambiente di esecuzione trasformi davvero la sparsità in energia risparmiata. Il sandpit ha discusso anche dell'uso della teoria delle matrici aleatorie per scegliere i livelli di sparsità prima dell'addestramento, e di approssimazioni sparse dell'attenzione che si possono inserire direttamente in modelli pre-addestrati. Veda la matematica per un'IA efficiente.

E quantizzazione, distillazione e precisione mista?

Usi meno bit e modelli più piccoli ovunque il livello di qualità lo consenta.

Tecnica Che cosa fa Risultato pubblicato
Quantizzazione Memorizza e calcola i pesi a 8 o 4 bit invece che a 16 o 32 LLM.int8() ha dimezzato la memoria per l'inferenza senza perdita di qualità fino a 175B parametri; UNESCO e UCL riferiscono che la compressione dei modelli, come la quantizzazione, fa risparmiare fino al 44% di energia
Distillazione Addestra un piccolo "studente" a imitare un grande "insegnante" DistilBERT era più piccolo del 40% e più veloce del 60% rispetto a BERT, mantenendo il 97% della sua comprensione del linguaggio
Precisione mista Addestra a mezza precisione con una copia master a precisione piena Ha quasi dimezzato l'uso di memoria nell'addestramento (Micikevicius et al.)

Provi ciascuna tecnica sul Suo insieme di valutazione. Hugging Face osserva che la quantizzazione può aumentare la latenza quando un carico di lavoro non è limitato dalla memoria, quindi misuri energia e latenza per richiesta prima e dopo.

Come servire i modelli in modo efficiente?

Tenga l'acceleratore occupato con lavoro utile ed eviti di ricalcolare qualsiasi cosa. Una GPU sottoutilizzata assorbe comunque molta potenza.

  1. Raggruppi le richieste (batching). I motori di serving con batching continuo raggruppano le richieste simultanee. PagedAttention di vLLM, che gestisce la KV cache come una memoria virtuale, ha dato un throughput da 2 a 4 volte superiore ai sistemi precedenti a parità di latenza.
  2. Usi bene la KV cache. Memorizzi chiavi e valori dei token precedenti; usi una cache statica con un forward pass compilato dove la Sua libreria lo supporta.
  3. Attivi i percorsi ottimizzati. Pesi a mezza precisione, kernel di attenzione efficienti (come SDPA o FlashAttention) e compilazione sono spesso disponibili ma disattivati per impostazione predefinita.
  4. Decodifica speculativa. Un piccolo modello di bozza propone token che il grande modello verifica. Leviathan e colleghi hanno riportato una generazione da 2 a 3 volte più veloce su T5-XXL con output identici.
  5. Limiti la lunghezza dell'output a ciò che serve al compito, e metta in cache le risposte a richieste identiche.
  6. Confronti ambienti di esecuzione e hardware. Misuri le prestazioni di due o tre stack di serving con le Sue dimensioni di batch reali.

Quando e dove dovrebbero girare i lavori?

Esegua il lavoro flessibile quando e dove l'elettricità è più pulita, ma lo consideri un vantaggio in più rispetto all'efficienza, non un sostituto.

  • Spostamento nel tempo. Addestramenti, valutazioni e inferenza in batch spesso possono aspettare ore. Li pianifichi in base a una previsione dell'intensità di carbonio; strumenti come CATS avvolgono i lavori del cluster per farlo. In Gran Bretagna, la Carbon Intensity API pubblica previsioni regionali.
  • Renda sospendibili i lavori lunghi. Salvi checkpoint regolarmente, compreso lo stato dell'ottimizzatore, così che un lavoro possa fermarsi quando la rete elettrica è più inquinante e riprendere più tardi senza perdere lavoro.
  • Scelga regione e hardware. Dove la latenza non conta, preferisca una regione a basse emissioni e acceleratori efficienti, tenendo conto del costo di spostare i dati. Veda hosting e data centre.
  • Tenga d'occhio l'energia assoluta. La pianificazione attenta al carbonio sposta il momento in cui il lavoro viene eseguito, non quanta energia consuma. Monitori l'energia per unità di lavoro accanto al carbonio.

Lista di controllo

  • [ ] Energia misurata prima e dopo ogni modifica, con la stessa configurazione e più esecuzioni
  • [ ] Modello pre-addestrato e adattatori valutati prima di addestrare da zero
  • [ ] Recupero usato per i fatti che cambiano invece del riaddestramento
  • [ ] Pruning, quantizzazione o distillazione provati rispetto al livello di qualità
  • [ ] Precisione mista usata nell'addestramento
  • [ ] Batching, ottimizzazione della KV cache e attenzione efficiente attivati nel serving
  • [ ] Lunghezza dell'output limitata; richieste identiche messe in cache
  • [ ] Lavori flessibili con checkpoint e pianificati per le ore più pulite
  • [ ] Energia e hardware dell'addestramento registrati nella model card

Che cosa fare ora

  1. Aggiunga un tracker delle emissioni come CodeCarbon ai Suoi script di addestramento e valutazione, e metta l'energia accanto all'accuratezza nella tabella dei risultati.
  2. Provi LoRA o QLoRA nel Suo prossimo fine-tuning e confronti con il fine-tuning completo.
  3. Provi una versione a 8 bit e una a 4 bit del modello in produzione sul Suo insieme di valutazione.
  4. Misuri le prestazioni del Suo stack di serving con il batching e il percorso di attenzione ottimizzato attivati.
  5. Avvolga un lavoro ricorrente del cluster in uno scheduler attento al carbonio.
  6. Cerchi formazione nella directory dei corsi e lavori correlati in ricerca e dottorati.

Domande frequenti

La quantizzazione riduce l'accuratezza?

A volte, di poco; spesso in modo non percettibile con 8 bit. Provi sempre il modello quantizzato sul Suo insieme di valutazione, e tenga presente che la quantizzazione può aumentare la latenza quando un carico di lavoro non è limitato dalla memoria.

Che cos'è una KV cache?

Quando un transformer genera testo, memorizza le matrici delle chiavi e dei valori dei token precedenti, così da non ricalcolarle a ogni passo. Gestire bene questa cache è una delle maggiori fonti di efficienza nel servire i modelli.

Costa più energia l'addestramento o l'inferenza?

Dipende da quanto è usato un modello. L'addestramento è un grande costo una tantum; l'inferenza si paga a ogni richiesta, quindi per i modelli popolari di solito domina nell'arco della vita del modello.

Che cos'è il model merging o souping?

Fare la media dei pesi di più modelli sottoposti a fine-tuning a partire dallo stesso punto. Il risultato funziona come un unico modello, senza costi di inferenza aggiuntivi, e può superare il miglior modello singolo.

Fonti

  1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
  2. QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
  3. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
  4. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
  5. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  6. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  7. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  8. Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
  9. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
  10. Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
  11. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  12. Optimizing inference, Hugging Face Transformers documentation (2025)
  13. Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
  14. CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy