In breve
Serva il modello più piccolo che raggiunge la Sua soglia, su un runtime progettato per l'inferenza, con il batching attivo, i pesi in mezza precisione o quantizzati e i percorsi ottimizzati di attenzione e cache della libreria abilitati. Poi faccia un benchmark di due o tre runtime e opzioni hardware con il Suo traffico reale, e scelga in base all'energia per richiesta oltre che alla latenza.
Passaggi
- Verifichi che il modello sia il più piccolo in grado di raggiungere la Sua soglia di qualità.
- Lo serva con un motore di inferenza che supporta il batching continuo.
- Carichi i pesi in mezza precisione o in un formato quantizzato collaudato.
- Attivi un'attenzione efficiente e una cache chiave-valore statica, dove la Sua libreria le supporta.
- Faccia un benchmark di due o tre runtime e tipi di GPU con le Sue dimensioni di batch reali.
- Riduca le risorse, o le azzeri, quando il traffico è basso.
La maggior parte dell'energia nella vita di un modello si spende per servirlo, quindi le impostazioni di serving contano. Le impostazioni predefinite sono raramente l'opzione più efficiente, e i percorsi ottimizzati di solito vanno attivati.
Che cosa fa la differenza maggiore?
- Batching. Un acceleratore che serve una richiesta alla volta è sottoutilizzato ma assorbe comunque potenza. Kwon e colleghi hanno riferito che vLLM, con la gestione paginata della cache chiave-valore, ha offerto da 2 a 4 volte il throughput dei sistemi precedenti a parità di latenza. Veda come raggruppare le richieste all'IA in batch.
- Precisione. La mezza precisione o un modello quantizzato collaudato richiedono meno memoria e spesso meno GPU.
- Percorsi di codice ottimizzati. Hugging Face documenta implementazioni efficienti dell'attenzione e una cache
chiave-valore statica combinata con
torch.compile, che secondo la documentazione può dare un'accelerazione fino a 4 volte. - Runtime e hardware scelti in base alle prove. La Green Software Foundation raccomanda di scegliere framework e runtime di inferenza efficienti; ne faccia un benchmark invece di usare quello con cui è stato addestrato il modello.
Errori comuni
- Considerare la velocità come energia. I ricercatori di GreenCode che lavoravano su llama.cpp hanno ridotto l'energia della GPU del 4,7% mentre la velocità è aumentata solo del 3%: le due misure raccontano storie diverse. Le misuri entrambe.
- Fare il benchmark con batch di dimensione uno quando la produzione gira con una concorrenza molto più alta, o viceversa.
- Lasciare repliche accese durante la notte per un traffico che non c'è. Veda come evitare che le GPU restino inattive.
- Non fare il riscaldamento dei modelli compilati prima di misurare, il che altera i numeri.
Per l'insieme completo degli strumenti, legga addestramento e inferenza efficienti.
Fonti
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
Correlati
Come raggruppo le richieste all'IA in batch per risparmiare energia?
Come il batching aumenta l'utilizzo degli acceleratori e riduce l'energia per risposta: batching continuo per il traffico in tempo reale e batch in coda per il lavoro offline.
Come quantizzo un modello?
Come quantizzare un modello di IA a 8 o 4 bit: quali strumenti usare, come verificare la qualità e quando la quantizzazione fa risparmiare energia e quando no.
Come velocizzo un modello di grandi dimensioni con la decodifica speculativa?
Come la decodifica speculativa permette a un piccolo modello bozza di proporre token che un modello grande verifica, con risposte più rapide e output identici.
Addestramento e inferenza efficienti per l'IA
Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.