greenai.guide

Home › Come faccio a…? › Come riduco l'energia per servire un modello in produzione?

Come faccio a…?

Come riduco l'energia per servire un modello in produzione?

Aggiornato · 1 min di lettura

In breve

Serva il modello più piccolo che raggiunge la Sua soglia, su un runtime progettato per l'inferenza, con il batching attivo, i pesi in mezza precisione o quantizzati e i percorsi ottimizzati di attenzione e cache della libreria abilitati. Poi faccia un benchmark di due o tre runtime e opzioni hardware con il Suo traffico reale, e scelga in base all'energia per richiesta oltre che alla latenza.

Passaggi

  1. Verifichi che il modello sia il più piccolo in grado di raggiungere la Sua soglia di qualità.
  2. Lo serva con un motore di inferenza che supporta il batching continuo.
  3. Carichi i pesi in mezza precisione o in un formato quantizzato collaudato.
  4. Attivi un'attenzione efficiente e una cache chiave-valore statica, dove la Sua libreria le supporta.
  5. Faccia un benchmark di due o tre runtime e tipi di GPU con le Sue dimensioni di batch reali.
  6. Riduca le risorse, o le azzeri, quando il traffico è basso.

La maggior parte dell'energia nella vita di un modello si spende per servirlo, quindi le impostazioni di serving contano. Le impostazioni predefinite sono raramente l'opzione più efficiente, e i percorsi ottimizzati di solito vanno attivati.

Che cosa fa la differenza maggiore?

  1. Batching. Un acceleratore che serve una richiesta alla volta è sottoutilizzato ma assorbe comunque potenza. Kwon e colleghi hanno riferito che vLLM, con la gestione paginata della cache chiave-valore, ha offerto da 2 a 4 volte il throughput dei sistemi precedenti a parità di latenza. Veda come raggruppare le richieste all'IA in batch.
  2. Precisione. La mezza precisione o un modello quantizzato collaudato richiedono meno memoria e spesso meno GPU.
  3. Percorsi di codice ottimizzati. Hugging Face documenta implementazioni efficienti dell'attenzione e una cache chiave-valore statica combinata con torch.compile, che secondo la documentazione può dare un'accelerazione fino a 4 volte.
  4. Runtime e hardware scelti in base alle prove. La Green Software Foundation raccomanda di scegliere framework e runtime di inferenza efficienti; ne faccia un benchmark invece di usare quello con cui è stato addestrato il modello.

Errori comuni

  • Considerare la velocità come energia. I ricercatori di GreenCode che lavoravano su llama.cpp hanno ridotto l'energia della GPU del 4,7% mentre la velocità è aumentata solo del 3%: le due misure raccontano storie diverse. Le misuri entrambe.
  • Fare il benchmark con batch di dimensione uno quando la produzione gira con una concorrenza molto più alta, o viceversa.
  • Lasciare repliche accese durante la notte per un traffico che non c'è. Veda come evitare che le GPU restino inattive.
  • Non fare il riscaldamento dei modelli compilati prima di misurare, il che altera i numeri.

Per l'insieme completo degli strumenti, legga addestramento e inferenza efficienti.

Fonti

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy