In breve
Gestisca il traffico in tempo reale con un motore di inferenza che usa il batching continuo, così che le richieste simultanee condividano l'acceleratore. Metta in coda il lavoro che non richiede una risposta immediata, come l'elaborazione notturna di documenti, e lo esegua in grandi batch, idealmente quando la rete elettrica è più pulita. Un acceleratore che serve una richiesta alla volta è sottoutilizzato ma assorbe comunque molta potenza.
Passaggi
- Separi le richieste interattive dal lavoro che può aspettare minuti o ore.
- Gestisca il traffico interattivo con un motore che supporta il batching continuo.
- Metta in coda il lavoro non urgente e lo elabori in batch.
- Per i modelli in hosting, usi l'interfaccia batch del fornitore, se esiste.
- Misuri l'energia per richiesta con dimensioni di batch reali, insieme alla latenza.
Il batching permette a un singolo passaggio dell'hardware di servire molte richieste. L'energia per risposta dipende molto da quanto è occupato l'acceleratore.
Perché è importante?
Le GPU assorbono molta potenza anche quando sono poco cariche, quindi servire le richieste una alla volta distribuisce quella potenza su pochissime risposte. Kwon e colleghi hanno riferito che vLLM, con batching continuo e gestione paginata della cache chiave-valore, ha migliorato il throughput da 2 a 4 volte a parità di latenza rispetto ai sistemi precedenti. Anche la documentazione di Hugging Face sull'inferenza tratta il batching continuo.
Due tipi di batching
- Batching continuo per il traffico in tempo reale. Il motore di serving aggiunge nuove richieste a un batch in corso man mano che altre terminano, così gli utenti non devono aspettare che un batch si riempia. Usi un motore che lo supporta invece di un semplice ciclo con una richiesta per chiamata.
- Batch offline per il lavoro che può aspettare. Riassumere i documenti di ieri, etichettare un archivio o valutare un dataset non richiede risposte immediate. Metta il lavoro in coda e lo elabori in blocco. La Green Software Foundation raccomanda di eseguire i carichi di lavoro di IA in batch in regioni e orari a basse emissioni, dove la latenza è meno critica; veda come pianificare il lavoro quando la rete è più verde.
Errori comuni
- Batch così grandi da peggiorare la latenza per gli utenti interattivi. Faccia la messa a punto sul traffico reale.
- Spreco da padding. Raggruppare input molto brevi e molto lunghi spreca calcolo in alcuni motori.
- Lasciare accesi i server batch tra un lavoro e l'altro; veda come evitare che le GPU restino inattive.
Per saperne di più, legga addestramento e inferenza efficienti.
Fonti
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Correlati
Come riduco l'energia per servire un modello in produzione?
Come servire un modello in self-hosting con meno energia per richiesta: runtime efficienti, batching, mezza precisione, cache compilate e hardware collaudato.
Come pianifico l'addestramento quando la rete elettrica è più verde?
Esegua addestramento e lavori di IA in batch quando l'intensità di carbonio della rete è bassa: usi le previsioni, preveda checkpoint e tratti le scadenze come limiti rigidi.
Addestramento e inferenza efficienti per l'IA
Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.
Come evito che GPU e notebook restino accesi inutilizzati?
Evitare che l'hardware per l'IA inattivo sprechi energia: risorse su richiesta, arresto automatico dei notebook, scala a zero fuori orario e report delle ore-GPU inattive.