greenai.guide

Home › Come faccio a…? › Come raggruppo le richieste all'IA in batch per risparmiare energia?

Come faccio a…?

Come raggruppo le richieste all'IA in batch per risparmiare energia?

Aggiornato · 1 min di lettura

In breve

Gestisca il traffico in tempo reale con un motore di inferenza che usa il batching continuo, così che le richieste simultanee condividano l'acceleratore. Metta in coda il lavoro che non richiede una risposta immediata, come l'elaborazione notturna di documenti, e lo esegua in grandi batch, idealmente quando la rete elettrica è più pulita. Un acceleratore che serve una richiesta alla volta è sottoutilizzato ma assorbe comunque molta potenza.

Passaggi

  1. Separi le richieste interattive dal lavoro che può aspettare minuti o ore.
  2. Gestisca il traffico interattivo con un motore che supporta il batching continuo.
  3. Metta in coda il lavoro non urgente e lo elabori in batch.
  4. Per i modelli in hosting, usi l'interfaccia batch del fornitore, se esiste.
  5. Misuri l'energia per richiesta con dimensioni di batch reali, insieme alla latenza.

Il batching permette a un singolo passaggio dell'hardware di servire molte richieste. L'energia per risposta dipende molto da quanto è occupato l'acceleratore.

Perché è importante?

Le GPU assorbono molta potenza anche quando sono poco cariche, quindi servire le richieste una alla volta distribuisce quella potenza su pochissime risposte. Kwon e colleghi hanno riferito che vLLM, con batching continuo e gestione paginata della cache chiave-valore, ha migliorato il throughput da 2 a 4 volte a parità di latenza rispetto ai sistemi precedenti. Anche la documentazione di Hugging Face sull'inferenza tratta il batching continuo.

Due tipi di batching

  • Batching continuo per il traffico in tempo reale. Il motore di serving aggiunge nuove richieste a un batch in corso man mano che altre terminano, così gli utenti non devono aspettare che un batch si riempia. Usi un motore che lo supporta invece di un semplice ciclo con una richiesta per chiamata.
  • Batch offline per il lavoro che può aspettare. Riassumere i documenti di ieri, etichettare un archivio o valutare un dataset non richiede risposte immediate. Metta il lavoro in coda e lo elabori in blocco. La Green Software Foundation raccomanda di eseguire i carichi di lavoro di IA in batch in regioni e orari a basse emissioni, dove la latenza è meno critica; veda come pianificare il lavoro quando la rete è più verde.

Errori comuni

  • Batch così grandi da peggiorare la latenza per gli utenti interattivi. Faccia la messa a punto sul traffico reale.
  • Spreco da padding. Raggruppare input molto brevi e molto lunghi spreca calcolo in alcuni motori.
  • Lasciare accesi i server batch tra un lavoro e l'altro; veda come evitare che le GPU restino inattive.

Per saperne di più, legga addestramento e inferenza efficienti.

Fonti

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy