# Come raggruppo le richieste all'IA in batch per risparmiare energia?

> Come il batching aumenta l'utilizzo degli acceleratori e riduce l'energia per risposta: batching continuo per il traffico in tempo reale e batch in coda per il lavoro offline.

Source: https://greenai.guide/it/come/come-raggruppo-le-richieste-all-ia-in-batch-per-risparmiare-energia/  
Updated: 2026-11-19

## In breve

Gestisca il traffico in tempo reale con un motore di inferenza che usa il batching continuo, così che le richieste simultanee condividano l'acceleratore. Metta in coda il lavoro che non richiede una risposta immediata, come l'elaborazione notturna di documenti, e lo esegua in grandi batch, idealmente quando la rete elettrica è più pulita. Un acceleratore che serve una richiesta alla volta è sottoutilizzato ma assorbe comunque molta potenza.

## Steps

1. Separi le richieste interattive dal lavoro che può aspettare minuti o ore.
2. Gestisca il traffico interattivo con un motore che supporta il batching continuo.
3. Metta in coda il lavoro non urgente e lo elabori in batch.
4. Per i modelli in hosting, usi l'interfaccia batch del fornitore, se esiste.
5. Misuri l'energia per richiesta con dimensioni di batch reali, insieme alla latenza.

**Il batching permette a un singolo passaggio dell'hardware di servire molte richieste.** L'energia per risposta
dipende molto da quanto è occupato l'acceleratore.

## Perché è importante? {#why-does-it-matter}

Le GPU assorbono molta potenza anche quando sono poco cariche, quindi servire le richieste una alla volta distribuisce
quella potenza su pochissime risposte. Kwon e colleghi hanno riferito che vLLM, con batching continuo e gestione
paginata della cache chiave-valore, ha migliorato il throughput da 2 a 4 volte a parità di latenza rispetto ai
sistemi precedenti. Anche la documentazione di Hugging Face sull'inferenza tratta il batching continuo.

## Due tipi di batching {#two-kinds-of-batching}

- **Batching continuo per il traffico in tempo reale.** Il motore di serving aggiunge nuove richieste a un batch in
  corso man mano che altre terminano, così gli utenti non devono aspettare che un batch si riempia. Usi un motore che
  lo supporta invece di un semplice ciclo con una richiesta per chiamata.
- **Batch offline per il lavoro che può aspettare.** Riassumere i documenti di ieri, etichettare un archivio o
  valutare un dataset non richiede risposte immediate. Metta il lavoro in coda e lo elabori in blocco. La Green
  Software Foundation raccomanda di eseguire i carichi di lavoro di IA in batch in regioni e orari a basse emissioni,
  dove la latenza è meno critica; veda
  [come pianificare il lavoro quando la rete è più verde](/it/come/come-pianifico-l-addestramento-quando-la-rete-elettrica-e-piu-verde/).

## Errori comuni {#common-mistakes}

- **Batch così grandi da peggiorare la latenza** per gli utenti interattivi. Faccia la messa a punto sul traffico
  reale.
- **Spreco da padding.** Raggruppare input molto brevi e molto lunghi spreca calcolo in alcuni motori.
- **Lasciare accesi i server batch** tra un lavoro e l'altro; veda [come evitare che le GPU restino inattive](/it/come/come-evito-che-gpu-e-notebook-restino-accesi-inutilizzati/).

Per saperne di più, legga [addestramento e inferenza efficienti](/it/buone-pratiche/addestramento-e-inferenza-efficienti-per-l-ia/).

## Fonti

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
