# Comment regrouper les requêtes d'IA par lots pour économiser de l'énergie ?

> Comment le traitement par lots augmente l'utilisation des accélérateurs et réduit l'énergie par réponse : lots continus en direct, lots différés hors ligne.

Source: https://greenai.guide/fr/comment/comment-regrouper-les-requetes-d-ia-par-lots-pour-economiser-de-l/  
Updated: 2026-11-19

## En bref

Servez le trafic en direct avec un moteur d'inférence qui pratique le batching continu, afin que les requêtes simultanées partagent l'accélérateur. Mettez en file d'attente le travail qui n'exige pas de réponse immédiate, comme le traitement de documents pendant la nuit, et exécutez-le par grands lots, idéalement quand le réseau électrique est moins carboné. Un accélérateur qui sert une seule requête à la fois est sous-utilisé, mais consomme quand même beaucoup d'électricité.

## Steps

1. Séparez les requêtes interactives du travail qui peut attendre quelques minutes ou quelques heures.
2. Servez le trafic interactif avec un moteur qui prend en charge le batching continu.
3. Mettez le travail non urgent en file d'attente et traitez-le par lots.
4. Utilisez l'interface de traitement par lots de votre fournisseur pour les modèles hébergés lorsqu'elle existe.
5. Mesurez l'énergie par requête avec des tailles de lots réelles, en parallèle de la latence.

**Le traitement par lots permet à un seul passage du matériel de servir de nombreuses requêtes.** L'énergie par
réponse dépend fortement du taux d'occupation de l'accélérateur.

## Pourquoi est-ce important ? {#why-does-it-matter}

Les GPU consomment beaucoup d'électricité même lorsqu'ils sont peu chargés : servir les requêtes une par une répartit
donc cette consommation sur très peu de réponses. Kwon et ses collègues ont indiqué que vLLM, avec le batching continu
et une gestion paginée du cache clé-valeur, multipliait le débit par 2 à 4 à latence égale par rapport aux systèmes
antérieurs. La documentation d'inférence de Hugging Face traite aussi du batching continu.

## Deux types de traitement par lots {#two-kinds-of-batching}

- **Le batching continu pour le trafic en direct.** Le moteur de service ajoute les nouvelles requêtes à un lot en
  cours à mesure que d'autres se terminent : les utilisateurs n'attendent donc pas qu'un lot soit plein. Utilisez un
  moteur qui le prend en charge plutôt qu'une simple boucle à une requête par appel.
- **Les lots hors ligne pour le travail qui peut attendre.** Résumer les documents de la veille, étiqueter des
  archives ou évaluer un jeu de données ne demande pas de réponse immédiate. Mettez ce travail en file d'attente et
  traitez-le en masse. La Green Software Foundation recommande d'exécuter les charges d'IA par lots dans des régions
  et à des moments à faible intensité carbone lorsque la latence est moins critique ; consultez
  [comment planifier le travail quand le réseau est plus vert](/fr/comment/comment-planifier-l-entrainement-quand-le-reseau-electrique-est-plus/).

## Erreurs fréquentes {#common-mistakes}

- **Des lots si grands qu'ils dégradent la latence** pour les utilisateurs interactifs. Réglez-les sur du trafic
  réel.
- **Le gaspillage lié au remplissage (padding).** Regrouper des entrées très courtes et très longues gaspille du
  calcul dans certains moteurs.
- **Laisser tourner les serveurs de traitement par lots** entre deux tâches ; consultez
  [comment éviter que les GPU restent inactifs](/fr/comment/comment-eviter-que-les-gpu-et-les-notebooks-restent-inactifs/).

Pour aller plus loin, lisez [un entraînement et une inférence efficaces](/fr/bonnes-pratiques/entrainement-et-inference-efficaces/).

## Sources

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
