En bref
Servez le trafic en direct avec un moteur d'inférence qui pratique le batching continu, afin que les requêtes simultanées partagent l'accélérateur. Mettez en file d'attente le travail qui n'exige pas de réponse immédiate, comme le traitement de documents pendant la nuit, et exécutez-le par grands lots, idéalement quand le réseau électrique est moins carboné. Un accélérateur qui sert une seule requête à la fois est sous-utilisé, mais consomme quand même beaucoup d'électricité.
Étapes
- Séparez les requêtes interactives du travail qui peut attendre quelques minutes ou quelques heures.
- Servez le trafic interactif avec un moteur qui prend en charge le batching continu.
- Mettez le travail non urgent en file d'attente et traitez-le par lots.
- Utilisez l'interface de traitement par lots de votre fournisseur pour les modèles hébergés lorsqu'elle existe.
- Mesurez l'énergie par requête avec des tailles de lots réelles, en parallèle de la latence.
Le traitement par lots permet à un seul passage du matériel de servir de nombreuses requêtes. L'énergie par réponse dépend fortement du taux d'occupation de l'accélérateur.
Pourquoi est-ce important ?
Les GPU consomment beaucoup d'électricité même lorsqu'ils sont peu chargés : servir les requêtes une par une répartit donc cette consommation sur très peu de réponses. Kwon et ses collègues ont indiqué que vLLM, avec le batching continu et une gestion paginée du cache clé-valeur, multipliait le débit par 2 à 4 à latence égale par rapport aux systèmes antérieurs. La documentation d'inférence de Hugging Face traite aussi du batching continu.
Deux types de traitement par lots
- Le batching continu pour le trafic en direct. Le moteur de service ajoute les nouvelles requêtes à un lot en cours à mesure que d'autres se terminent : les utilisateurs n'attendent donc pas qu'un lot soit plein. Utilisez un moteur qui le prend en charge plutôt qu'une simple boucle à une requête par appel.
- Les lots hors ligne pour le travail qui peut attendre. Résumer les documents de la veille, étiqueter des archives ou évaluer un jeu de données ne demande pas de réponse immédiate. Mettez ce travail en file d'attente et traitez-le en masse. La Green Software Foundation recommande d'exécuter les charges d'IA par lots dans des régions et à des moments à faible intensité carbone lorsque la latence est moins critique ; consultez comment planifier le travail quand le réseau est plus vert.
Erreurs fréquentes
- Des lots si grands qu'ils dégradent la latence pour les utilisateurs interactifs. Réglez-les sur du trafic réel.
- Le gaspillage lié au remplissage (padding). Regrouper des entrées très courtes et très longues gaspille du calcul dans certains moteurs.
- Laisser tourner les serveurs de traitement par lots entre deux tâches ; consultez comment éviter que les GPU restent inactifs.
Pour aller plus loin, lisez un entraînement et une inférence efficaces.
Sources
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Voir aussi
Comment réduire l'énergie d'un modèle servi en production ?
Comment servir un modèle auto-hébergé avec moins d'énergie par requête : runtimes efficaces, lots, demi-précision, caches compilés et matériel testé.
Comment planifier l'entraînement quand le réseau électrique est plus vert ?
Lancez l'entraînement et les lots d'IA quand le réseau est peu carboné : prévisions, points de reprise, échéances traitées comme des limites strictes.
Entraînement et inférence efficaces
Des techniques pour réduire l'énergie de l'IA : élagage, parcimonie, quantification, distillation, cache KV, traitement par lots, précision mixte et planification.
Comment éviter que les GPU et les notebooks restent inactifs ?
Évitez le gaspillage du matériel d'IA inactif : ressources à la demande, arrêt automatique des notebooks, passage à zéro hors heures ouvrées.