En bref
Servez le plus petit modèle qui atteint votre seuil, sur un runtime conçu pour l'inférence, avec le traitement par lots activé, des poids en demi-précision ou quantifiés, et les chemins d'attention et de cache optimisés de la bibliothèque activés. Évaluez ensuite deux ou trois runtimes et options de matériel avec votre trafic réel, et choisissez selon l'énergie par requête autant que selon la latence.
Étapes
- Vérifiez que le modèle est le plus petit qui atteint votre seuil de qualité.
- Servez-le avec un moteur d'inférence qui prend en charge le batching continu.
- Chargez les poids en demi-précision ou dans un format quantifié testé.
- Activez une attention efficace et un cache clé-valeur statique lorsque votre bibliothèque les prend en charge.
- Évaluez deux ou trois runtimes et types de GPU avec vos tailles de lots réelles.
- Réduisez les ressources, voire passez à zéro, quand le trafic est faible.
L'essentiel de l'énergie consommée au cours de la vie d'un modèle sert à le faire fonctionner : les réglages de service comptent donc. Les réglages par défaut sont rarement les plus efficaces, et les chemins optimisés doivent généralement être activés.
Qu'est-ce qui fait la plus grande différence ?
- Le traitement par lots. Un accélérateur qui sert une seule requête à la fois est sous-utilisé, mais consomme quand même de l'électricité. Kwon et ses collègues ont indiqué que vLLM, avec une gestion paginée du cache clé-valeur, offrait un débit 2 à 4 fois supérieur à celui des systèmes antérieurs à latence égale. Consultez comment regrouper les requêtes d'IA par lots.
- La précision. Un modèle en demi-précision ou quantifié et testé a besoin de moins de mémoire et souvent de moins de GPU.
- Des chemins de code optimisés. Hugging Face documente des implémentations d'attention efficaces et un cache
clé-valeur statique combiné à
torch.compile, qui peut selon elle accélérer jusqu'à 4 fois. - Un runtime et un matériel choisis sur preuves. La Green Software Foundation recommande de choisir des frameworks et des runtimes d'inférence efficaces ; évaluez-les plutôt que d'utiliser celui qui a servi à entraîner le modèle.
Erreurs fréquentes
- Confondre vitesse et énergie. Des chercheurs de GreenCode travaillant sur llama.cpp ont réduit l'énergie GPU de 4,7 % alors que la vitesse n'augmentait que de 3 % : les deux mesures racontent des histoires différentes. Mesurez les deux.
- Faire les évaluations avec une taille de lot de un alors que la production fonctionne avec une concurrence bien plus élevée, ou l'inverse.
- Laisser tourner des réplicas toute la nuit pour un trafic inexistant. Consultez comment éviter que les GPU restent inactifs.
- Ne pas faire chauffer les modèles compilés avant de mesurer, ce qui fausse les chiffres.
Pour la boîte à outils complète, lisez un entraînement et une inférence efficaces.
Sources
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
Voir aussi
Comment regrouper les requêtes d'IA par lots pour économiser de l'énergie ?
Comment le traitement par lots augmente l'utilisation des accélérateurs et réduit l'énergie par réponse : lots continus en direct, lots différés hors ligne.
Comment quantifier un modèle ?
Comment quantifier un modèle d'IA sur 8 ou 4 bits : quels outils utiliser, comment tester la qualité, et quand la quantification économise de l'énergie ou non.
Comment accélérer un grand modèle avec le décodage spéculatif ?
Comment le décodage spéculatif permet à un petit modèle brouillon de proposer des tokens qu'un grand modèle vérifie, pour des réponses plus rapides et identiques.
Entraînement et inférence efficaces
Des techniques pour réduire l'énergie de l'IA : élagage, parcimonie, quantification, distillation, cache KV, traitement par lots, précision mixte et planification.