greenai.guide

Accueil › Comment faire… ? › Comment réduire l'énergie d'un modèle servi en production ?

Comment faire… ?

Comment réduire l'énergie d'un modèle servi en production ?

Mis à jour · 2 min de lecture

En bref

Servez le plus petit modèle qui atteint votre seuil, sur un runtime conçu pour l'inférence, avec le traitement par lots activé, des poids en demi-précision ou quantifiés, et les chemins d'attention et de cache optimisés de la bibliothèque activés. Évaluez ensuite deux ou trois runtimes et options de matériel avec votre trafic réel, et choisissez selon l'énergie par requête autant que selon la latence.

Étapes

  1. Vérifiez que le modèle est le plus petit qui atteint votre seuil de qualité.
  2. Servez-le avec un moteur d'inférence qui prend en charge le batching continu.
  3. Chargez les poids en demi-précision ou dans un format quantifié testé.
  4. Activez une attention efficace et un cache clé-valeur statique lorsque votre bibliothèque les prend en charge.
  5. Évaluez deux ou trois runtimes et types de GPU avec vos tailles de lots réelles.
  6. Réduisez les ressources, voire passez à zéro, quand le trafic est faible.

L'essentiel de l'énergie consommée au cours de la vie d'un modèle sert à le faire fonctionner : les réglages de service comptent donc. Les réglages par défaut sont rarement les plus efficaces, et les chemins optimisés doivent généralement être activés.

Qu'est-ce qui fait la plus grande différence ?

  1. Le traitement par lots. Un accélérateur qui sert une seule requête à la fois est sous-utilisé, mais consomme quand même de l'électricité. Kwon et ses collègues ont indiqué que vLLM, avec une gestion paginée du cache clé-valeur, offrait un débit 2 à 4 fois supérieur à celui des systèmes antérieurs à latence égale. Consultez comment regrouper les requêtes d'IA par lots.
  2. La précision. Un modèle en demi-précision ou quantifié et testé a besoin de moins de mémoire et souvent de moins de GPU.
  3. Des chemins de code optimisés. Hugging Face documente des implémentations d'attention efficaces et un cache clé-valeur statique combiné à torch.compile, qui peut selon elle accélérer jusqu'à 4 fois.
  4. Un runtime et un matériel choisis sur preuves. La Green Software Foundation recommande de choisir des frameworks et des runtimes d'inférence efficaces ; évaluez-les plutôt que d'utiliser celui qui a servi à entraîner le modèle.

Erreurs fréquentes

  • Confondre vitesse et énergie. Des chercheurs de GreenCode travaillant sur llama.cpp ont réduit l'énergie GPU de 4,7 % alors que la vitesse n'augmentait que de 3 % : les deux mesures racontent des histoires différentes. Mesurez les deux.
  • Faire les évaluations avec une taille de lot de un alors que la production fonctionne avec une concurrence bien plus élevée, ou l'inverse.
  • Laisser tourner des réplicas toute la nuit pour un trafic inexistant. Consultez comment éviter que les GPU restent inactifs.
  • Ne pas faire chauffer les modèles compilés avant de mesurer, ce qui fausse les chiffres.

Pour la boîte à outils complète, lisez un entraînement et une inférence efficaces.

Sources

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité