greenai.guide

Accueil › Comment faire… ? › Comment choisir du matériel économe en énergie pour l'IA ?

Comment faire… ?

Comment choisir du matériel économe en énergie pour l'IA ?

Mis à jour · 2 min de lecture

En bref

Évaluez votre modèle réel sur deux ou trois options de matériel et de runtime, et comparez l'énergie par requête ou par entraînement avec des tailles de lots réalistes, en parallèle de la latence et du coût. Patterson et ses collègues ont constaté que le choix du modèle, du centre de données et du processeur peut, à eux trois, réduire le carbone de l'entraînement jusqu'à environ 100 à 1 000 fois. Gardez le bon matériel occupé et en service, car la fabrication de nouveaux équipements a sa propre empreinte.

Étapes

  1. Évaluez votre propre modèle sur deux ou trois options d'accélérateurs et de types d'instances.
  2. Mesurez l'énergie par requête ou par exécution avec vos tailles de lots réelles, en parallèle de la latence.
  3. Essayez plus d'un runtime d'inférence sur chaque option.
  4. Choisissez l'option la moins énergivore qui répond à vos besoins de latence et de qualité.
  5. Mettez en balance le carbone intrinsèque du nouveau matériel et l'économie attendue.
  6. Refaites les tests quand le modèle ou le trafic change.

Choisissez le matériel selon l'énergie mesurée pour votre charge de travail, pas selon les performances de pointe. Un même modèle peut consommer des quantités d'énergie très différentes selon les accélérateurs, les types d'instances et les runtimes, et le meilleur choix dépend de vos tailles de lots et de votre trafic.

Comment comparer les options équitablement ?

Les patterns de la Green Software Foundation recommandent de choisir des accélérateurs et des types d'instances efficaces, ainsi que des frameworks et des runtimes d'inférence efficaces, sur la base de preuves. En pratique :

  • exécutez le même modèle, avec les mêmes entrées et les mêmes réglages, sur chaque candidat ;
  • mesurez l'énergie par requête (ou par exécution) avec les tailles de lots que vous utiliserez vraiment, pas seulement dans le meilleur des cas ;
  • notez la latence et la qualité en parallèle de l'énergie ;
  • incluez le runtime : un moteur de service différent sur la même puce peut changer le résultat.

Patterson et ses collègues ont constaté que le choix de l'architecture du modèle, du centre de données et du processeur peut réduire l'empreinte carbone de l'entraînement jusqu'à environ 100 à 1 000 fois : le choix du matériel doit donc être pris en compte avec ces autres décisions.

Dois-je acheter du matériel neuf ?

Pas automatiquement. Wu et ses collègues de Meta ont indiqué que le carbone intrinsèque, issu de la fabrication du matériel, représentait environ 30 % de l'empreinte de l'apprentissage automatique à grande échelle de Meta. Un nouvel accélérateur doit économiser assez d'énergie au cours de sa vie pour compenser sa fabrication. Consultez prendre en compte le carbone intrinsèque.

Erreurs fréquentes

  • Sous-utiliser de gros accélérateurs. Un grand GPU faiblement utilisé peut consommer plus d'énergie par réponse qu'un plus petit maintenu occupé ; consultez regrouper les requêtes d'IA par lots.
  • Ne faire qu'une seule évaluation. Refaites les tests quand le modèle, le runtime ou le trafic change.

Consultez un entraînement et une inférence efficaces.

Sources

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité