En bref
Partez d'un modèle pré-entraîné lorsque c'est possible, choisissez la plus petite architecture susceptible d'atteindre votre seuil, entraînez en précision mixte, arrêtez quand la validation ne progresse plus, et exécutez sur du matériel efficace dans une région et à un moment bas carbone. Patterson et ses collègues ont constaté que le choix du modèle, du centre de données et du processeur peut réduire l'empreinte carbone de l'entraînement jusqu'à environ 100 à 1 000 fois. Mesurez chaque exécution pour que les compromis soient visibles.
Étapes
- Vérifiez si un modèle pré-entraîné peut être affiné au lieu d'entraîner à partir de zéro.
- Testez les idées à petite échelle avant de lancer une exécution complète.
- Entraînez en précision mixte et arrêtez tôt quand la validation ne progresse plus.
- Exécutez sur des accélérateurs efficaces dans une région bas carbone, et planifiez les exécutions flexibles aux heures plus propres.
- Enregistrez des points de reprise pour pouvoir mettre en pause, reprendre et éviter de tout recommencer.
- Suivez l'énergie et les émissions de chaque exécution, y compris les exécutions ratées.
L'énergie de l'entraînement est déterminée surtout par des décisions prises avant le lancement. Ce que vous entraînez, sur quoi, où et quand compte davantage que n'importe quel ajustement en cours d'exécution.
Pourquoi est-ce important ?
L'article de 2019 de Strubell, Ganesh et McCallum a quantifié le coût financier et environnemental de l'entraînement des modèles de langage et proposé des moyens de le réduire. Patterson et ses collègues ont ensuite constaté que le choix de l'architecture du modèle, du centre de données et du processeur peut réduire l'empreinte carbone de l'entraînement jusqu'à environ 100 à 1 000 fois.
Qu'est-ce qui fait la plus grande différence ?
- Ne pas entraîner à partir de zéro. Affiner un modèle pré-entraîné, ou un adaptateur sur ce modèle, ne coûte généralement qu'une infime fraction du pré-entraînement. Consultez comment éviter d'entraîner à partir de zéro.
- Dimensionner juste. Une architecture plus petite qui atteint le seuil vaut mieux qu'une grande qui le dépasse.
- La précision mixte. Entraîner en demi-précision avec une copie maîtresse en pleine précision a presque divisé par deux l'usage de la mémoire dans les travaux de Micikevicius et ses collègues, ce qui permet de faire tenir des lots plus grands sur le même matériel.
- L'arrêt précoce. Arrêtez les exécutions quand la perte de validation stagne.
- Le lieu et le moment. Choisissez des accélérateurs efficaces et une région bas carbone, et exécutez les tâches flexibles quand le réseau est plus propre : consultez comment planifier l'entraînement.
Erreurs fréquentes
- Ne compter que l'exécution finale. Le réglage et les exécutions ratées coûtent souvent davantage ; consultez comment réduire l'énergie des recherches d'hyperparamètres.
- Ne pas créer de points de reprise, si bien qu'une interruption oblige à tout recommencer.
- Pas de mesure. Ajoutez un outil de suivi comme CodeCarbon dans le script d'entraînement.
Pour la boîte à outils complète, lisez un entraînement et une inférence efficaces.
Sources
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Voir aussi
Entraînement et inférence efficaces
Des techniques pour réduire l'énergie de l'IA : élagage, parcimonie, quantification, distillation, cache KV, traitement par lots, précision mixte et planification.
Comment éviter d'entraîner un modèle à partir de zéro ?
Comment réutiliser des modèles existants au lieu de pré-entraîner le vôtre : fine-tuning, adaptation LoRA, fusion de modèles affinés ou récupération de connaissances.
Comment planifier l'entraînement quand le réseau électrique est plus vert ?
Lancez l'entraînement et les lots d'IA quand le réseau est peu carboné : prévisions, points de reprise, échéances traitées comme des limites strictes.
Comment mesurer l'empreinte carbone de l'entraînement d'un modèle ?
Suivez l'énergie d'un entraînement avec un outil comme CodeCarbon, multipliez par l'intensité carbone du réseau local, et déclarez matériel, durée et lieu.