En bref
Remplacez les grandes recherches par grille par une recherche aléatoire ou adaptative, arrêtez tôt les mauvais essais, lancez d'abord des pilotes sur peu de données ou de petits modèles, et partez des valeurs par défaut publiées pour votre architecture. Suivez l'énergie de chaque essai, pas seulement du gagnant, et fixez un budget de calcul avant de commencer. Les exécutions de réglage coûtent souvent plus que l'entraînement final, et elles sont rarement déclarées.
Étapes
- Fixez un budget de calcul pour la recherche avant de commencer.
- Partez des hyperparamètres par défaut publiés pour votre famille de modèles.
- Utilisez une recherche aléatoire ou adaptative au lieu d'une grille complète.
- Arrêtez tôt les essais clairement moins bons que le meilleur obtenu jusque-là.
- Faites un pilote sur un sous-ensemble des données ou un modèle plus petit avant de passer à l'échelle.
- Enregistrez l'énergie et les émissions de chaque essai en parallèle de la précision.
Réglez plus intelligemment, pas plus largement. Une grille complète sur de nombreux hyperparamètres multiplie le coût de l'entraînement par le nombre de combinaisons, et la plupart de ces exécutions se révèlent nettement moins bonnes dès le début.
Pourquoi est-ce important ?
L'article de 2019 de Strubell, Ganesh et McCallum a quantifié le coût du développement des modèles de langage, y compris l'expérimentation qui l'entoure, et pas seulement un entraînement final unique. L'article « Green AI » de Schwartz et ses collègues a soutenu que les chercheurs devraient déclarer le coût de calcul de leurs résultats, y compris les expériences nécessaires pour y parvenir, afin que l'efficacité soit valorisée au même titre que la précision.
Qu'est-ce qui fait la plus grande différence ?
- L'arrêt précoce des mauvais essais. Les méthodes de type « successive halving » donnent à chaque essai un petit budget et ne poursuivent que les plus prometteurs. La plupart des bibliothèques de réglage le permettent.
- La recherche aléatoire ou adaptative. Au lieu d'exécuter toutes les combinaisons, tirez les réglages au hasard ou laissez une méthode adaptative utiliser les résultats précédents pour choisir l'essai suivant.
- De petits pilotes. Écartez des idées sur un sous-ensemble des données ou un modèle plus petit.
- Les valeurs par défaut d'abord. Les valeurs par défaut bien éprouvées pour les architectures courantes sont souvent proches de l'optimum.
- Suivre chaque essai. La documentation de CodeCarbon montre comment suivre chaque configuration et comparer la précision aux émissions.
Erreurs fréquentes
- Ne déclarer que la meilleure exécution. Incluez tous les essais dans votre total de calcul ; consultez comment déclarer la consommation d'énergie de vos recherches.
- Régler sur le jeu de données complet dès le premier jour.
- Pas de budget. Sans budget, les recherches s'étendent jusqu'à occuper tout le cluster. Consultez comment fixer un budget de calcul.
Pour aller plus loin, lisez le guide pour les chercheurs.
Sources
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
Voir aussi
Comment fixer un budget de calcul pour un projet de recherche ?
Fixez et suivez un budget de calcul pour la recherche en IA : estimer les heures GPU, piloter à petite échelle, arrêter tôt, réutiliser les modèles, rapporter au calcul.
Comment réduire l'énergie de l'entraînement d'un modèle ?
Les principaux leviers pour réduire l'énergie de l'entraînement : partir d'un modèle pré-entraîné, dimensionner juste, précision mixte, arrêt précoce, lieux et heures propres.
Comment déclarer la consommation d'énergie de mes recherches en IA ?
Quoi indiquer sur le calcul et l'énergie dans un article : matériel, heures GPU de toutes les exécutions, énergie, lieu, carbone, coût d'inférence et périmètre.
L'IA verte pour les chercheurs
Un guide pour les chercheurs : méthodes d'IA efficaces, mesure et déclaration de l'énergie dans les articles, budgets de calcul, financements et apport des maths.