En bref
Estimez les heures GPU nécessaires à vos principales expériences, ajoutez une marge pour l'exploration, et suivez l'usage par rapport à ce budget comme vous le feriez pour de l'argent. Testez les idées à petite échelle, arrêtez tôt les mauvaises exécutions, réutilisez les modèles pré-entraînés et les points de reprise, et présentez les résultats rapportés au calcul qu'ils ont demandé. Un budget rend les compromis visibles et met fin aux réglages sans fin.
Étapes
- Estimez les heures GPU des principales expériences et ajoutez une marge explicite pour l'exploration.
- Lancez des pilotes à petite échelle pour écarter des idées avant de passer à l'échelle.
- Suivez les heures GPU et l'énergie de chaque expérience par rapport au budget.
- Utilisez l'arrêt précoce pour les mauvaises exécutions au lieu de grandes recherches par grille.
- Réutilisez les modèles pré-entraînés et les points de reprise lorsqu'ils conviennent.
- Présentez les résultats rapportés au calcul, comme la précision par kWh.
Décidez à l'avance de la quantité de calcul que le projet peut utiliser, et suivez-la. Sans budget, les exécutions supplémentaires semblent gratuites, et l'énergie d'un petit gain de précision n'est jamais mise en balance.
Comment estimer le budget ?
Partez des expériences prévues : la taille du modèle, la taille des données et le nombre d'exécutions donnent un nombre approximatif d'heures GPU. Le calculateur Green Algorithms de Lannelongue, Grealey et Inouye convertit le matériel, la durée d'exécution, la mémoire et le lieu en une estimation d'énergie et de carbone, ce qui vous aide à voir ce que représente le budget. Ajoutez une marge explicite pour l'exploration plutôt que de la laisser ouverte.
Qu'est-ce qui permet de tenir le budget ?
- De petits pilotes d'abord. Écartez des idées sur de petits modèles et des sous-ensembles de données.
- Des recherches efficaces. Arrêtez tôt les mauvaises exécutions ; consultez réduire l'énergie des recherches d'hyperparamètres.
- La réutilisation. Partez de modèles pré-entraînés et de points de reprise enregistrés ; consultez éviter d'entraîner à partir de zéro.
- Choisir où et sur quoi vous exécutez. Patterson et ses collègues ont constaté que le choix du modèle, du centre de données et du processeur peut réduire l'empreinte carbone de l'entraînement jusqu'à environ 100 à 1 000 fois.
Erreurs fréquentes
- Ne budgéter que les exécutions finales. L'exploration représente généralement l'essentiel du calcul.
- Pas de points de reprise, si bien qu'un échec oblige à tout recommencer.
- Ne présenter que la meilleure précision, ce qui récompense le fait de dépenser davantage.
Les principes GREENER de Lannelongue et ses collègues offrent un cadre pour les équipes et les institutions. Consultez le guide pour les chercheurs.
Sources
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Voir aussi
Comment réduire l'énergie des recherches d'hyperparamètres ?
Comment régler des modèles avec moins de calcul : une recherche plus astucieuse qu'une grille complète, l'arrêt précoce des mauvais essais, de petits pilotes et un budget.
Comment déclarer la consommation d'énergie de mes recherches en IA ?
Quoi indiquer sur le calcul et l'énergie dans un article : matériel, heures GPU de toutes les exécutions, énergie, lieu, carbone, coût d'inférence et périmètre.
Comment réduire l'empreinte des expériences d'IA sur un cluster de recherche ?
Réduisez l'énergie des expériences d'IA en HPC : lisez la comptabilité énergétique de Slurm, ne demandez que l'utile, testez à petite échelle, faites des points de reprise.
L'IA verte pour les chercheurs
Un guide pour les chercheurs : méthodes d'IA efficaces, mesure et déclaration de l'énergie dans les articles, budgets de calcul, financements et apport des maths.