greenai.guide

Accueil › Articles › Les mathématiques qui rendent l'IA plus efficace

Article

Les mathématiques qui rendent l'IA plus efficace

Mis à jour · 7 min de lecture

En bref

Une grande partie de l'énergie consommée par l'IA sert à des calculs et à des déplacements de données dont la tâche n'a pas besoin. Des méthodes mathématiques comme l'élagage, la parcimonie, le sketching aléatoire, la théorie des matrices aléatoires et les modèles dotés d'une structure intégrée éliminent cette redondance, souvent avec peu ou pas de perte de précision. Elles n'économisent de l'énergie que si les économies sont mesurées et ne sont pas simplement dépensées dans des modèles plus grands.

Points clés

  • Les grands réseaux de neurones sont surparamétrés ; l'élagage peut supprimer la plupart de leurs poids après l'entraînement avec peu de perte de précision.
  • La parcimonie n'économise de l'énergie que si le matériel et le logiciel savent ignorer les zéros ; sinon, c'est une économie sur le papier.
  • Déplacer des données coûte souvent plus d'énergie que l'arithmétique : les méthodes qui réduisent le trafic mémoire, comme le sketching et l'attention tenant compte des entrées-sorties, comptent donc.
  • Intégrer des lois physiques ou des symétries connues dans un modèle peut réduire le nombre de paramètres et la quantité de données dont il a besoin.
  • Les méthodes numériques classiques sont parfois la réponse la plus verte, et un pipeline hybride peut n'utiliser un petit réseau que là où il est utile.

L'essentiel de l'énergie consommée par un réseau de neurones sert à deux choses : l'arithmétique, et le déplacement des nombres entre la mémoire et le processeur. Les mathématiques peuvent réduire les deux. Cet article explique simplement les principales méthodes, avec les articles publiés qui les fondent, et le point où chacune cesse d'être rentable.

Un « sandpit » britannique sur l'IA verte, organisé en 2026 avec des mathématiciens, des informaticiens et des industriels, a placé cette question au centre : comment les sciences mathématiques peuvent-elles réduire l'énergie et les ressources dont l'IA a besoin à mesure que la demande augmente ? Les méthodes ci-dessous sont celles qui sont revenues le plus souvent, confrontées aux données publiées.

Pourquoi y a-t-il de la redondance à supprimer ?

Les grands modèles sont plus gros que ce que la tâche exige strictement, parce que la taille les rend plus faciles à entraîner. L'entraînement fonctionne mieux dans un espace de grande dimension, mais une fois l'entraînement terminé, beaucoup de poids apportent peu.

Cela laisse place à trois types d'économie : moins de poids (élagage), moins de valeurs actives à un instant donné (parcimonie), et moins de déplacements de données (sketching et algorithmes tenant compte de la mémoire). Un quatrième type évite la redondance dès le départ, en intégrant une structure connue dans le modèle.

Qu'est-ce que l'élagage, et combien peut-il supprimer ?

L'élagage supprime les poids qui contribuent le moins, puis laisse le réseau se rétablir. Han et ses collègues ont montré en 2015 que l'élagage réduisait les paramètres du modèle d'images AlexNet d'un facteur neuf et ceux de VGG-16 d'un facteur treize, sans perte de précision.

Des travaux ultérieurs ont affiné l'idée :

  • L'hypothèse du billet de loterie (Frankle et Carbin, 2019) a montré que les grands réseaux contiennent des sous-réseaux bien plus petits qui, entraînés à partir du bon point de départ, atteignent la précision du réseau complet.
  • SparseGPT (Frantar et Alistarh, 2023) a élagué de très grands modèles de langage jusqu'à au moins 50 % de parcimonie en une seule passe, sans réentraînement, avec une faible hausse de la perplexité.
  • La revue de 2021 de Hoefler et ses collègues, portant sur plus de 300 articles, est le guide de référence pour savoir quand l'élagage fonctionne et quand il ne fonctionne pas.

La parcimonie économise-t-elle vraiment de l'énergie ?

Seulement si les zéros sont ignorés. Une matrice composée à 80 % de zéros coûte encore le prix fort si le matériel multiplie chaque élément. Il est utile de distinguer la parcimonie non structurée (des zéros dispersés n'importe où) et la parcimonie structurée (des blocs, canaux ou motifs entiers de zéros), que les puces standard peuvent exploiter bien plus facilement.

La parcimonie se trouve à deux endroits :

  • Dans les poids, grâce à l'élagage.
  • Dans les activations, les valeurs qui traversent le réseau pour une entrée donnée. Kurtz et ses collègues (2020) ont montré que relever le seuil de la fonction d'activation ReLU rend beaucoup plus d'activations exactement nulles, qui peuvent alors être ignorées lors de l'inférence. Mirzadeh et ses collègues (2024) ont soutenu que les grands modèles de langage utilisant des activations ReLU peuvent exploiter le même effet pour réduire le calcul.

La parcimonie des activations est dynamique : les valeurs nulles changent à chaque entrée. Elle est donc plus difficile à exploiter au niveau du matériel, et c'est l'une des raisons pour lesquelles le sandpit a traité la conception conjointe matériel–logiciel comme une partie des mathématiques, et non comme un détail ajouté après coup.

Pourquoi le déplacement des données compte-t-il autant ?

Aller chercher un nombre en mémoire peut coûter plus d'énergie que de faire un calcul avec. Les algorithmes qui déplacent moins de données économisent souvent plus que ceux qui font moins d'opérations.

Deux familles de méthodes s'attaquent à ce problème :

  • Le sketching aléatoire. Un « sketch » est une projection aléatoire, beaucoup plus petite, d'une grande matrice, qui conserve les propriétés dont vous avez besoin. L'article de Halko, Martinsson et Tropp de 2011 et la revue de Martinsson et Tropp de 2020 exposent la théorie de l'algèbre linéaire numérique randomisée, qui fournit des bornes d'erreur démontrables pour ces approximations. Appliqués aux réseaux de neurones, les sketches peuvent compresser de grands résultats intermédiaires avant qu'ils ne soient déplacés hors de la puce.
  • Les algorithmes tenant compte des entrées-sorties. FlashAttention (Dao et ses collègues, 2022) calcule exactement le même résultat d'attention que la méthode standard, mais réorganise le travail pour réduire les lectures et écritures entre la grande mémoire lente d'un GPU et sa petite mémoire rapide. L'économie vient de l'ordonnancement, et non d'une approximation.

Qu'apporte la théorie des matrices aléatoires ?

La théorie des matrices aléatoires décrit le comportement des grandes matrices aléatoires, ce que sont justement les poids d'un réseau de neurones au début de l'entraînement. Elle permet aux mathématiciens de prédire des propriétés d'un réseau avant de l'entraîner.

Pennington et Worah (2017) l'ont utilisée pour analyser la propagation des signaux dans des réseaux larges. Martin et Mahoney (2021) ont étudié les spectres de matrices de poids entraînées et y ont trouvé des motifs qui indiquent dans quelle mesure une couche a appris. Des résultats de ce type aident à fixer les niveaux de parcimonie et à repérer les couches plus grandes que nécessaire, sans les tâtonnements consistant à entraîner de nombreuses variantes.

La structure peut-elle remplacer les données et les paramètres ?

Oui, lorsque la structure est connue. Si un problème obéit à une loi physique ou à une symétrie, un modèle qui intègre cette connaissance n'a pas à l'apprendre à partir des données.

  • Les réseaux de neurones informés par la physique (Raissi, Perdikaris et Karniadakis, 2019) ajoutent les équations qui régissent le système à l'objectif d'entraînement, de sorte que le réseau est pénalisé pour des réponses physiquement impossibles.
  • L'apprentissage profond géométrique (Bronstein et ses collègues, 2021) conçoit des réseaux qui respectent des symétries comme la rotation ou la permutation, et qui ont donc besoin de moins de paramètres et d'exemples.
  • Le déroulement d'algorithmes (Monga, Li et Eldar, 2021) transforme les étapes d'un algorithme itératif classique en couches d'un réseau, ce qui donne des modèles petits et interprétables.

Une idée voisine est revenue à plusieurs reprises au sandpit : les pipelines hybrides. Gardez la méthode classique ou physique pour les étapes qu'elle fait bien, et n'utilisez un petit réseau que pour la partie qui se prête à l'apprentissage, par exemple un modèle de substitution pour un composant coûteux d'une simulation. Parfois, la réponse la plus verte est une méthode numérique existante, sans aucun réseau de neurones.

Quelle place pour la différentiation automatique et la quantification ?

La différentiation automatique (AD) calcule les dérivées exactes d'un programme, et c'est le moteur de l'entraînement. La rétropropagation est une AD en mode inverse, comme l'explique la revue de 2018 de Baydin et ses collègues. Une AD efficace compte en soi pour l'IA verte, et c'est elle qui rend possibles des techniques comme l'entraînement tenant compte de l'élagage et les pénalités énergétiques différentiables.

La quantification stocke les nombres sur moins de bits, par exemple des entiers sur 8 bits au lieu de nombres à virgule flottante sur 32 bits. Jacob et ses collègues (2018) ont montré comment entraîner des réseaux pour une inférence uniquement en arithmétique entière, ce qui réduit la mémoire et l'énergie par opération. Moins de bits signifie aussi moins de données à déplacer.

Peut-on réutiliser des modèles au lieu d'en entraîner de nouveaux ?

Souvent. Wortsman et ses collègues (2022) ont montré que faire la moyenne des poids de plusieurs versions affinées d'un même modèle, une « soupe de modèles », peut améliorer la précision sans aucun coût supplémentaire lors de l'inférence. Fusionner et adapter des modèles existants évite de répéter le coût d'un entraînement à partir de zéro. L'orchestration plutôt que la génération pousse plus loin cette même idée de réutilisation.

Quelles sont les limites ?

Les gains d'efficacité sont réels, mais ce ne sont pas automatiquement des économies. Trois réserves s'appliquent à toutes les méthodes ci-dessus :

  • Une économie sur le papier (moins de paramètres, moins d'opérations) doit être confirmée en mesurant l'énergie sur du matériel réel. Voir mesurer l'énergie de l'IA.
  • La précision doit être vérifiée sur la tâche réelle, et pas seulement sur une moyenne de banc d'essai.
  • Un calcul moins cher tend à être utilisé pour davantage de calcul. L'efficacité n'est pas la sobriété explique cet effet rebond.

Que faire ensuite

  • Si vous entraînez ou affinez des modèles, essayez d'abord l'élagage et la quantification après entraînement : ce sont les gains les moins coûteux. Voir entraînement et inférence efficaces.
  • Vérifiez que votre matériel et vos bibliothèques exploitent réellement la parcimonie avant de compter dessus.
  • Avant de recourir à un réseau de neurones, demandez-vous si une méthode classique, ou hybride, résout déjà le problème.
  • Mesurez l'énergie avant et après tout changement, sur le matériel que vous utiliserez.
  • Chercheurs : trouvez des projets financés et des doctorats en IA efficace dans les répertoires recherche et doctorats, et consultez le guide pour les chercheurs.

Questions fréquentes

Qu'est-ce que l'élagage en IA ?

L'élagage (pruning) retire d'un réseau de neurones entraîné les poids, voire des neurones entiers, qui contribuent peu à sa sortie. Le réseau plus petit a besoin de moins de mémoire et, sur un matériel adapté, de moins de calcul et d'énergie.

Un modèle parcimonieux consomme-t-il toujours moins d'énergie ?

Non. Un modèle rempli de zéros n'économise de l'énergie que si le matériel et le logiciel les ignorent. Une parcimonie non structurée sur un GPU standard peut ne pas tourner plus vite que le modèle dense, d'où l'importance de la parcimonie structurée et des noyaux de calcul creux.

Qu'est-ce qu'un réseau de neurones informé par la physique ?

Un réseau de neurones entraîné à respecter des lois physiques connues, généralement en ajoutant les équations qui régissent le système à sa fonction de perte. Intégrer ces connaissances permet au réseau d'avoir besoin de moins de données pour apprendre une solution utile.

Les mathématiques peuvent-elles vraiment faire la différence face à de meilleures puces ?

Oui, et les deux se combinent. De meilleurs algorithmes réduisent le travail à faire ; un meilleur matériel fait ce travail à moindre coût. Plusieurs des plus grandes économies dans l'IA, comme la quantification et l'attention efficace, sont venues des mathématiques et des algorithmes plutôt que de nouvelles puces.

Sources

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  5. Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
  6. ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
  7. Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
  8. Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
  9. FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
  10. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
  11. Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
  12. Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
  13. Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
  14. Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
  15. Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
  16. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  17. Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité