greenai.guide

Accueil › Comment faire… ? › Comment élaguer un réseau de neurones ?

Comment faire… ?

Comment élaguer un réseau de neurones ?

Mis à jour · 2 min de lecture

En bref

Élaguez un réseau entraîné en retirant les poids, les neurones ou les couches qui contribuent le moins, puis affinez-le brièvement pour qu'il récupère, et testez-le par rapport à votre seuil de qualité. L'élagage a divisé par neuf le nombre de paramètres d'AlexNet sans perte de précision, et de très grands modèles de langage ont été élagués à au moins 50 % de parcimonie en une seule passe. Préférez l'élagage structuré si vous voulez que du matériel ordinaire tourne plus vite.

Étapes

  1. Mesurez d'abord la précision, la latence et l'énergie du modèle non élagué.
  2. Choisissez l'élagage structuré (neurones, têtes ou couches entières), sauf si votre matériel tire parti des poids creux.
  3. Retirez une part modeste des poids selon leur importance, par exemple ceux de plus faible magnitude.
  4. Affinez brièvement pour laisser le réseau récupérer.
  5. Procédez par étapes, en testant à chaque fois, et arrêtez-vous quand la qualité passe sous votre seuil.

Les grands réseaux comportent généralement bien plus de poids que leur tâche n'en exige : beaucoup peuvent donc être retirés après l'entraînement. L'élagage rend le modèle plus petit et, sur le bon matériel, moins coûteux à faire fonctionner.

Que montrent les preuves ?

Han et ses collègues ont montré en 2015 que l'élagage divisait par neuf le nombre de paramètres du modèle d'images AlexNet et par treize celui de VGG-16, sans perte de précision. L'hypothèse du « ticket de loterie » de Frankle et Carbin a établi que les grands réseaux contiennent des sous-réseaux bien plus petits capables d'égaler la précision du réseau complet. Pour les modèles de langage, SparseGPT, de Frantar et Alistarh, a élagué de très grands modèles à au moins 50 % de parcimonie en une seule passe, sans réentraînement, avec une faible hausse de la perplexité.

Structuré ou non structuré ?

  • L'élagage non structuré retire des poids individuels. Il permet d'en retirer le plus, mais laisse des zéros dispersés que les GPU et CPU ordinaires ne savent souvent pas ignorer.
  • L'élagage structuré retire des neurones, des têtes d'attention, des canaux ou des couches entiers. Il en retire moins, mais le modèle réduit tourne plus vite sur n'importe quel matériel.

Erreurs fréquentes

  • Compter les zéros au lieu de mesurer l'énergie. Les économies théoriques dépassent souvent les économies mesurées. Un « sandpit » britannique sur l'IA verte organisé en 2026, réunissant mathématiciens, informaticiens et industriels, a relevé que la parcimonie reste sous-exploitée, en partie parce que les puces courantes ont du mal à en tirer parti.
  • Élaguer trop d'un coup. Procédez par étapes et affinez entre chacune.
  • Ne tester que sur des benchmarks. Vérifiez vos propres cas, y compris les cas rares, que l'élagage peut dégrader en premier.

La synthèse de 2021 de Hoefler et ses collègues, portant sur plus de 300 articles, est le guide de référence. Pour la théorie, lisez les mathématiques au service d'une IA efficace.

Sources

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité