# Comment élaguer un réseau de neurones ?

> Comment élaguer un réseau de neurones entraîné pour retirer les poids qui contribuent peu, tester la précision restante et vérifier ce que le matériel économise vraiment.

Source: https://greenai.guide/fr/comment/comment-elaguer-un-reseau-de-neurones/  
Updated: 2026-11-19

## En bref

Élaguez un réseau entraîné en retirant les poids, les neurones ou les couches qui contribuent le moins, puis affinez-le brièvement pour qu'il récupère, et testez-le par rapport à votre seuil de qualité. L'élagage a divisé par neuf le nombre de paramètres d'AlexNet sans perte de précision, et de très grands modèles de langage ont été élagués à au moins 50 % de parcimonie en une seule passe. Préférez l'élagage structuré si vous voulez que du matériel ordinaire tourne plus vite.

## Steps

1. Mesurez d'abord la précision, la latence et l'énergie du modèle non élagué.
2. Choisissez l'élagage structuré (neurones, têtes ou couches entières), sauf si votre matériel tire parti des poids creux.
3. Retirez une part modeste des poids selon leur importance, par exemple ceux de plus faible magnitude.
4. Affinez brièvement pour laisser le réseau récupérer.
5. Procédez par étapes, en testant à chaque fois, et arrêtez-vous quand la qualité passe sous votre seuil.

**Les grands réseaux comportent généralement bien plus de poids que leur tâche n'en exige : beaucoup peuvent donc être
retirés après l'entraînement.** L'élagage rend le modèle plus petit et, sur le bon matériel, moins coûteux à faire
fonctionner.

## Que montrent les preuves ? {#what-does-the-evidence-show}

Han et ses collègues ont montré en 2015 que l'élagage divisait par neuf le nombre de paramètres du modèle d'images
AlexNet et par treize celui de VGG-16, sans perte de précision. L'hypothèse du « ticket de loterie » de Frankle et
Carbin a établi que les grands réseaux contiennent des sous-réseaux bien plus petits capables d'égaler la précision du
réseau complet. Pour les modèles de langage, SparseGPT, de Frantar et Alistarh, a élagué de très grands modèles à au
moins 50 % de parcimonie en une seule passe, sans réentraînement, avec une faible hausse de la perplexité.

## Structuré ou non structuré ? {#structured-or-unstructured}

- **L'élagage non structuré** retire des poids individuels. Il permet d'en retirer le plus, mais laisse des zéros
  dispersés que les GPU et CPU ordinaires ne savent souvent pas ignorer.
- **L'élagage structuré** retire des neurones, des têtes d'attention, des canaux ou des couches entiers. Il en retire
  moins, mais le modèle réduit tourne plus vite sur n'importe quel matériel.

## Erreurs fréquentes {#common-mistakes}

- **Compter les zéros au lieu de mesurer l'énergie.** Les économies théoriques dépassent souvent les économies
  mesurées. Un « sandpit » britannique sur l'IA verte organisé en 2026, réunissant mathématiciens, informaticiens et
  industriels, a relevé que la parcimonie reste sous-exploitée, en partie parce que les puces courantes ont du mal à
  en tirer parti.
- **Élaguer trop d'un coup.** Procédez par étapes et affinez entre chacune.
- **Ne tester que sur des benchmarks.** Vérifiez vos propres cas, y compris les cas rares, que l'élagage peut
  dégrader en premier.

La synthèse de 2021 de Hoefler et ses collègues, portant sur plus de 300 articles, est le guide de référence. Pour la
théorie, lisez [les mathématiques au service d'une IA efficace](/fr/articles/les-mathematiques-qui-rendent-l-ia-plus-efficace/).

## Sources

- [Learning both weights and connections for efficient neural networks](https://arxiv.org/abs/1506.02626), Han, Pool, Tran and Dally, NeurIPS (2015)
- [SparseGPT: massive language models can be accurately pruned in one-shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh, ICML (2023)
- [Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks](https://jmlr.org/papers/v22/21-0366.html), Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- [The lottery ticket hypothesis: finding sparse, trainable neural networks](https://arxiv.org/abs/1803.03635), Frankle and Carbin, ICLR (2019)
