# Comment distiller un grand modèle en un modèle plus petit ?

> Comment fonctionne la distillation des connaissances : un grand modèle enseignant entraîne un petit élève pour votre tâche, puis on le teste en gardant le grand en secours.

Source: https://greenai.guide/fr/comment/comment-distiller-un-grand-modele-en-un-modele-plus-petit/  
Updated: 2026-11-19

## En bref

Vérifiez d'abord s'il existe déjà une version distillée de votre modèle. Sinon, utilisez le grand modèle « enseignant » pour étiqueter ou générer des exemples pour votre tâche, entraînez un petit modèle « élève » sur ces exemples, et testez l'élève sur vos propres cas réels. DistilBERT, un exemple précoce, était 40 % plus petit et 60 % plus rapide que BERT tout en conservant 97 % de sa compréhension du langage.

## Steps

1. Cherchez une version distillée ou plus petite du modèle pour votre tâche.
2. Rassemblez un ensemble d'entrées réelles tirées de votre tâche.
3. Utilisez le grand modèle pour produire des étiquettes ou des sorties pour ces entrées, et vérifiez un échantillon à la main.
4. Entraînez un petit modèle élève sur ces données.
5. Testez l'élève par rapport à votre seuil de qualité et orientez ses cas incertains vers le grand modèle.

**La distillation transfère ce qu'un grand modèle sait de votre tâche vers un petit modèle peu coûteux à faire
fonctionner.** Vous payez une fois l'entraînement de l'élève, puis vous économisez à chaque requête.

## Pourquoi est-ce important ? {#why-does-it-matter}

Un grand modèle généraliste déployé pour une seule tâche ciblée, comme classer des tickets ou extraire des champs,
paie pour des connaissances que la tâche n'utilise jamais. Luccioni, Jernite et Strubell ont constaté que les
systèmes spécialisés coûtaient des ordres de grandeur moins cher à faire fonctionner que les modèles génératifs
polyvalents pour les mêmes tâches. La Green Software Foundation range la distillation parmi ses patterns pour des
modèles d'IA de taille adaptée et économes en énergie.

## Comment cela fonctionne-t-il ? {#how-does-it-work}

L'**enseignant** est le grand modèle ; l'**élève** est un petit modèle. Dans la méthode classique, l'élève apprend à
reproduire les probabilités de sortie de l'enseignant, et pas seulement ses réponses finales, ce qui transmet
davantage d'information par exemple. Sanh et ses collègues ont utilisé cette méthode pour DistilBERT, un modèle
40 % plus petit et 60 % plus rapide que BERT qui conservait 97 % de ses capacités de compréhension du langage.

Pour les modèles génératifs, une voie pratique courante est plus simple : faites produire par l'enseignant des
réponses à vos entrées réelles, vérifiez un échantillon, et affinez un petit modèle sur ces réponses.

## Erreurs fréquentes {#common-mistakes}

- **Distiller alors qu'un petit modèle existe déjà.** Cherchez d'abord : consultez
  [comment trouver un modèle spécialisé](/fr/comment/comment-trouver-un-modele-specialise-plutot-que-d-utiliser-un-chatbot/).
- **Faire aveuglément confiance aux sorties de l'enseignant.** Les erreurs de l'enseignant deviennent celles de
  l'élève.
- **Pas de solution de secours.** Gardez le grand modèle pour les cas où l'élève est incertain, grâce au
  [routage entre modèles](/fr/comment/comment-orienter-les-requetes-vers-des-modeles-plus-petits/).
- **Ignorer la licence.** Les conditions de certains modèles limitent l'utilisation de leurs sorties pour entraîner
  d'autres modèles.

Pour aller plus loin, lisez [un entraînement et une inférence efficaces](/fr/bonnes-pratiques/entrainement-et-inference-efficaces/).

## Sources

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
