greenai.guide

Accueil › Comment faire… ? › Comment rendre un modèle assez petit pour un appareil embarqué ?

Comment faire… ?

Comment rendre un modèle assez petit pour un appareil embarqué ?

Mis à jour · 2 min de lecture

En bref

Partez du plus petit modèle susceptible d'atteindre votre seuil de qualité, puis réduisez-le encore par distillation, quantification et élagage, en testant chaque étape sur l'appareil cible. Mesurez ensemble l'énergie par inférence, la latence et la précision sur le matériel réel, et laissez le modèle passer à un niveau inférieur quand la batterie est faible ou que l'appareil chauffe.

Étapes

  1. Fixez un seuil de qualité et un budget de mémoire, de latence et d'énergie pour l'appareil cible.
  2. Partez d'un modèle petit ou distillé plutôt que de réduire un grand modèle généraliste.
  3. Quantifiez les poids sur 8 ou 4 bits et vérifiez la précision sur vos propres cas de test.
  4. Élaguez les poids qui contribuent peu, puis refaites les tests sur l'appareil.
  5. Mesurez ensemble l'énergie par inférence, la latence et la précision sur le matériel réel.
  6. Passez à un modèle plus petit ou à une fréquence plus basse quand la batterie est faible ou que l'appareil chauffe.

Associez un petit modèle de départ à la distillation, à la quantification et à l'élagage, et jugez chaque étape sur l'appareil lui-même. Les appareils embarqués ont peu de mémoire et fonctionnent souvent sur batterie : un modèle trop gros soit ne tient pas, soit vide la batterie et provoque un bridage thermique. Bien choisir la taille permet aussi de ne pas envoyer les données vers le cloud.

Quelles techniques réduisent le plus un modèle ?

  • La distillation entraîne un petit « élève » à imiter un grand « enseignant ». DistilBERT était 40 % plus petit et 60 % plus rapide que BERT tout en conservant 97 % de ses capacités de compréhension du langage.
  • La quantification stocke les poids sur moins de bits. La documentation de Hugging Face donne l'exemple d'un modèle de 8 milliards de paramètres dont les poids occupent environ 16 Go en précision 16 bits, environ 8 Go sur 8 bits et environ 4 à 5 Go sur 4 bits, au prix d'une certaine perte de précision. Consultez comment quantifier un modèle.
  • L'élagage supprime les poids qui influencent à peine la sortie. Consultez comment élaguer un réseau de neurones.

Comment le modèle doit-il se comporter sur l'appareil ?

Le pattern de la Green Software Foundation pour l'IA embarquée recommande de suivre ensemble l'énergie par inférence, la latence et la précision, et de s'adapter aux conditions : un modèle plus petit ou une fréquence d'inférence plus basse quand la batterie est faible ou que l'appareil chauffe.

Erreurs fréquentes

  • Ne tester que sur un ordinateur portable. Les accélérateurs, la mémoire et les limites thermiques diffèrent ; mesurez sur le matériel cible.
  • Réduire au-delà du seuil de qualité. Un modèle qui échoue et doit faire appel au cloud en secours peut coûter plus qu'il ne fait économiser.
  • Lancer l'inférence en permanence. Déclenchez-la sur des événements lorsque c'est possible, plutôt qu'à chaque image ou chaque seconde.

Savoir si l'appareil ou le cloud est plus vert dépend du cas : consultez appareil ou cloud et l'IA en périphérie.

Sources

  1. Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
  2. Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
  3. Quantization overview, Hugging Face Transformers documentation (2026)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité