greenai.guide

Accueil › Comment faire… ? › Un modèle à mélange d'experts permet-il d'économiser de l'énergie ?

Comment faire… ?

Un modèle à mélange d'experts permet-il d'économiser de l'énergie ?

Mis à jour · 1 min de lecture

En bref

Un modèle à mélange d'experts oriente chaque token vers quelques sous-réseaux spécialisés : seule une partie du modèle travaille donc pour chaque token. Mixtral, par exemple, compte 47 milliards de paramètres mais en utilise 13 milliards par token. Cela peut réduire le calcul par réponse par rapport à un modèle dense de qualité similaire, mais tous les experts doivent rester en mémoire : comparez donc la qualité, la latence et l'énergie par requête sur votre propre matériel.

Étapes

  1. Présélectionnez un modèle à mélange d'experts et un modèle dense de qualité similaire pour votre tâche.
  2. Vérifiez que les deux tiennent dans la mémoire GPU disponible, en comptant tous les experts.
  3. Exécutez les deux sur votre jeu d'évaluation avec votre taille de lot réelle.
  4. Comparez côte à côte la qualité, la latence et l'énergie par requête.
  5. Choisissez sur ces trois critères, et envisagez un modèle dense plus petit s'il réussit.

Les modèles à mélange d'experts (MoE) peuvent offrir la qualité d'un grand modèle avec moins de calcul par token, mais pas avec moins de mémoire. Qu'ils vous fassent économiser de l'énergie dépend de votre matériel et de votre trafic.

Comment fonctionne un mélange d'experts ?

Un modèle dense utilise tous ses paramètres pour chaque token. Un modèle MoE comporte de nombreux sous-réseaux « experts » et un petit routeur qui choisit quelques experts par token. Le modèle Mixtral of Experts de Jiang et ses collègues donne à chaque token accès à 47 milliards de paramètres, mais n'utilise que 13 milliards de paramètres actifs pendant l'inférence, et les auteurs indiquent qu'il surpasse ou égale Llama 2 70B et GPT-3.5 sur les benchmarks qu'ils ont évalués. Consultez aussi l'entrée du glossaire.

Quand permet-il d'économiser de l'énergie ?

  • Par rapport à un modèle dense de qualité similaire, moins de paramètres actifs signifie généralement moins de calcul par token.
  • Quand vous avez la mémoire nécessaire. Tous les experts doivent quand même être chargés : vous aurez donc peut-être besoin d'autant de GPU que pour le modèle dense. La mémoire inactive consomme aussi de l'électricité.
  • Avec une bonne utilisation. Avec le traitement par lots, différents tokens utilisent différents experts, ce qui maintient le matériel plus occupé.

Erreurs fréquentes

  • Comparer avec la mauvaise référence. Si un petit modèle dense atteint votre seuil de qualité, il battra généralement les deux. Consultez comment choisir un modèle d'IA plus petit.
  • Considérer les paramètres actifs comme le coût total. La mémoire, la communication entre GPU et le surcoût du routage comptent aussi.
  • Ne pas mesurer. Lorsque des évaluations publiques comme l'AI Energy Score couvrent vos candidats, utilisez-les ; sinon, évaluez les deux sur le même matériel.

Pour la méthode générale, lisez choisir le bon modèle.

Sources

  1. Mixtral of experts, Jiang et al., Mistral AI (2024)
  2. AI Energy Score, Hugging Face (2025)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité