greenai.guide

Accueil › Bonnes pratiques › Entraînement et inférence efficaces

Bonnes pratiques

Entraînement et inférence efficaces

Mis à jour · 7 min de lecture

En bref

On peut réduire la majeure partie de l'énergie de l'IA sans perte de qualité : réutiliser des modèles au lieu de les entraîner de zéro, les alléger par élagage, quantification et distillation, les servir avec traitement par lots et mise en cache, et exécuter les tâches flexibles quand et là où l'électricité est plus propre. Mesurez l'énergie avant et après chaque changement, car plus rapide ne veut pas toujours dire plus vert.

Points clés

  • Réutilisez avant d'entraîner : l'affinage d'un petit adaptateur avec LoRA a divisé par 10 000 le nombre de paramètres entraînables et par trois la mémoire GPU par rapport à l'affinage complet de GPT-3 175B.
  • Les grands modèles de langage peuvent être élagués d'un coup jusqu'à au moins 50 % de parcimonie, sans réentraînement et avec une perte de précision minime (SparseGPT).
  • L'inférence en 8 bits peut diviser par deux les besoins en mémoire sans perte de qualité (LLM.int8()) ; testez aussi le 4 bits.
  • Le service compte : le traitement par lots et la gestion paginée du cache KV ont multiplié le débit par 2 à 4 dans vLLM, à latence égale.
  • La planification sensible au carbone réduit les émissions, pas l'énergie ; ajoutez-la aux efforts d'efficacité, ne la mettez jamais à leur place.

Par où commencer ?

Commencez par mesurer, puis réutilisez, allégez, servez efficacement et planifiez, dans cet ordre. Les premières étapes sont généralement celles qui font le plus économiser, avec le moins de risque.

En 2021, Patterson et ses collègues de Google ont estimé que le choix du modèle, du centre de données et du processeur peut faire varier l'empreinte carbone de l'entraînement d'un facteur allant jusqu'à environ 100 à 1 000. L'essentiel de cette marge est entre vos mains. Avant de changer quoi que ce soit, mettez en place une mesure de l'énergie sur le même matériel et la même charge, afin de ne conserver que les changements qui économisent de l'énergie sans nuire à la qualité. La vitesse n'est pas un indicateur fiable : un changement peut être plus rapide et plus gourmand, ou plus lent et plus sobre.

Peut-on éviter d'entraîner de zéro ?

En général, oui : partez d'un modèle pré-entraîné et n'adaptez que ce dont vous avez besoin.

  • Affinage économe en paramètres. LoRA entraîne de petites matrices d'adaptation de faible rang au lieu du modèle complet. Par rapport à l'affinage complet de GPT-3 175B, ses auteurs ont fait état de 10 000 fois moins de paramètres entraînables et de trois fois moins de mémoire GPU. QLoRA combine cette approche avec des poids en 4 bits et a permis d'affiner un modèle de 65 milliards de paramètres sur un seul GPU de 48 Go.
  • La recherche documentaire plutôt que le réentraînement. Placez les faits qui évoluent dans un index consultable et récupérez-les au moment de la requête. Affinez pour des compétences et un style, pas pour des faits.
  • Fusion de modèles (« soupe »). Selon Wortsman et ses collègues, faire la moyenne des poids de modèles affinés à partir d'une même base peut battre le meilleur modèle isolé, sans coût d'inférence supplémentaire. Fusionner des affinages spécialisés est une façon de réutiliser un travail déjà payé.
  • Apprentissage continu. Mettez un modèle à jour de façon incrémentale plutôt que de le réentraîner de zéro quand les données changent.

En quoi l'élagage et la parcimonie aident-ils ?

La plupart des poids d'un réseau entraîné peuvent être supprimés ou laissés inactifs avec peu de perte, ce qui signifie moins de calcul et de mémoire par réponse.

  • L'élagage non structuré supprime des poids individuels. SparseGPT a élagué d'un coup des modèles de la famille GPT jusqu'à au moins 50 % de parcimonie, sans réentraînement et avec une perte de précision minime, et a atteint 60 % sur les plus grands modèles ouverts de l'époque, avec une hausse négligeable de la perplexité.
  • L'élagage structuré supprime des neurones, des têtes ou des couches entières, ce que le matériel ordinaire exploite plus facilement.
  • La parcimonie des activations laisse la plupart des neurones inactifs pour une entrée donnée.
  • Les modèles à mélange d'experts envoient chaque token vers quelques sous-réseaux spécialisés. Patterson et ses collègues ont constaté que de grands modèles à activation parcimonieuse peuvent consommer moins d'un dixième de l'énergie de grands modèles denses. Tous les experts doivent néanmoins résider en mémoire.

Une réserve issue d'un « sandpit » britannique de 2026 sur l'IA verte, réunissant mathématiciens, informaticiens et industriels : la parcimonie est sous-utilisée, en partie parce que le matériel et les bibliothèques sont conçus pour des calculs denses. Vérifiez que votre environnement d'exécution transforme réellement la parcimonie en énergie économisée. Le sandpit a aussi évoqué l'utilisation de la théorie des matrices aléatoires pour choisir les niveaux de parcimonie avant l'entraînement, et des approximations parcimonieuses de l'attention que l'on peut intégrer à des modèles pré-entraînés. Voir les mathématiques au service d'une IA efficace.

Et la quantification, la distillation et la précision mixte ?

Utilisez moins de bits et des modèles plus petits partout où le niveau de qualité le permet.

Technique Ce qu'elle fait Résultat publié
Quantification Stocke et calcule les poids sur 8 ou 4 bits au lieu de 16 ou 32 LLM.int8() a divisé par deux la mémoire d'inférence sans perte de qualité jusqu'à 175B paramètres ; l'UNESCO et UCL indiquent que la compression de modèles, comme la quantification, permet d'économiser jusqu'à 44 % d'énergie
Distillation Entraîne un petit « élève » à imiter un grand « enseignant » DistilBERT était 40 % plus petit et 60 % plus rapide que BERT, tout en conservant 97 % de sa compréhension du langage
Précision mixte Entraîne en demi-précision avec une copie maîtresse en pleine précision Utilisation de la mémoire presque divisée par deux à l'entraînement (Micikevicius et al.)

Testez chacune sur votre propre jeu d'évaluation. Hugging Face note que la quantification peut ajouter de la latence lorsqu'une charge de travail n'est pas limitée par la mémoire : mesurez donc l'énergie et la latence par requête, avant et après.

Comment servir les modèles efficacement ?

Occupez l'accélérateur avec du travail utile et évitez de recalculer quoi que ce soit. Un GPU sous-utilisé consomme quand même une puissance importante.

  1. Traitez les requêtes par lots. Les moteurs de service à traitement par lots continu regroupent les requêtes simultanées. PagedAttention, dans vLLM, qui gère le cache KV comme une mémoire virtuelle, a offert un débit 2 à 4 fois supérieur à celui des systèmes antérieurs, à latence égale.
  2. Exploitez bien le cache KV. Mettez en cache les clés et les valeurs des tokens précédents ; utilisez un cache statique avec une passe avant compilée lorsque votre bibliothèque le permet.
  3. Activez les chemins optimisés. Poids en demi-précision, noyaux d'attention efficaces (comme SDPA ou FlashAttention) et compilation sont souvent disponibles, mais désactivés par défaut.
  4. Décodage spéculatif. Un petit modèle brouillon propose des tokens que le grand modèle vérifie. Leviathan et ses collègues ont fait état d'une génération 2 à 3 fois plus rapide sur T5-XXL, avec des sorties identiques.
  5. Limitez la longueur des sorties à ce dont la tâche a besoin, et mettez en cache les réponses aux requêtes identiques.
  6. Comparez les environnements d'exécution et le matériel. Évaluez deux ou trois piles de service avec vos tailles de lots réelles.

Quand et où exécuter les tâches ?

Exécutez le travail flexible quand et là où l'électricité est plus propre, mais voyez-y un bonus qui s'ajoute à l'efficacité, pas un substitut.

  • Décalez dans le temps. Les entraînements, les évaluations et l'inférence par lots peuvent souvent attendre plusieurs heures. Planifiez-les selon une prévision d'intensité carbone ; des outils comme CATS encapsulent les tâches de cluster pour le faire. En Grande-Bretagne, la Carbon Intensity API publie des prévisions régionales.
  • Rendez les longues tâches interruptibles. Enregistrez régulièrement des points de reprise, état de l'optimiseur compris, pour qu'une tâche puisse se mettre en pause quand le réseau électrique est carboné et reprendre plus tard sans perte de travail.
  • Choisissez la région et le matériel. Lorsque la latence n'a pas d'importance, privilégiez une région bas carbone et des accélérateurs efficaces, en tenant compte du coût du transfert des données. Voir hébergement et centres de données.
  • Surveillez l'énergie en valeur absolue. La planification sensible au carbone change le moment où le travail s'exécute, pas la quantité d'énergie qu'il consomme. Suivez l'énergie par unité de travail en plus du carbone.

Liste de vérification

  • [ ] Énergie mesurée avant et après chaque changement, même configuration, plusieurs exécutions
  • [ ] Modèle pré-entraîné et adaptateurs envisagés avant tout entraînement de zéro
  • [ ] Recherche documentaire utilisée pour les faits changeants plutôt qu'un réentraînement
  • [ ] Élagage, quantification ou distillation testés par rapport au niveau de qualité
  • [ ] Précision mixte utilisée à l'entraînement
  • [ ] Traitement par lots, optimisation du cache KV et attention efficace activés au service
  • [ ] Longueur des sorties limitée ; requêtes identiques mises en cache
  • [ ] Tâches flexibles avec points de reprise et planifiées aux heures les plus propres
  • [ ] Énergie d'entraînement et matériel consignés dans la fiche du modèle (model card)

Que faire ensuite

  1. Ajoutez un outil de suivi des émissions comme CodeCarbon à vos scripts d'entraînement et d'évaluation, et placez l'énergie à côté de la précision dans votre tableau de résultats.
  2. Essayez LoRA ou QLoRA pour votre prochain affinage et comparez avec un affinage complet.
  3. Testez une version 8 bits et une version 4 bits de votre modèle déployé sur votre jeu d'évaluation.
  4. Évaluez votre pile de service avec le traitement par lots et le chemin d'attention optimisé activés.
  5. Encapsulez une tâche de cluster récurrente dans un planificateur sensible au carbone.
  6. Cherchez des formations dans l'annuaire des formations et des travaux liés dans les rubriques recherche et doctorats.

Questions fréquentes

La quantification réduit-elle la précision ?

Parfois, légèrement ; souvent de façon imperceptible en 8 bits. Testez toujours le modèle quantifié sur votre propre jeu d'évaluation, et notez que la quantification peut ajouter de la latence lorsqu'une charge de travail n'est pas limitée par la mémoire.

Qu'est-ce qu'un cache KV ?

Quand un transformer génère du texte, il conserve les matrices de clés et de valeurs des tokens précédents pour ne pas les recalculer à chaque étape. Bien gérer ce cache est l'un des plus grands gains d'efficacité au moment du service.

Qu'est-ce qui coûte le plus d'énergie, l'entraînement ou l'inférence ?

Cela dépend de l'ampleur de l'usage d'un modèle. L'entraînement est un coût ponctuel important ; l'inférence se paie à chaque requête, donc pour les modèles populaires elle domine généralement sur la durée de vie du modèle.

Qu'est-ce que la fusion de modèles, ou « soupe » de modèles ?

Faire la moyenne des poids de plusieurs modèles affinés à partir du même point de départ. Le résultat tourne comme un seul modèle, sans coût d'inférence supplémentaire, et peut surpasser le meilleur modèle pris isolément.

Sources

  1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
  2. QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
  3. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
  4. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
  5. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  6. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  7. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  8. Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
  9. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
  10. Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
  11. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  12. Optimizing inference, Hugging Face Transformers documentation (2025)
  13. Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
  14. CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité