En bref
La quantification stocke les poids d'un modèle sur moins de bits, généralement 8 ou 4 au lieu de 16 ou 32 : le modèle a donc besoin de moins de mémoire et souvent de moins d'énergie par réponse. Chargez une version déjà quantifiée ou quantifiez avec les méthodes intégrées à votre bibliothèque, puis testez-la sur vos propres exemples face au modèle en pleine précision. Gardez-la si la qualité tient et que l'énergie par requête baisse.
Étapes
- Vérifiez s'il existe déjà une version quantifiée de votre modèle.
- Sinon, quantifiez avec une méthode prise en charge par votre bibliothèque, en commençant par 8 bits.
- Exécutez le modèle quantifié et le modèle d'origine sur le même jeu d'évaluation.
- Essayez 4 bits si la qualité tient sur 8 bits et que vous devez économiser davantage de mémoire.
- Mesurez l'énergie et la latence par requête avec votre taille de lot réelle avant de basculer.
La quantification est souvent le gain d'efficacité le plus rapide pour un modèle que vous faites tourner vous-même. Elle réduit la mémoire nécessaire, si bien que le modèle tient sur des GPU moins nombreux ou plus petits, et elle peut réduire l'énergie par réponse.
Pourquoi est-ce important ?
La documentation de Hugging Face donne un ordre de grandeur : un modèle de 8 milliards de paramètres a besoin d'environ 16 Go pour ses poids en précision 16 bits, d'environ 8 Go sur 8 bits et d'environ 4 à 5 Go sur 4 bits. Dettmers et ses collègues ont montré avec LLM.int8() que l'inférence sur 8 bits peut diviser par deux la mémoire nécessaire tout en conservant les performances de la pleine précision, pour des modèles allant jusqu'à 175 milliards de paramètres. L'UNESCO et l'University College London indiquent qu'une compression comme la quantification peut économiser jusqu'à 44 % d'énergie.
Comment faire ?
- Téléchargez une version quantifiée. De nombreux modèles ouverts sont publiés dans des formats quantifiés. GGUF, utilisé par llama.cpp, propose des types de quantification d'environ 1,5 à 8 bits par poids.
- Quantifiez au chargement. Des bibliothèques comme Hugging Face Transformers prennent en charge plus de 20 méthodes de quantification, dont plusieurs quantifient les poids pendant le chargement du modèle.
- Calibrez si nécessaire. Certaines méthodes utilisent un petit échantillon de vos données pour choisir comment arrondir, ce qui tend à mieux préserver la qualité sur 4 bits.
Erreurs fréquentes
- Sauter le test de qualité. Moins de bits coûtent un peu de précision, et chaque méthode arbitre différemment entre mémoire, vitesse et précision. Testez sur vos propres cas.
- Supposer que c'est toujours plus rapide. Hugging Face note que si vous n'êtes pas limité par la mémoire GPU, la quantification peut légèrement augmenter la latence en raison des étapes supplémentaires de quantification et de déquantification. Mesurez l'énergie, pas seulement la vitesse.
- S'arrêter à la quantification. Combinez-la avec un modèle plus petit ou avec la distillation.
Pour aller plus loin, lisez un entraînement et une inférence efficaces.
Sources
- Quantization overview, Hugging Face Transformers documentation (2026)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- GGUF, Hugging Face Hub documentation (2026)
Voir aussi
Entraînement et inférence efficaces
Des techniques pour réduire l'énergie de l'IA : élagage, parcimonie, quantification, distillation, cache KV, traitement par lots, précision mixte et planification.
Comment faire tourner un modèle d'IA en local ?
Comment exécuter un modèle d'IA ouvert sur votre ordinateur ou votre serveur avec Ollama ou llama.cpp, choisir un modèle quantifié adapté et mesurer son énergie.
Comment réduire l'énergie d'un modèle servi en production ?
Comment servir un modèle auto-hébergé avec moins d'énergie par requête : runtimes efficaces, lots, demi-précision, caches compilés et matériel testé.
Comment élaguer un réseau de neurones ?
Comment élaguer un réseau de neurones entraîné pour retirer les poids qui contribuent peu, tester la précision restante et vérifier ce que le matériel économise vraiment.