En bref
Installez un outil d'exécution local comme Ollama ou llama.cpp, téléchargez un petit modèle à poids ouverts dans un format quantifié comme GGUF, et faites-le tourner sur votre propre ordinateur. Choisissez le plus petit modèle qui fait votre tâche : les versions quantifiées ont besoin de bien moins de mémoire, si bien qu'un modèle de 8 milliards de paramètres qui occupe environ 16 Go en 16 bits tient dans environ 4 à 5 Go sur 4 bits.
Étapes
- Vérifiez la mémoire de votre ordinateur et s'il dispose d'un GPU utilisable ou d'une puce Apple silicon.
- Installez un outil d'exécution local comme Ollama ou llama.cpp.
- Téléchargez un petit modèle à poids ouverts dans un format quantifié qui tient dans votre mémoire.
- Testez-le sur vos tâches réelles et ne passez à une taille supérieure que s'il est insuffisant.
- Mesurez son énergie avec un wattmètre à la prise ou un outil comme CodeCarbon.
- Fermez le modèle quand vous ne l'utilisez pas, pour qu'il n'occupe ni mémoire ni électricité.
Faire tourner un modèle en local, c'est choisir un outil d'exécution, un modèle adapté, puis mesurer. Les données restent sur votre machine, et vous voyez exactement ce que l'IA coûte en énergie, ce qu'un service hébergé ne vous montre jamais.
De quoi ai-je besoin ?
- Un outil d'exécution. Ollama est un moyen populaire d'utiliser des modèles ouverts sur votre propre ordinateur. llama.cpp est un moteur C/C++ de plus bas niveau, conçu pour faire tourner des modèles avec un minimum de configuration sur une grande variété de matériels.
- Un fichier de modèle. GGUF est un format binaire optimisé pour un chargement rapide et une inférence efficace, avec des versions quantifiées allant de moins de 2 bits jusqu'à 8 bits par poids.
- Assez de mémoire. La documentation de Hugging Face donne un ordre de grandeur : un modèle de 8 milliards de paramètres a besoin d'environ 16 Go pour ses poids en 16 bits, d'environ 8 Go sur 8 bits et d'environ 4 à 5 Go sur 4 bits. Moins de bits coûtent un peu de précision.
Est-ce plus vert que le cloud ?
Pas automatiquement. Un ordinateur portable qui traite une requête à la fois peut être moins efficace par réponse qu'un serveur de centre de données très sollicité et bien alimenté en lots. Le local l'emporte quand le modèle est petit, la tâche fréquente, ou quand il évite d'envoyer de gros volumes de données sur le réseau. Consultez appareil ou cloud.
Erreurs fréquentes
- Télécharger le plus gros modèle que votre machine peut contenir. Commencez petit ; consultez choisir un modèle d'IA plus petit.
- Laisser le modèle chargé toute la journée sur un ordinateur de bureau équipé d'un GPU gourmand.
- Acheter un nouveau GPU avant d'essayer un modèle quantifié ; consultez comment quantifier un modèle.
Pour vérifier l'énergie, utilisez un wattmètre à la prise ou CodeCarbon, comme décrit dans mesurer l'énergie de l'IA sur votre propre ordinateur. Pour les compromis, lisez appareil ou cloud.
Sources
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Voir aussi
Comment quantifier un modèle ?
Comment quantifier un modèle d'IA sur 8 ou 4 bits : quels outils utiliser, comment tester la qualité, et quand la quantification économise de l'énergie ou non.
Faut-il faire tourner l'IA sur mon appareil ou dans le cloud ?
Comment comparer l'IA embarquée et l'IA dans le cloud pour l'énergie, la confidentialité et la qualité, et quelles tâches conviennent à chacune.
Comment mesurer l'énergie consommée par l'IA sur mon ordinateur ou mon GPU ?
Mesurez l'énergie de l'IA locale avec les compteurs matériels, la télémétrie GPU ou un wattmètre, en échantillonnant toute la tâche et en retirant la consommation au repos.
Périphérie ou cloud : où faire tourner l'IA ?
Comparer l'IA embarquée ou en périphérie aux centres de données : énergie, réseau, matériel, vie privée et résilience, avec une méthode de décision pas à pas.