greenai.guide

Accueil › Comment faire… ? › Comment faire tourner un modèle d'IA en local ?

Comment faire… ?

Comment faire tourner un modèle d'IA en local ?

Mis à jour · 2 min de lecture

En bref

Installez un outil d'exécution local comme Ollama ou llama.cpp, téléchargez un petit modèle à poids ouverts dans un format quantifié comme GGUF, et faites-le tourner sur votre propre ordinateur. Choisissez le plus petit modèle qui fait votre tâche : les versions quantifiées ont besoin de bien moins de mémoire, si bien qu'un modèle de 8 milliards de paramètres qui occupe environ 16 Go en 16 bits tient dans environ 4 à 5 Go sur 4 bits.

Étapes

  1. Vérifiez la mémoire de votre ordinateur et s'il dispose d'un GPU utilisable ou d'une puce Apple silicon.
  2. Installez un outil d'exécution local comme Ollama ou llama.cpp.
  3. Téléchargez un petit modèle à poids ouverts dans un format quantifié qui tient dans votre mémoire.
  4. Testez-le sur vos tâches réelles et ne passez à une taille supérieure que s'il est insuffisant.
  5. Mesurez son énergie avec un wattmètre à la prise ou un outil comme CodeCarbon.
  6. Fermez le modèle quand vous ne l'utilisez pas, pour qu'il n'occupe ni mémoire ni électricité.

Faire tourner un modèle en local, c'est choisir un outil d'exécution, un modèle adapté, puis mesurer. Les données restent sur votre machine, et vous voyez exactement ce que l'IA coûte en énergie, ce qu'un service hébergé ne vous montre jamais.

De quoi ai-je besoin ?

  • Un outil d'exécution. Ollama est un moyen populaire d'utiliser des modèles ouverts sur votre propre ordinateur. llama.cpp est un moteur C/C++ de plus bas niveau, conçu pour faire tourner des modèles avec un minimum de configuration sur une grande variété de matériels.
  • Un fichier de modèle. GGUF est un format binaire optimisé pour un chargement rapide et une inférence efficace, avec des versions quantifiées allant de moins de 2 bits jusqu'à 8 bits par poids.
  • Assez de mémoire. La documentation de Hugging Face donne un ordre de grandeur : un modèle de 8 milliards de paramètres a besoin d'environ 16 Go pour ses poids en 16 bits, d'environ 8 Go sur 8 bits et d'environ 4 à 5 Go sur 4 bits. Moins de bits coûtent un peu de précision.

Est-ce plus vert que le cloud ?

Pas automatiquement. Un ordinateur portable qui traite une requête à la fois peut être moins efficace par réponse qu'un serveur de centre de données très sollicité et bien alimenté en lots. Le local l'emporte quand le modèle est petit, la tâche fréquente, ou quand il évite d'envoyer de gros volumes de données sur le réseau. Consultez appareil ou cloud.

Erreurs fréquentes

  • Télécharger le plus gros modèle que votre machine peut contenir. Commencez petit ; consultez choisir un modèle d'IA plus petit.
  • Laisser le modèle chargé toute la journée sur un ordinateur de bureau équipé d'un GPU gourmand.
  • Acheter un nouveau GPU avant d'essayer un modèle quantifié ; consultez comment quantifier un modèle.

Pour vérifier l'énergie, utilisez un wattmètre à la prise ou CodeCarbon, comme décrit dans mesurer l'énergie de l'IA sur votre propre ordinateur. Pour les compromis, lisez appareil ou cloud.

Sources

  1. Ollama documentation, Ollama (2026)
  2. llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
  3. GGUF, Hugging Face Hub documentation (2026)
  4. Quantization overview, Hugging Face Transformers documentation (2026)
  5. CodeCarbon, CodeCarbon (2026)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité