En bref
La plupart des fonctions de chat renvoient toute la conversation au modèle à chaque tour : l'entrée grossit donc à chaque message. Limitez le nombre de tours passés que vous envoyez, résumez les plus anciens en une courte note, ne récupérez que les messages ou documents antérieurs pertinents, et mettez en cache les prompts système fixes. Les entrées longues coûtent bien plus d'énergie que les courtes.
Étapes
- Enregistrez les tokens d'entrée à chaque tour pour rendre leur croissance visible.
- N'envoyez mot pour mot que les derniers tours.
- Remplacez les tours plus anciens par un court résumé mis à jour en continu.
- Ne récupérez les messages ou documents antérieurs que lorsqu'ils sont pertinents pour la nouvelle question.
- Utilisez la mise en cache des prompts pour le prompt système fixe et le contexte partagé.
Envoyez au modèle ce dont il a besoin pour ce tour, pas tout ce qui a jamais été dit. Un contexte qui grossit sans limite est l'un des coûts cachés les plus courants des fonctions de chat.
Pourquoi est-ce important ?
L'énergie augmente avec la quantité de texte qu'un modèle lit. Delavande, Pierrard et Luccioni ont constaté que l'énergie augmente linéairement avec la longueur du prompt et de la génération. Epoch AI estime qu'une requête typique d'environ 0,3 Wh passe à environ 2,5 Wh avec une entrée de 10 000 tokens et à près de 40 Wh avec une entrée de 100 000 tokens. Une longue conversation d'assistance qui renvoie chaque tour peut dériver vers le haut de la fourchette sans que personne ne s'en aperçoive.
Comment garder un contexte réduit ?
- Une fenêtre glissante. Gardez mot pour mot les derniers tours.
- Un résumé continu. Tous les quelques tours, demandez à un petit modèle (ou à votre propre code) de condenser l'historique ancien en une courte note des décisions et des faits.
- La récupération. Stockez les messages et documents passés, et ne récupérez que ceux qui concernent la nouvelle question.
- La mise en cache des prompts. Pour les instructions fixes, consultez comment utiliser la mise en cache.
- Repartir de zéro. Proposez un bouton « nouveau sujet » qui ouvre un contexte vierge.
Erreurs fréquentes
- Rattacher le même document à chaque tour au lieu de récupérer le passage pertinent.
- Des résumés qui perdent des faits essentiels. Vérifiez que les réponses restent correctes après le résumé.
- Ne pas mesurer. Sans journaux des tokens d'entrée, la croissance est invisible.
Les utilisateurs peuvent faire de même dans les outils grand public : consultez comment éviter que les longues conversations avec l'IA gaspillent de l'énergie. Pour d'autres habitudes, lisez utiliser l'IA efficacement.
Sources
- How much energy does ChatGPT use?, Epoch AI (2025)
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- What are tokens and how to count them?, OpenAI Help Center (2025)
Voir aussi
Comment utiliser la mise en cache pour réduire l'énergie des appels aux LLM ?
Deux types de cache qui allègent le travail des LLM : le cache de prompt du fournisseur pour le contexte répété, et votre propre cache pour les questions identiques.
Comment éviter que les longues conversations avec l'IA gaspillent de l'énergie ?
Pourquoi les très longues conversations avec l'IA coûtent plus cher à chaque message, et des habitudes simples pour les alléger : nouvelles discussions, courts récapitulatifs.
Comment limiter la longueur des réponses d'un LLM ?
Comment les développeurs peuvent plafonner la sortie d'un LLM : max tokens, format et longueur demandés, séquences d'arrêt, sortie structurée et réponses tronquées.
Utiliser l'IA efficacement : les bons réflexes au quotidien
Des réflexes quotidiens qui réduisent l'énergie de l'IA : prompts clairs, moins de régénérations, prudence avec images et vidéos, cache et options désactivées.