greenai.guide

Accueil › Comment faire… ? › Comment éviter que mon chatbot renvoie toute la conversation ?

Comment faire… ?

Comment éviter que mon chatbot renvoie toute la conversation ?

Mis à jour · 1 min de lecture

En bref

La plupart des fonctions de chat renvoient toute la conversation au modèle à chaque tour : l'entrée grossit donc à chaque message. Limitez le nombre de tours passés que vous envoyez, résumez les plus anciens en une courte note, ne récupérez que les messages ou documents antérieurs pertinents, et mettez en cache les prompts système fixes. Les entrées longues coûtent bien plus d'énergie que les courtes.

Étapes

  1. Enregistrez les tokens d'entrée à chaque tour pour rendre leur croissance visible.
  2. N'envoyez mot pour mot que les derniers tours.
  3. Remplacez les tours plus anciens par un court résumé mis à jour en continu.
  4. Ne récupérez les messages ou documents antérieurs que lorsqu'ils sont pertinents pour la nouvelle question.
  5. Utilisez la mise en cache des prompts pour le prompt système fixe et le contexte partagé.

Envoyez au modèle ce dont il a besoin pour ce tour, pas tout ce qui a jamais été dit. Un contexte qui grossit sans limite est l'un des coûts cachés les plus courants des fonctions de chat.

Pourquoi est-ce important ?

L'énergie augmente avec la quantité de texte qu'un modèle lit. Delavande, Pierrard et Luccioni ont constaté que l'énergie augmente linéairement avec la longueur du prompt et de la génération. Epoch AI estime qu'une requête typique d'environ 0,3 Wh passe à environ 2,5 Wh avec une entrée de 10 000 tokens et à près de 40 Wh avec une entrée de 100 000 tokens. Une longue conversation d'assistance qui renvoie chaque tour peut dériver vers le haut de la fourchette sans que personne ne s'en aperçoive.

Comment garder un contexte réduit ?

  • Une fenêtre glissante. Gardez mot pour mot les derniers tours.
  • Un résumé continu. Tous les quelques tours, demandez à un petit modèle (ou à votre propre code) de condenser l'historique ancien en une courte note des décisions et des faits.
  • La récupération. Stockez les messages et documents passés, et ne récupérez que ceux qui concernent la nouvelle question.
  • La mise en cache des prompts. Pour les instructions fixes, consultez comment utiliser la mise en cache.
  • Repartir de zéro. Proposez un bouton « nouveau sujet » qui ouvre un contexte vierge.

Erreurs fréquentes

  • Rattacher le même document à chaque tour au lieu de récupérer le passage pertinent.
  • Des résumés qui perdent des faits essentiels. Vérifiez que les réponses restent correctes après le résumé.
  • Ne pas mesurer. Sans journaux des tokens d'entrée, la croissance est invisible.

Les utilisateurs peuvent faire de même dans les outils grand public : consultez comment éviter que les longues conversations avec l'IA gaspillent de l'énergie. Pour d'autres habitudes, lisez utiliser l'IA efficacement.

Sources

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité