greenai.guide

Accueil › Comment faire… ? › Comment utiliser la mise en cache pour réduire l'énergie des appels aux LLM ?

Comment faire… ?

Comment utiliser la mise en cache pour réduire l'énergie des appels aux LLM ?

Mis à jour · 1 min de lecture

En bref

Utilisez deux niveaux. Le cache de prompt du fournisseur réutilise le traitement d'un préfixe fixe, comme un long prompt système ou un document partagé : placez donc le contenu stable en premier. Votre propre cache de réponses stocke les réponses aux requêtes identiques afin que le modèle ne soit pas rappelé. Les deux réduisent le calcul, le coût et la latence, à condition de fixer des durées d'expiration raisonnables.

Étapes

  1. Placez le contenu stable, comme les instructions et les textes de référence, au début de chaque prompt.
  2. Activez ou balisez la mise en cache des prompts comme l'indique la documentation de votre fournisseur.
  3. Mettez en cache les réponses complètes pour les entrées identiques dans votre propre application.
  4. Fixez des durées d'expiration adaptées à la fréquence à laquelle la réponse sous-jacente change.
  5. Enregistrez les taux de réussite du cache et les tokens d'entrée pour constater l'économie.

L'appel au modèle le moins coûteux est celui que vous ne faites pas, et le suivant est celui qui réutilise un travail déjà fait. La mise en cache permet les deux.

Qu'est-ce que la mise en cache des prompts ?

Le fournisseur conserve la forme traitée du début de votre prompt et la réutilise lors des appels suivants. La documentation d'Anthropic indique que la mise en cache des prompts « réduit considérablement le temps de traitement et les coûts » pour les prompts dont certains éléments ne changent pas ; elle facture les lectures en cache au dixième du prix des tokens d'entrée normaux et conserve le cache cinq minutes par défaut. OpenAI active la mise en cache des prompts par défaut pour les modèles compatibles. Les deux ne fonctionnent que sur un préfixe identique : l'ordre compte donc, avec les instructions et les documents stables en premier, et la question qui change en dernier.

Qu'est-ce que la mise en cache des réponses ?

Vous stockez la réponse du modèle et la renvoyez quand la même requête revient. Cela convient aux FAQ, à la classification d'éléments répétés et aux agents qui reposent des questions identiques. Le pattern de la Green Software Foundation sur l'orchestration des agents recommande précisément de réduire ainsi les appels redondants au modèle et les calculs répétés.

Certaines équipes utilisent aussi des caches « sémantiques », qui associent des questions similaires plutôt qu'identiques. Ils économisent davantage, mais peuvent renvoyer une mauvaise réponse à une question subtilement différente : testez-les donc soigneusement.

Erreurs fréquentes

  • Placer des horodatages ou des noms d'utilisateur en tête du prompt, ce qui casse le préfixe et le cache.
  • Mettre en cache indéfiniment. Fixez une expiration adaptée à la vitesse à laquelle la réponse devient obsolète.
  • Ne pas mesurer. Sans taux de réussite, vous ne saurez pas si le cache est utile.

Pour l'idée plus large de réutiliser plutôt que de régénérer, lisez l'orchestration plutôt que la génération.

Sources

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité