greenai.guide

Home › Hoe doe ik…? › Hoe gebruik ik caching om de energie van LLM-aanroepen te verminderen?

Hoe doe ik…?

Hoe gebruik ik caching om de energie van LLM-aanroepen te verminderen?

Bijgewerkt · 1 min. leestijd

In het kort

Gebruik twee lagen. Prompt caching bij de aanbieder hergebruikt de verwerking van een vast begin (prefix), zoals een lange systeemprompt of een gedeeld document, dus zet stabiele inhoud vooraan. Uw eigen responscache bewaart antwoorden op identieke verzoeken, zodat het model niet opnieuw wordt aangeroepen. Beide verminderen rekenwerk, kosten en latentie, mits u verstandige verlooptijden instelt.

Stappen

  1. Zet stabiele inhoud, zoals instructies en referentietekst, aan het begin van elke prompt.
  2. Zet prompt caching aan of markeer het zoals de documentatie van uw aanbieder beschrijft.
  3. Cache volledige antwoorden voor identieke invoer in uw eigen applicatie.
  4. Stel verlooptijden in die passen bij hoe vaak het onderliggende antwoord verandert.
  5. Log de cache-hitrate en het aantal input-tokens, zodat u de besparing ziet.

De goedkoopste modelaanroep is de aanroep die u niet doet, en de op één na goedkoopste hergebruikt werk dat al is gedaan. Caching doet allebei.

Wat is prompt caching?

De aanbieder bewaart de verwerkte vorm van het begin van uw prompt en hergebruikt die bij latere aanroepen. Volgens de documentatie van Anthropic "significantly reduces processing time and costs" (vermindert het de verwerkingstijd en kosten aanzienlijk) bij prompts met vaste onderdelen; het rekent voor cache-reads een tiende van de normale prijs van input-tokens en bewaart de cache standaard vijf minuten. OpenAI zet prompt caching standaard aan voor ondersteunde modellen. Beide werken alleen bij een identiek begin, dus de volgorde telt: stabiele instructies en documenten eerst, de wisselende vraag als laatste.

Wat is response caching?

U bewaart het antwoord van het model en geeft het terug wanneer hetzelfde verzoek opnieuw binnenkomt. Dit past bij veelgestelde vragen, het classificeren van herhaalde items en agents die identieke vragen opnieuw stellen. Het pattern van de Green Software Foundation over agent-orkestratie raadt aan overbodige modelaanroepen en herhaald rekenwerk precies op deze manier te schrappen.

Sommige teams gebruiken ook "semantische" caches die vergelijkbare in plaats van identieke vragen herkennen. Die besparen meer, maar kunnen een verkeerd antwoord geven op een net iets andere vraag, dus test ze zorgvuldig.

Veelgemaakte fouten

  • Tijdstempels of gebruikersnamen bovenaan de prompt zetten, waardoor het begin en de cache niet meer kloppen.
  • Voor altijd cachen. Stel een verlooptijd in die past bij hoe snel het antwoord veroudert.
  • Niet meten. Zonder hitrates weet u niet of de cache helpt.

Lees voor het bredere idee van hergebruiken in plaats van opnieuw genereren orkestratie boven generatie.

Bronnen

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy