In het kort
Gebruik twee lagen. Prompt caching bij de aanbieder hergebruikt de verwerking van een vast begin (prefix), zoals een lange systeemprompt of een gedeeld document, dus zet stabiele inhoud vooraan. Uw eigen responscache bewaart antwoorden op identieke verzoeken, zodat het model niet opnieuw wordt aangeroepen. Beide verminderen rekenwerk, kosten en latentie, mits u verstandige verlooptijden instelt.
Stappen
- Zet stabiele inhoud, zoals instructies en referentietekst, aan het begin van elke prompt.
- Zet prompt caching aan of markeer het zoals de documentatie van uw aanbieder beschrijft.
- Cache volledige antwoorden voor identieke invoer in uw eigen applicatie.
- Stel verlooptijden in die passen bij hoe vaak het onderliggende antwoord verandert.
- Log de cache-hitrate en het aantal input-tokens, zodat u de besparing ziet.
De goedkoopste modelaanroep is de aanroep die u niet doet, en de op één na goedkoopste hergebruikt werk dat al is gedaan. Caching doet allebei.
Wat is prompt caching?
De aanbieder bewaart de verwerkte vorm van het begin van uw prompt en hergebruikt die bij latere aanroepen. Volgens de documentatie van Anthropic "significantly reduces processing time and costs" (vermindert het de verwerkingstijd en kosten aanzienlijk) bij prompts met vaste onderdelen; het rekent voor cache-reads een tiende van de normale prijs van input-tokens en bewaart de cache standaard vijf minuten. OpenAI zet prompt caching standaard aan voor ondersteunde modellen. Beide werken alleen bij een identiek begin, dus de volgorde telt: stabiele instructies en documenten eerst, de wisselende vraag als laatste.
Wat is response caching?
U bewaart het antwoord van het model en geeft het terug wanneer hetzelfde verzoek opnieuw binnenkomt. Dit past bij veelgestelde vragen, het classificeren van herhaalde items en agents die identieke vragen opnieuw stellen. Het pattern van de Green Software Foundation over agent-orkestratie raadt aan overbodige modelaanroepen en herhaald rekenwerk precies op deze manier te schrappen.
Sommige teams gebruiken ook "semantische" caches die vergelijkbare in plaats van identieke vragen herkennen. Die besparen meer, maar kunnen een verkeerd antwoord geven op een net iets andere vraag, dus test ze zorgvuldig.
Veelgemaakte fouten
- Tijdstempels of gebruikersnamen bovenaan de prompt zetten, waardoor het begin en de cache niet meer kloppen.
- Voor altijd cachen. Stel een verlooptijd in die past bij hoe snel het antwoord veroudert.
- Niet meten. Zonder hitrates weet u niet of de cache helpt.
Lees voor het bredere idee van hergebruiken in plaats van opnieuw genereren orkestratie boven generatie.
Bronnen
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
Gerelateerd
Hoe voorkom ik dat mijn chatbot steeds het hele gesprek opnieuw verstuurt?
Zo houdt u de context van een chatbot klein: beperk eerdere beurten, vat oudere berichten samen, haal relevante stukken op en cache vaste prompts.
Hoe voorkom ik dat AI-agents tokens verspillen?
Praktische vangrails voor AI-agents: stopvoorwaarden, limieten op stappen en tokens, lusdetectie, ingekorte context en kleine modellen voor eenvoudige stappen.
Orkestratie boven generatie
Waarom het hergebruik van geteste onderdelen en het routeren naar het kleinste geschikte model het energieverbruik van AI kan verlagen, en wat het bewijs tot nu toe zegt.
AI efficiënt gebruiken: dagelijkse gewoonten
Dagelijkse gewoonten die het energieverbruik van AI verlagen: duidelijke prompts, minder opnieuw genereren, zuinig met beeld en video, caching en standaardfuncties uit.