Kurz gesagt
Nutzen Sie zwei Ebenen. Prompt-Caching beim Anbieter verwendet die Verarbeitung eines festen Anfangsteils (Präfix) wieder, etwa eines langen System-Prompts oder eines gemeinsamen Dokuments, also stellen Sie stabile Inhalte an den Anfang. Ihr eigener Antwort-Cache speichert Antworten auf identische Anfragen, sodass das Modell nicht erneut aufgerufen wird. Beides senkt Rechenaufwand, Kosten und Latenz, sofern Sie sinnvolle Ablaufzeiten festlegen.
Schritte
- Stellen Sie stabile Inhalte wie Anweisungen und Referenztexte an den Anfang jedes Prompts.
- Aktivieren oder markieren Sie Prompt-Caching so, wie es die Dokumentation Ihres Anbieters beschreibt.
- Speichern Sie vollständige Antworten auf identische Eingaben in Ihrer eigenen Anwendung im Cache.
- Legen Sie Ablaufzeiten fest, die dazu passen, wie oft sich die zugrunde liegende Antwort ändert.
- Protokollieren Sie Cache-Trefferquoten und Eingabe-Tokens, damit Sie die Einsparung sehen.
Der günstigste Modellaufruf ist der, den Sie nicht machen, und der zweitgünstigste nutzt bereits geleistete Arbeit wieder. Caching leistet beides.
Was ist Prompt-Caching?
Der Anbieter speichert die verarbeitete Form des Anfangs Ihres Prompts und verwendet sie bei späteren Aufrufen wieder. Laut der Dokumentation von Anthropic „reduziert Prompt-Caching Verarbeitungszeit und Kosten erheblich“ bei Prompts mit gleichbleibenden Elementen; Cache-Lesezugriffe kosten ein Zehntel normaler Eingabe-Tokens, und der Cache wird standardmäßig fünf Minuten lang gehalten. OpenAI aktiviert Prompt-Caching für unterstützte Modelle standardmäßig. Beides funktioniert nur bei einem identischen Präfix, daher kommt es auf die Reihenfolge an: stabile Anweisungen und Dokumente zuerst, die wechselnde Frage zuletzt.
Was ist Antwort-Caching?
Sie speichern die Antwort des Modells und geben sie zurück, wenn dieselbe Anfrage erneut eingeht. Das eignet sich für FAQs, die Klassifizierung wiederkehrender Einträge und Agenten, die identische Fragen erneut stellen. Das Muster der Green Software Foundation zur Agenten-Orchestrierung empfiehlt genau auf diese Weise, überflüssige Modellaufrufe und wiederholte Berechnungen zu vermeiden.
Manche Teams nutzen auch „semantische“ Caches, die ähnliche statt identischer Fragen zuordnen. Diese sparen mehr, können aber auf eine subtil andere Frage eine falsche Antwort liefern, also testen Sie sie sorgfältig.
Häufige Fehler
- Zeitstempel oder Nutzernamen an den Anfang des Prompts setzen, was das Präfix und damit den Cache zerstört.
- Für immer cachen. Legen Sie eine Ablaufzeit fest, die dazu passt, wie schnell die Antwort veraltet.
- Nicht messen. Ohne Trefferquoten wissen Sie nicht, ob der Cache hilft.
Mehr zur übergreifenden Idee, wiederzuverwenden statt neu zu generieren, lesen Sie unter Orchestrierung statt Generierung.
Quellen
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
Verwandte Themen
Wie verhindere ich, dass mein Chatbot das ganze Gespräch erneut sendet?
So halten Sie den Chatbot-Kontext klein: frühere Runden begrenzen, ältere zusammenfassen, Relevantes abrufen und feste Prompts cachen, damit die Eingabe nicht wächst.
Wie verhindere ich, dass KI-Agenten Tokens verschwenden?
Praktische Leitplanken für KI-Agenten: Abbruchbedingungen, Schritt- und Token-Limits, Schleifenerkennung, gekürzter Kontext und kleine Modelle für einfache Schritte.
Orchestrierung statt Generierung
Warum die Wiederverwendung geprüfter Komponenten und das Routing zum kleinsten geeigneten Modell den Energieverbrauch von KI senken können und was die Belege bisher zeigen.
KI effizient nutzen: Gewohnheiten für den Alltag
Alltagsgewohnheiten, die den Energieverbrauch bei der KI-Nutzung senken: klare Prompts, weniger Neugenerieren, Maß bei Bildern und Videos, Caching, Abschalten.