greenai.guide

Startseite › Wie kann ich …? › Wie senke ich mit Caching den Energieverbrauch von LLM-Aufrufen?

Wie kann ich …?

Wie senke ich mit Caching den Energieverbrauch von LLM-Aufrufen?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Nutzen Sie zwei Ebenen. Prompt-Caching beim Anbieter verwendet die Verarbeitung eines festen Anfangsteils (Präfix) wieder, etwa eines langen System-Prompts oder eines gemeinsamen Dokuments, also stellen Sie stabile Inhalte an den Anfang. Ihr eigener Antwort-Cache speichert Antworten auf identische Anfragen, sodass das Modell nicht erneut aufgerufen wird. Beides senkt Rechenaufwand, Kosten und Latenz, sofern Sie sinnvolle Ablaufzeiten festlegen.

Schritte

  1. Stellen Sie stabile Inhalte wie Anweisungen und Referenztexte an den Anfang jedes Prompts.
  2. Aktivieren oder markieren Sie Prompt-Caching so, wie es die Dokumentation Ihres Anbieters beschreibt.
  3. Speichern Sie vollständige Antworten auf identische Eingaben in Ihrer eigenen Anwendung im Cache.
  4. Legen Sie Ablaufzeiten fest, die dazu passen, wie oft sich die zugrunde liegende Antwort ändert.
  5. Protokollieren Sie Cache-Trefferquoten und Eingabe-Tokens, damit Sie die Einsparung sehen.

Der günstigste Modellaufruf ist der, den Sie nicht machen, und der zweitgünstigste nutzt bereits geleistete Arbeit wieder. Caching leistet beides.

Was ist Prompt-Caching?

Der Anbieter speichert die verarbeitete Form des Anfangs Ihres Prompts und verwendet sie bei späteren Aufrufen wieder. Laut der Dokumentation von Anthropic „reduziert Prompt-Caching Verarbeitungszeit und Kosten erheblich“ bei Prompts mit gleichbleibenden Elementen; Cache-Lesezugriffe kosten ein Zehntel normaler Eingabe-Tokens, und der Cache wird standardmäßig fünf Minuten lang gehalten. OpenAI aktiviert Prompt-Caching für unterstützte Modelle standardmäßig. Beides funktioniert nur bei einem identischen Präfix, daher kommt es auf die Reihenfolge an: stabile Anweisungen und Dokumente zuerst, die wechselnde Frage zuletzt.

Was ist Antwort-Caching?

Sie speichern die Antwort des Modells und geben sie zurück, wenn dieselbe Anfrage erneut eingeht. Das eignet sich für FAQs, die Klassifizierung wiederkehrender Einträge und Agenten, die identische Fragen erneut stellen. Das Muster der Green Software Foundation zur Agenten-Orchestrierung empfiehlt genau auf diese Weise, überflüssige Modellaufrufe und wiederholte Berechnungen zu vermeiden.

Manche Teams nutzen auch „semantische“ Caches, die ähnliche statt identischer Fragen zuordnen. Diese sparen mehr, können aber auf eine subtil andere Frage eine falsche Antwort liefern, also testen Sie sie sorgfältig.

Häufige Fehler

  • Zeitstempel oder Nutzernamen an den Anfang des Prompts setzen, was das Präfix und damit den Cache zerstört.
  • Für immer cachen. Legen Sie eine Ablaufzeit fest, die dazu passt, wie schnell die Antwort veraltet.
  • Nicht messen. Ohne Trefferquoten wissen Sie nicht, ob der Cache hilft.

Mehr zur übergreifenden Idee, wiederzuverwenden statt neu zu generieren, lesen Sie unter Orchestrierung statt Generierung.

Quellen

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz