W skrócie
Należy stosować dwie warstwy. Prompt caching u dostawcy ponownie wykorzystuje przetworzenie stałego początku promptu, np. długiego promptu systemowego lub wspólnego dokumentu, dlatego stałą treść należy umieszczać na początku. Własny cache odpowiedzi przechowuje odpowiedzi na identyczne zapytania, więc model nie jest wywoływany ponownie. Oba ograniczają obliczenia, koszty i opóźnienia, o ile ustawi się rozsądny czas wygasania.
Kroki
- Umieszczać stałą treść, np. instrukcje i tekst referencyjny, na początku każdego promptu.
- Włączyć lub oznaczyć prompt caching zgodnie z dokumentacją dostawcy.
- Przechowywać w cache we własnej aplikacji pełne odpowiedzi dla identycznych danych wejściowych.
- Ustawić czas wygasania dopasowany do tego, jak często zmienia się właściwa odpowiedź.
- Zapisywać w logach odsetek trafień w cache i liczbę tokenów wejściowych, aby widzieć oszczędność.
Najtańsze wywołanie modelu to takie, którego się nie wykonuje, a następne w kolejności to takie, które wykorzystuje już wykonaną pracę. Cache (pamięć podręczna) daje jedno i drugie.
Czym jest prompt caching?
Dostawca przechowuje przetworzoną postać początku promptu i używa jej ponownie przy kolejnych wywołaniach. Dokumentacja Anthropic podaje, że prompt caching „znacznie skraca czas przetwarzania i obniża koszty” w przypadku promptów ze stałymi elementami. Odczyty z cache kosztują jedną dziesiątą ceny zwykłych tokenów wejściowych, a cache domyślnie jest przechowywany przez pięć minut. OpenAI domyślnie włącza prompt caching dla obsługiwanych modeli. Oba rozwiązania działają tylko przy identycznym początku promptu, więc kolejność ma znaczenie: najpierw stałe instrukcje i dokumenty, na końcu zmieniające się pytanie.
Czym jest cache odpowiedzi?
Odpowiedź modelu zapisuje się i zwraca ją, gdy znowu przychodzi to samo zapytanie. Sprawdza się to przy FAQ, klasyfikacji powtarzających się elementów i agentach, które ponownie zadają identyczne pytania. Wzorzec Green Software Foundation dotyczący orkiestracji agentów zaleca właśnie w ten sposób ograniczać zbędne wywołania modelu i powtarzane obliczenia.
Niektóre zespoły używają też cache „semantycznego”, który dopasowuje pytania podobne, a nie identyczne. Daje on większe oszczędności, ale może zwrócić błędną odpowiedź na pytanie subtelnie inne, dlatego trzeba go starannie przetestować.
Częste błędy
- Umieszczanie znaczników czasu lub nazw użytkowników na początku promptu, co psuje stały początek i cache.
- Przechowywanie w cache bez końca. Należy ustawić czas wygasania pasujący do tego, jak szybko odpowiedź się dezaktualizuje.
- Brak pomiarów. Bez odsetka trafień nie wiadomo, czy cache pomaga.
Szerszą ideę ponownego wykorzystania zamiast generowania od nowa opisuje tekst orkiestracja zamiast generowania.
Źródła
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
Powiązane
Jak sprawić, by chatbot nie wysyłał ponownie całej rozmowy?
Jak utrzymać mały kontekst chatbota: ograniczyć liczbę dawnych wymian, streszczać starsze wiadomości, wyszukiwać to, co istotne, i buforować stałe prompty.
Jak sprawić, by agenci AI nie marnowali tokenów?
Praktyczne zabezpieczenia dla agentów AI: warunki zakończenia, limity kroków i tokenów, wykrywanie pętli, przycinanie kontekstu i małe modele do prostych kroków.
Orkiestracja zamiast generowania
Dlaczego ponowne użycie sprawdzonych komponentów i routing zapytań do najmniejszego wystarczającego modelu może obniżyć zużycie energii przez AI.
Efektywne korzystanie z AI: codzienne nawyki
Codzienne nawyki, które ograniczają zużycie energii przez AI: jasne prompty, mniej ponownych generowań, umiar z obrazami i wideo, buforowanie, wyłączanie.