greenai.guide

Strona główna › Jak…? › Jak użyć cache, aby zmniejszyć zużycie energii przez wywołania LLM?

Jak…?

Jak użyć cache, aby zmniejszyć zużycie energii przez wywołania LLM?

Aktualizacja · Czas czytania: 1 min

W skrócie

Należy stosować dwie warstwy. Prompt caching u dostawcy ponownie wykorzystuje przetworzenie stałego początku promptu, np. długiego promptu systemowego lub wspólnego dokumentu, dlatego stałą treść należy umieszczać na początku. Własny cache odpowiedzi przechowuje odpowiedzi na identyczne zapytania, więc model nie jest wywoływany ponownie. Oba ograniczają obliczenia, koszty i opóźnienia, o ile ustawi się rozsądny czas wygasania.

Kroki

  1. Umieszczać stałą treść, np. instrukcje i tekst referencyjny, na początku każdego promptu.
  2. Włączyć lub oznaczyć prompt caching zgodnie z dokumentacją dostawcy.
  3. Przechowywać w cache we własnej aplikacji pełne odpowiedzi dla identycznych danych wejściowych.
  4. Ustawić czas wygasania dopasowany do tego, jak często zmienia się właściwa odpowiedź.
  5. Zapisywać w logach odsetek trafień w cache i liczbę tokenów wejściowych, aby widzieć oszczędność.

Najtańsze wywołanie modelu to takie, którego się nie wykonuje, a następne w kolejności to takie, które wykorzystuje już wykonaną pracę. Cache (pamięć podręczna) daje jedno i drugie.

Czym jest prompt caching?

Dostawca przechowuje przetworzoną postać początku promptu i używa jej ponownie przy kolejnych wywołaniach. Dokumentacja Anthropic podaje, że prompt caching „znacznie skraca czas przetwarzania i obniża koszty” w przypadku promptów ze stałymi elementami. Odczyty z cache kosztują jedną dziesiątą ceny zwykłych tokenów wejściowych, a cache domyślnie jest przechowywany przez pięć minut. OpenAI domyślnie włącza prompt caching dla obsługiwanych modeli. Oba rozwiązania działają tylko przy identycznym początku promptu, więc kolejność ma znaczenie: najpierw stałe instrukcje i dokumenty, na końcu zmieniające się pytanie.

Czym jest cache odpowiedzi?

Odpowiedź modelu zapisuje się i zwraca ją, gdy znowu przychodzi to samo zapytanie. Sprawdza się to przy FAQ, klasyfikacji powtarzających się elementów i agentach, które ponownie zadają identyczne pytania. Wzorzec Green Software Foundation dotyczący orkiestracji agentów zaleca właśnie w ten sposób ograniczać zbędne wywołania modelu i powtarzane obliczenia.

Niektóre zespoły używają też cache „semantycznego”, który dopasowuje pytania podobne, a nie identyczne. Daje on większe oszczędności, ale może zwrócić błędną odpowiedź na pytanie subtelnie inne, dlatego trzeba go starannie przetestować.

Częste błędy

  • Umieszczanie znaczników czasu lub nazw użytkowników na początku promptu, co psuje stały początek i cache.
  • Przechowywanie w cache bez końca. Należy ustawić czas wygasania pasujący do tego, jak szybko odpowiedź się dezaktualizuje.
  • Brak pomiarów. Bez odsetka trafień nie wiadomo, czy cache pomaga.

Szerszą ideę ponownego wykorzystania zamiast generowania od nowa opisuje tekst orkiestracja zamiast generowania.

Źródła

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność