W skrócie
Większość funkcji czatu przy każdej wymianie wysyła do modelu całą rozmowę, więc dane wejściowe rosną z każdą wiadomością. Należy ograniczyć liczbę wysyłanych wcześniejszych wymian, streszczać starsze w krótką notatkę, wyszukiwać tylko te wcześniejsze wiadomości lub dokumenty, które mają znaczenie, oraz buforować stałe prompty systemowe. Długie dane wejściowe kosztują znacznie więcej energii niż krótkie.
Kroki
- Rejestrować liczbę tokenów wejściowych w każdej wymianie, aby wzrost był widoczny.
- Wysyłać dosłownie tylko kilka ostatnich wymian.
- Zastępować starsze wymiany krótkim, bieżąco aktualizowanym podsumowaniem.
- Wyszukiwać wcześniejsze wiadomości lub dokumenty tylko wtedy, gdy są istotne dla nowego pytania.
- Stosować buforowanie promptów (prompt caching) dla stałego promptu systemowego i wspólnego kontekstu.
Model powinien dostawać to, czego potrzebuje w danej wymianie, a nie wszystko, co kiedykolwiek powiedziano. Kontekst rosnący bez ograniczeń to jeden z najczęstszych ukrytych kosztów funkcji czatu.
Dlaczego to ważne?
Zużycie energii rośnie wraz z ilością tekstu, którą model czyta. Delavande, Pierrard i Luccioni ustalili, że energia rośnie liniowo wraz z długością promptu i generowanej odpowiedzi. Epoch AI szacuje, że typowe zapytanie, zużywające około 0,3 Wh, przy danych wejściowych liczących 10 000 tokenów zużywa około 2,5 Wh, a przy 100 000 tokenów prawie 40 Wh. Długi czat z obsługą klienta, który za każdym razem wysyła całą historię, może niepostrzeżenie zbliżać się do drogiego końca tej skali.
Jak utrzymać mały kontekst?
- Przesuwane okno. Kilka ostatnich wymian należy zachować słowo w słowo.
- Bieżące podsumowanie. Co kilka wymian można poprosić mały model (lub własny kod) o skompresowanie starszej historii do krótkiej notatki z decyzjami i faktami.
- Wyszukiwanie. Należy przechowywać wcześniejsze wiadomości i dokumenty, a pobierać tylko te istotne dla nowego pytania.
- Buforowanie promptów. Dla stałych instrukcji zob. jak korzystać z pamięci podręcznej.
- Nowy start. Warto udostępnić przycisk „nowy temat”, który rozpoczyna czysty kontekst.
Częste błędy
- Dołączanie tego samego dokumentu przy każdej wymianie zamiast wyszukiwania istotnego fragmentu.
- Podsumowania gubiące kluczowe fakty. Należy sprawdzić, czy po streszczeniu odpowiedzi pozostają poprawne.
- Brak pomiarów. Bez rejestrów tokenów wejściowych wzrost jest niewidoczny.
Użytkownicy mogą robić to samo w narzędziach konsumenckich: zob. jak sprawić, by długie czaty z AI nie marnowały energii. Więcej nawyków opisuje strona efektywne korzystanie z AI.
Źródła
- How much energy does ChatGPT use?, Epoch AI (2025)
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- What are tokens and how to count them?, OpenAI Help Center (2025)
Powiązane
Jak użyć cache, aby zmniejszyć zużycie energii przez wywołania LLM?
Dwa rodzaje cache ograniczające pracę LLM: prompt caching u dostawcy dla powtarzanego kontekstu i własny cache, aby nie odpowiadać dwa razy na to samo.
Jak sprawić, by długie czaty z AI nie marnowały energii?
Dlaczego długie wątki czatu z AI drożeją z każdą wiadomością i proste nawyki, które pomagają: nowe czaty, krótkie podsumowania i wklejanie tylko tego, co ważne.
Jak ograniczyć długość odpowiedzi LLM?
Jak programiści mogą ograniczyć odpowiedzi LLM: limit tokenów, określony format i długość, sekwencje stopu, dane strukturalne i obsługa uciętych odpowiedzi.
Efektywne korzystanie z AI: codzienne nawyki
Codzienne nawyki, które ograniczają zużycie energii przez AI: jasne prompty, mniej ponownych generowań, umiar z obrazami i wideo, buforowanie, wyłączanie.