W skrócie
Należy ustawić maksymalną długość odpowiedzi w wywołaniu API, podać w prompcie oczekiwany format i długość oraz użyć sekwencji stopu lub danych strukturalnych, aby model kończył, gdy zadanie jest wykonane. Energia rośnie wraz z liczbą tokenów generowanych przez model, więc ograniczenie odpowiedzi to jedna z najprostszych oszczędności w każdej aplikacji.
Kroki
- Dla każdej funkcji należy ustalić najdłuższą użyteczną odpowiedź i ustawić odpowiednio maksymalną liczbę tokenów wyjściowych w API.
- W prompcie należy podać format i długość, np. „trzy punkty”.
- Gdy kod potrzebuje tylko pól, warto użyć danych strukturalnych, np. schematu JSON.
- Tam, gdzie odpowiedź ma naturalny znacznik końca, warto dodać sekwencje stopu.
- Należy wykrywać odpowiedzi ucięte przez limit i obsługiwać je, zamiast po cichu ponawiać zapytanie.
Należy powiedzieć modelowi i API, ile tekstu jest potrzebne. Modele generują po jednym tokenie naraz, a każdy z nich kosztuje obliczenia.
Dlaczego to ma znaczenie?
Delavande, Pierrard i Luccioni stwierdzili, że energia rośnie liniowo wraz z długością generowanego tekstu, a większe modele nie tylko zużywają więcej energii na token, lecz także zwykle piszą dłuższe odpowiedzi. UNESCO i University College London ustaliły, że krótsze prompty i odpowiedzi mogą zmniejszyć zużycie energii o ponad połowę.
Jakich ustawień użyć?
- Maksymalna liczba tokenów wyjściowych. Każde duże API ma do tego parametr. Należy ustawić go osobno dla każdej funkcji, a nie jedną hojną wartość globalną.
- Instrukcje. „Odpowiedz jednym zdaniem” albo „zwróć tylko nazwę kategorii” działają lepiej niż sam twardy limit, bo model od początku planuje krótką odpowiedź, zamiast zostać ucięty.
- Dane strukturalne. Jeśli kod odczytuje pola, warto poprosić o JSON zgodny ze schematem i pominąć prozę.
- Sekwencje stopu. Generowanie można zakończyć na znaczniku, np. tagu zamykającym.
- Poziom rozumowania. Jeśli model ma ustawienie myślenia lub rozumowania, należy użyć najniższego poziomu, który przechodzi testy: zobacz kiedy używać trybów rozumowania.
Częste błędy
- Limity tak ciasne, że odpowiedzi są ucinane, a potem automatyczne ponowienie z wyższym limitem. Kosztuje to więcej niż od razu dobrze dobrana długość.
- Proszenie o wyjaśnienia, których nikt nie czyta, np. „wyjaśnij swoje rozumowanie” w procesie klasyfikacji.
- Brak rejestrowania tokenów wyjściowych dla każdej funkcji, przez co najbardziej rozwlekłe funkcje pozostają niezauważone.
Nawyki dla użytkowników opisuje strona efektywne korzystanie z AI.
Źródła
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- What are tokens and how to count them?, OpenAI Help Center (2025)
Powiązane
Jak pisać prompty, które zużywają mniej energii?
Jak pisać prompty wymagające mniej obliczeń: konkretnie, z limitem długości, wklejając tylko to, co ważne, i trafiając za pierwszym razem zamiast ponawiać.
Jak sprawić, by chatbot nie wysyłał ponownie całej rozmowy?
Jak utrzymać mały kontekst chatbota: ograniczyć liczbę dawnych wymian, streszczać starsze wiadomości, wyszukiwać to, co istotne, i buforować stałe prompty.
Kiedy używać trybu „myślenia” lub rozumowania w AI?
Kiedy tryb rozumowania lub „myślenia” AI jest wart użycia, kiedy wystarczy standardowy model i dlaczego rozumowanie może zużywać wielokrotnie więcej energii na odpowiedź.
Efektywne korzystanie z AI: codzienne nawyki
Codzienne nawyki, które ograniczają zużycie energii przez AI: jasne prompty, mniej ponownych generowań, umiar z obrazami i wideo, buforowanie, wyłączanie.