greenai.guide

Strona główna › Jak…? › Jak ograniczyć długość odpowiedzi LLM?

Jak…?

Jak ograniczyć długość odpowiedzi LLM?

Aktualizacja · Czas czytania: 1 min

W skrócie

Należy ustawić maksymalną długość odpowiedzi w wywołaniu API, podać w prompcie oczekiwany format i długość oraz użyć sekwencji stopu lub danych strukturalnych, aby model kończył, gdy zadanie jest wykonane. Energia rośnie wraz z liczbą tokenów generowanych przez model, więc ograniczenie odpowiedzi to jedna z najprostszych oszczędności w każdej aplikacji.

Kroki

  1. Dla każdej funkcji należy ustalić najdłuższą użyteczną odpowiedź i ustawić odpowiednio maksymalną liczbę tokenów wyjściowych w API.
  2. W prompcie należy podać format i długość, np. „trzy punkty”.
  3. Gdy kod potrzebuje tylko pól, warto użyć danych strukturalnych, np. schematu JSON.
  4. Tam, gdzie odpowiedź ma naturalny znacznik końca, warto dodać sekwencje stopu.
  5. Należy wykrywać odpowiedzi ucięte przez limit i obsługiwać je, zamiast po cichu ponawiać zapytanie.

Należy powiedzieć modelowi i API, ile tekstu jest potrzebne. Modele generują po jednym tokenie naraz, a każdy z nich kosztuje obliczenia.

Dlaczego to ma znaczenie?

Delavande, Pierrard i Luccioni stwierdzili, że energia rośnie liniowo wraz z długością generowanego tekstu, a większe modele nie tylko zużywają więcej energii na token, lecz także zwykle piszą dłuższe odpowiedzi. UNESCO i University College London ustaliły, że krótsze prompty i odpowiedzi mogą zmniejszyć zużycie energii o ponad połowę.

Jakich ustawień użyć?

  • Maksymalna liczba tokenów wyjściowych. Każde duże API ma do tego parametr. Należy ustawić go osobno dla każdej funkcji, a nie jedną hojną wartość globalną.
  • Instrukcje. „Odpowiedz jednym zdaniem” albo „zwróć tylko nazwę kategorii” działają lepiej niż sam twardy limit, bo model od początku planuje krótką odpowiedź, zamiast zostać ucięty.
  • Dane strukturalne. Jeśli kod odczytuje pola, warto poprosić o JSON zgodny ze schematem i pominąć prozę.
  • Sekwencje stopu. Generowanie można zakończyć na znaczniku, np. tagu zamykającym.
  • Poziom rozumowania. Jeśli model ma ustawienie myślenia lub rozumowania, należy użyć najniższego poziomu, który przechodzi testy: zobacz kiedy używać trybów rozumowania.

Częste błędy

  • Limity tak ciasne, że odpowiedzi są ucinane, a potem automatyczne ponowienie z wyższym limitem. Kosztuje to więcej niż od razu dobrze dobrana długość.
  • Proszenie o wyjaśnienia, których nikt nie czyta, np. „wyjaśnij swoje rozumowanie” w procesie klasyfikacji.
  • Brak rejestrowania tokenów wyjściowych dla każdej funkcji, przez co najbardziej rozwlekłe funkcje pozostają niezauważone.

Nawyki dla użytkowników opisuje strona efektywne korzystanie z AI.

Źródła

  1. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  2. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność