greenai.guide

Home › Come faccio a…? › Come limito la lunghezza delle risposte di un LLM?

Come faccio a…?

Come limito la lunghezza delle risposte di un LLM?

Aggiornato · 1 min di lettura

In breve

Imposti una lunghezza massima dell'output nella chiamata API, indichi al modello nel prompt il formato e la lunghezza che desidera, e usi sequenze di stop o output strutturato così che si fermi quando il lavoro è finito. L'energia cresce con il numero di token generati dal modello, quindi limitare l'output è uno dei risparmi più semplici in qualsiasi applicazione.

Passaggi

  1. Stabilisca la risposta utile più lunga per ogni funzionalità e imposti di conseguenza il numero massimo di token in uscita dell'API.
  2. Indichi nel prompt formato e lunghezza, per esempio "tre punti elenco".
  3. Usi l'output strutturato, come uno schema JSON, quando il Suo codice ha bisogno solo di campi.
  4. Aggiunga sequenze di stop dove la risposta ha un marcatore di fine naturale.
  5. Rilevi le risposte troncate dal limite e le gestisca invece di ripetere silenziosamente la richiesta.

Dica al modello, e all'API, quanto testo desidera. I modelli generano un token alla volta, e ognuno costa calcolo.

Perché è importante?

Delavande, Pierrard e Luccioni hanno rilevato che l'energia cresce in modo lineare con la lunghezza del testo generato, e che i modelli più grandi non solo consumano più energia per token, ma tendono anche a scrivere risposte più lunghe. L'UNESCO e lo University College London hanno rilevato che prompt e risposte più brevi possono ridurre il consumo di energia di oltre la metà.

Quali controlli devo usare?

  • Numero massimo di token in uscita. Ogni API principale ha un parametro per questo. Lo imposti per singola funzionalità, non con un unico valore globale generoso.
  • Istruzioni. "Rispondi con una frase" o "restituisci solo il nome della categoria" funzionano meglio di un limite rigido da solo, perché il modello pianifica una risposta breve invece di essere interrotto.
  • Output strutturato. Se il Suo codice analizza dei campi, chieda un JSON conforme a uno schema e salti la prosa.
  • Sequenze di stop. Terminano la generazione a un marcatore, come un tag di chiusura.
  • Livello di ragionamento. Dove un modello offre un'impostazione di ragionamento (thinking o reasoning), usi il livello più basso che supera i Suoi test: veda quando usare le modalità di ragionamento.

Errori comuni

  • Limiti così stretti da troncare le risposte, seguiti da un nuovo tentativo automatico con un limite più alto. Costa di più che impostare subito la lunghezza giusta.
  • Chiedere spiegazioni che nessuno legge, come "spiega il tuo ragionamento" in una pipeline di classificazione.
  • Non registrare i token in uscita per funzionalità, così le funzionalità più prolisse restano nascoste.

Per le abitudini degli utenti, legga usare l'IA in modo efficiente.

Fonti

  1. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  2. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy