greenai.guide

Home › Come faccio a…? › Come evito che il mio chatbot rinvii ogni volta l'intera conversazione?

Come faccio a…?

Come evito che il mio chatbot rinvii ogni volta l'intera conversazione?

Aggiornato · 1 min di lettura

In breve

La maggior parte delle funzioni di chat rinvia al modello l'intera conversazione a ogni turno, quindi l'input cresce a ogni messaggio. Limiti il numero di turni passati che invia, riassuma quelli più vecchi in una breve nota, recuperi solo i messaggi o i documenti precedenti che contano e metta in cache i prompt di sistema fissi. Gli input lunghi costano molta più energia di quelli brevi.

Passaggi

  1. Registri i token di input a ogni turno, così la crescita è visibile.
  2. Invii parola per parola solo gli ultimi turni.
  3. Sostituisca i turni più vecchi con un breve riassunto aggiornato.
  4. Recuperi messaggi o documenti precedenti solo quando sono pertinenti alla nuova domanda.
  5. Usi il prompt caching per il prompt di sistema fisso e per il contesto condiviso.

Invii al modello ciò che gli serve per questo turno, non tutto ciò che è stato detto finora. Un contesto che cresce senza limiti è uno dei costi nascosti più comuni nelle funzioni di chat.

Perché è importante?

L'energia aumenta con la quantità di testo che un modello legge. Delavande, Pierrard e Luccioni hanno rilevato che l'energia cresce in modo lineare con la lunghezza del prompt e del testo generato. Epoch AI stima che una richiesta tipica di circa 0,3 Wh salga a circa 2,5 Wh con un input di 10.000 token e a quasi 40 Wh con un input di 100.000 token. Una lunga chat di assistenza che rinvia ogni turno può scivolare verso la fascia costosa senza che nessuno se ne accorga.

Come mantengo piccolo il contesto?

  • Una finestra scorrevole. Conservi parola per parola gli ultimi turni.
  • Un riassunto aggiornato. Ogni pochi turni, chieda a un modello piccolo (o al Suo codice) di comprimere la cronologia più vecchia in una breve nota di decisioni e fatti.
  • Il recupero. Archivi i messaggi e i documenti passati e recuperi solo quelli pertinenti alla nuova domanda.
  • Il prompt caching. Per le istruzioni fisse, veda come usare la cache.
  • Ricominciare da capo. Offra un pulsante "nuovo argomento" che avvia un contesto pulito.

Errori comuni

  • Allegare di nuovo lo stesso documento a ogni turno invece di recuperare il passaggio pertinente.
  • Riassunti che perdono fatti chiave. Verifichi che le risposte restino corrette dopo il riassunto.
  • Non misurare. Senza registri dei token di input, la crescita è invisibile.

Gli utenti possono fare lo stesso negli strumenti per il pubblico: veda come evitare che le lunghe chat con l'IA sprechino energia. Per altre buone abitudini, legga usare l'IA in modo efficiente.

Fonti

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy