In breve
Usi due livelli. Il prompt caching del fornitore riutilizza l'elaborazione di un prefisso fisso, come un lungo prompt di sistema o un documento condiviso, quindi metta per primo il contenuto stabile. La Sua cache delle risposte conserva le risposte a richieste identiche, così il modello non viene chiamato di nuovo. Entrambi riducono calcolo, costi e latenza, purché imposti tempi di scadenza sensati.
Passaggi
- Metta all'inizio di ogni prompt il contenuto stabile, come istruzioni e testi di riferimento.
- Attivi o segnali il prompt caching come descritto nella documentazione del Suo fornitore.
- Memorizzi nella Sua applicazione le risposte complete per input identici.
- Imposti tempi di scadenza coerenti con la frequenza con cui cambia la risposta sottostante.
- Registri il tasso di successo della cache e i token di input, così da vedere il risparmio.
La chiamata al modello più economica è quella che non si fa, e la seconda più economica riutilizza lavoro già svolto. La cache fa entrambe le cose.
Che cos'è il prompt caching?
Il fornitore conserva la forma elaborata dell'inizio del Suo prompt e la riutilizza nelle chiamate successive. La documentazione di Anthropic afferma che il prompt caching "riduce in modo significativo i tempi di elaborazione e i costi" per i prompt con elementi ricorrenti, fa pagare le letture dalla cache un decimo dei normali token di input e conserva la cache per cinque minuti per default. OpenAI attiva il prompt caching per default sui modelli supportati. Entrambi funzionano solo con un prefisso identico, quindi l'ordine conta: prima le istruzioni e i documenti stabili, in fondo la domanda che cambia.
Che cos'è la cache delle risposte?
Si conserva la risposta del modello e la si restituisce quando arriva di nuovo la stessa richiesta. È adatta alle FAQ, alla classificazione di elementi ripetuti e agli agenti che ripropongono domande identiche. Il pattern della Green Software Foundation sull'orchestrazione degli agenti raccomanda proprio in questo modo di ridurre le chiamate ridondanti al modello e i calcoli ripetuti.
Alcuni team usano anche cache "semantiche", che abbinano domande simili anziché identiche. Fanno risparmiare di più, ma possono restituire una risposta sbagliata a una domanda leggermente diversa, quindi vanno provate con cura.
Errori comuni
- Mettere orari o nomi utente in cima al prompt, il che rompe il prefisso e la cache.
- Usare una cache senza scadenza. Imposti una scadenza adatta alla velocità con cui la risposta diventa obsoleta.
- Non misurare. Senza il tasso di successo non saprà se la cache aiuta.
Per l'idea più ampia di riutilizzare invece di rigenerare, legga orchestrazione anziché generazione.
Fonti
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
Correlati
Come evito che il mio chatbot rinvii ogni volta l'intera conversazione?
Come contenere il contesto di un chatbot: limitare i turni passati, riassumere i vecchi messaggi, recuperare il pertinente e mettere in cache i prompt fissi.
Come evito che gli agenti di IA sprechino token?
Protezioni pratiche per gli agenti di IA: condizioni di arresto, limiti di passi e token, rilevamento dei cicli, riduzione del contesto e modelli piccoli per i passi semplici.
Orchestrare invece di generare
Perché riusare componenti verificati e instradare le richieste al modello più piccolo adatto può ridurre l'energia dell'IA, e che cosa dicono i dati.
Usare l'IA in modo efficiente: abitudini quotidiane
Abitudini quotidiane che riducono l'energia dell'IA: prompt chiari, meno rigenerazioni, cautela con immagini e video, caching e funzioni predefinite spente.