In breve
Usi un indice approssimato dei vicini più prossimi invece di confrontare ogni richiesta con ogni vettore memorizzato, recuperi pochi passaggi brevi e pertinenti invece di molti passaggi lunghi, e ricalcoli gli embedding solo dei contenuti modificati. Poi usi il modello di generazione più piccolo che risponde bene a partire da un buon contesto. La maggior parte degli sprechi nei sistemi di recupero deriva dalla ricerca esaustiva e dai prompt sovradimensionati.
Passaggi
- Sostituisca il confronto esaustivo tra vettori con un indice approssimato dei vicini più prossimi.
- Divida i documenti in frammenti brevi e recuperi solo i primi pochi.
- Ricalcoli gli embedding solo dei contenuti nuovi o modificati invece di ricostruire l'intero indice.
- Registri i token in ingresso per risposta e tagli il contesto che non migliora la qualità.
- Provi un modello di generazione più piccolo quando la qualità del recupero è buona.
Il recupero dovrebbe far leggere al modello meno testo, non di più. Un sistema di generazione aumentata dal recupero (RAG, retrieval-augmented generation) ben costruito trova rapidamente pochi passaggi pertinenti e passa al modello solo quelli.
Dove spreca energia la RAG?
- Ricerca esaustiva. Confrontare una richiesta con ogni embedding memorizzato, uno per uno, cresce con la dimensione della raccolta. La Green Software Foundation raccomanda invece un indice approssimato dei vicini più prossimi.
- Contesto sovradimensionato. Recuperare venti passaggi lunghi "per sicurezza" moltiplica i token in ingresso. Epoch AI stima che una richiesta tipica di circa 0,3 Wh salga a circa 2,5 Wh con un input di 10.000 token.
- Ricostruire tutto. Ricalcolare ogni notte gli embedding di un intero archivio di documenti quando ne sono cambiati solo pochi.
Che cosa fa la differenza maggiore?
Un recupero migliore, così il modello ha bisogno di meno contesto. Una buona suddivisione in frammenti, una fase di riordinamento (reranking) e filtri sui metadati (data, reparto, prodotto) fanno sì che tre passaggi brevi possano fare il lavoro di quindici lunghi. Quando il contesto è buono, un modello di generazione più piccolo spesso risponde altrettanto bene; veda come scegliere un modello di IA più piccolo.
Errori comuni
- Usare un modello di embedding grande dove uno piccolo recupera altrettanto bene sui Suoi dati. Li provi entrambi.
- Nessun insieme di valutazione. Misuri la qualità del recupero (è tornato il passaggio giusto?) separatamente dalla qualità della risposta.
- Non memorizzare nulla in cache. Le domande frequenti possono riutilizzare le risposte; veda come usare la cache.
Per l'idea più ampia di riutilizzare invece di rigenerare, legga orchestrazione prima della generazione.
Fonti
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
Correlati
Come scelgo tra retrieval e fine-tuning per risparmiare energia?
Quando usare il retrieval (RAG) e quando il fine-tuning: retrieval per fatti che cambiano, fine-tuning per abilità e stile, e perché confonderli spreca energia.
Come evito che il mio chatbot rinvii ogni volta l'intera conversazione?
Come contenere il contesto di un chatbot: limitare i turni passati, riassumere i vecchi messaggi, recuperare il pertinente e mettere in cache i prompt fissi.
Orchestrare invece di generare
Perché riusare componenti verificati e instradare le richieste al modello più piccolo adatto può ridurre l'energia dell'IA, e che cosa dicono i dati.
Come conservo i dati di addestramento dell'IA perché le pipeline leggano meno?
Come formati colonnari e binari, partizionamento e pre-elaborazione una tantum riducono l'energia che le pipeline di IA spendono a leggere i dati.