greenai.guide

Home › Come faccio a…? › Come rendo più efficienti la ricerca vettoriale e la RAG?

Come faccio a…?

Come rendo più efficienti la ricerca vettoriale e la RAG?

Aggiornato · 1 min di lettura

In breve

Usi un indice approssimato dei vicini più prossimi invece di confrontare ogni richiesta con ogni vettore memorizzato, recuperi pochi passaggi brevi e pertinenti invece di molti passaggi lunghi, e ricalcoli gli embedding solo dei contenuti modificati. Poi usi il modello di generazione più piccolo che risponde bene a partire da un buon contesto. La maggior parte degli sprechi nei sistemi di recupero deriva dalla ricerca esaustiva e dai prompt sovradimensionati.

Passaggi

  1. Sostituisca il confronto esaustivo tra vettori con un indice approssimato dei vicini più prossimi.
  2. Divida i documenti in frammenti brevi e recuperi solo i primi pochi.
  3. Ricalcoli gli embedding solo dei contenuti nuovi o modificati invece di ricostruire l'intero indice.
  4. Registri i token in ingresso per risposta e tagli il contesto che non migliora la qualità.
  5. Provi un modello di generazione più piccolo quando la qualità del recupero è buona.

Il recupero dovrebbe far leggere al modello meno testo, non di più. Un sistema di generazione aumentata dal recupero (RAG, retrieval-augmented generation) ben costruito trova rapidamente pochi passaggi pertinenti e passa al modello solo quelli.

Dove spreca energia la RAG?

  • Ricerca esaustiva. Confrontare una richiesta con ogni embedding memorizzato, uno per uno, cresce con la dimensione della raccolta. La Green Software Foundation raccomanda invece un indice approssimato dei vicini più prossimi.
  • Contesto sovradimensionato. Recuperare venti passaggi lunghi "per sicurezza" moltiplica i token in ingresso. Epoch AI stima che una richiesta tipica di circa 0,3 Wh salga a circa 2,5 Wh con un input di 10.000 token.
  • Ricostruire tutto. Ricalcolare ogni notte gli embedding di un intero archivio di documenti quando ne sono cambiati solo pochi.

Che cosa fa la differenza maggiore?

Un recupero migliore, così il modello ha bisogno di meno contesto. Una buona suddivisione in frammenti, una fase di riordinamento (reranking) e filtri sui metadati (data, reparto, prodotto) fanno sì che tre passaggi brevi possano fare il lavoro di quindici lunghi. Quando il contesto è buono, un modello di generazione più piccolo spesso risponde altrettanto bene; veda come scegliere un modello di IA più piccolo.

Errori comuni

  • Usare un modello di embedding grande dove uno piccolo recupera altrettanto bene sui Suoi dati. Li provi entrambi.
  • Nessun insieme di valutazione. Misuri la qualità del recupero (è tornato il passaggio giusto?) separatamente dalla qualità della risposta.
  • Non memorizzare nulla in cache. Le domande frequenti possono riutilizzare le risposte; veda come usare la cache.

Per l'idea più ampia di riutilizzare invece di rigenerare, legga orchestrazione prima della generazione.

Fonti

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy