In breve
Usi il retrieval (recupero di informazioni) quando il modello ha bisogno di fatti che cambiano o che riguardano specificamente Lei: li metta in un indice ricercabile e recuperi solo i passaggi pertinenti. Usi il fine-tuning quando al modello manca un'abilità, un formato o uno stile. Riaddestrare per tenere aggiornati i fatti ripete i costi di addestramento, mentre incollare documenti interi in ogni prompt spreca inferenza, quindi ogni approccio ha il suo posto.
Passaggi
- Elenchi che cosa manca al modello: fatti, un'abilità, un formato o un tono.
- Metta i fatti che cambiano o riservati in un indice ricercabile e recuperi solo i passaggi pertinenti.
- Esegua il fine-tuning di un piccolo adattatore solo per abilità, formati o stili che il prompt da solo non consente di ottenere.
- Aggiorni l'indice quando il contenuto cambia, elaborando solo ciò che è cambiato.
- Misuri i token per richiesta e la qualità di ciascuna opzione prima di decidere.
Recuperi i fatti; affini le abilità con il fine-tuning. Scegliere quello sbagliato significa pagare ancora e ancora, per il riaddestramento o per prompt sovradimensionati.
Qual è la differenza?
- La generazione aumentata dal recupero (RAG) cerca i passaggi pertinenti nei Suoi contenuti e li fornisce al modello insieme alla domanda. Lewis e colleghi hanno introdotto l'approccio nel 2020 per compiti ad alta intensità di conoscenza. I pesi del modello non cambiano, quindi aggiornare la conoscenza significa aggiornare un indice.
- Il fine-tuning modifica i pesi del modello, o un piccolo adattatore come LoRA, così che impari un comportamento: un formato, uno schema di classificazione, uno stile aziendale.
Quale dei due usa meno energia?
Dipende da quanto spesso le cose cambiano e da quanto testo porta ogni richiesta.
| Situazione | Di solito è meglio |
|---|---|
| I fatti cambiano ogni settimana o ogni mese | Retrieval |
| Documenti riservati, policy, dati di prodotto | Retrieval |
| Un formato di output o uno schema di etichettatura fisso | Fine-tuning di un modello piccolo |
| Volumi molto alti, compito circoscritto | Fine-tuning, così i prompt possono essere brevi |
GreenCode, un progetto di ricerca ITEA, descrive l'uso del retrieval perché la propria IA legga solo i dati che le servono, elaborando solo ciò che è cambiato tra un'esecuzione e l'altra.
Errori comuni
- Riaddestrare per aggiungere fatti. Ogni aggiornamento ripete il costo dell'addestramento.
- RAG del tipo "infila tutto nel prompt". Recuperare venti passaggi lunghi quando ne basterebbero due moltiplica i token di input. Veda come rendere più efficienti la ricerca vettoriale e il RAG.
- Fare il fine-tuning di un modello grande quando basterebbe uno piccolo.
Per il principio più generale, legga orchestrazione anziché generazione.
Fonti
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green AI and energy-aware computing, GreenCode (2026)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
Correlati
Come rendo più efficienti la ricerca vettoriale e la RAG?
Modi per ridurre il calcolo della generazione aumentata dal recupero (RAG): indici approssimati, passaggi meno numerosi e più brevi, indicizzazione incrementale.
Come faccio il fine-tuning di un modello senza enormi risorse di calcolo?
Come adattare un modello pre-addestrato con un fine-tuning efficiente nei parametri come LoRA e QLoRA, così da farlo stare su una GPU e usare molta meno energia.
Orchestrare invece di generare
Perché riusare componenti verificati e instradare le richieste al modello più piccolo adatto può ridurre l'energia dell'IA, e che cosa dicono i dati.
Scegliere il modello giusto per il compito
Come dimensionare bene l'IA: quando usare modelli piccoli o specializzati, quando un modello di frontiera vale il suo costo, come funziona il routing e quando non usare l'IA.