greenai.guide

Home › Come faccio a…? › Come scelgo tra retrieval e fine-tuning per risparmiare energia?

Come faccio a…?

Come scelgo tra retrieval e fine-tuning per risparmiare energia?

Aggiornato · 1 min di lettura

In breve

Usi il retrieval (recupero di informazioni) quando il modello ha bisogno di fatti che cambiano o che riguardano specificamente Lei: li metta in un indice ricercabile e recuperi solo i passaggi pertinenti. Usi il fine-tuning quando al modello manca un'abilità, un formato o uno stile. Riaddestrare per tenere aggiornati i fatti ripete i costi di addestramento, mentre incollare documenti interi in ogni prompt spreca inferenza, quindi ogni approccio ha il suo posto.

Passaggi

  1. Elenchi che cosa manca al modello: fatti, un'abilità, un formato o un tono.
  2. Metta i fatti che cambiano o riservati in un indice ricercabile e recuperi solo i passaggi pertinenti.
  3. Esegua il fine-tuning di un piccolo adattatore solo per abilità, formati o stili che il prompt da solo non consente di ottenere.
  4. Aggiorni l'indice quando il contenuto cambia, elaborando solo ciò che è cambiato.
  5. Misuri i token per richiesta e la qualità di ciascuna opzione prima di decidere.

Recuperi i fatti; affini le abilità con il fine-tuning. Scegliere quello sbagliato significa pagare ancora e ancora, per il riaddestramento o per prompt sovradimensionati.

Qual è la differenza?

  • La generazione aumentata dal recupero (RAG) cerca i passaggi pertinenti nei Suoi contenuti e li fornisce al modello insieme alla domanda. Lewis e colleghi hanno introdotto l'approccio nel 2020 per compiti ad alta intensità di conoscenza. I pesi del modello non cambiano, quindi aggiornare la conoscenza significa aggiornare un indice.
  • Il fine-tuning modifica i pesi del modello, o un piccolo adattatore come LoRA, così che impari un comportamento: un formato, uno schema di classificazione, uno stile aziendale.

Quale dei due usa meno energia?

Dipende da quanto spesso le cose cambiano e da quanto testo porta ogni richiesta.

Situazione Di solito è meglio
I fatti cambiano ogni settimana o ogni mese Retrieval
Documenti riservati, policy, dati di prodotto Retrieval
Un formato di output o uno schema di etichettatura fisso Fine-tuning di un modello piccolo
Volumi molto alti, compito circoscritto Fine-tuning, così i prompt possono essere brevi

GreenCode, un progetto di ricerca ITEA, descrive l'uso del retrieval perché la propria IA legga solo i dati che le servono, elaborando solo ciò che è cambiato tra un'esecuzione e l'altra.

Errori comuni

  • Riaddestrare per aggiungere fatti. Ogni aggiornamento ripete il costo dell'addestramento.
  • RAG del tipo "infila tutto nel prompt". Recuperare venti passaggi lunghi quando ne basterebbero due moltiplica i token di input. Veda come rendere più efficienti la ricerca vettoriale e il RAG.
  • Fare il fine-tuning di un modello grande quando basterebbe uno piccolo.

Per il principio più generale, legga orchestrazione anziché generazione.

Fonti

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy