greenai.guide

Home › Come faccio a…? › Come faccio il fine-tuning di un modello senza enormi risorse di calcolo?

Come faccio a…?

Come faccio il fine-tuning di un modello senza enormi risorse di calcolo?

Aggiornato · 1 min di lettura

In breve

Parta da un modello pre-addestrato e addestri un piccolo adattatore invece di tutti i suoi pesi, usando LoRA, o QLoRA con pesi a 4 bit. LoRA ha ridotto di 10.000 volte i parametri addestrabili e di tre volte la memoria GPU rispetto al fine-tuning completo di GPT-3, e QLoRA ha permesso il fine-tuning di un modello da 65 miliardi di parametri su una sola GPU da 48 GB. Confronti il risultato con la Sua soglia di qualità prima di considerare qualcosa di più grande.

Passaggi

  1. Verifichi se il prompting o il recupero di informazioni (retrieval) soddisfano già il Suo bisogno, prima di ricorrere al fine-tuning.
  2. Scelga il modello pre-addestrato più piccolo che si avvicina al risultato sul Suo compito.
  3. Faccia il fine-tuning di un adattatore LoRA, o QLoRA se la memoria è scarsa.
  4. Usi un dataset piccolo, pulito e specifico per il compito, e si fermi presto quando la validazione smette di migliorare.
  5. Monitori l'energia con uno strumento di tracciamento delle emissioni e la registri insieme ai risultati.

Adatti una piccola parte di un modello pre-addestrato invece di riaddestrarlo tutto. Il fine-tuning efficiente nei parametri ottiene la maggior parte dei benefici del fine-tuning completo con una piccola frazione del calcolo.

Perché è importante?

Il fine-tuning completo aggiorna ogni peso, il che richiede grandi cluster di GPU e lunghe esecuzioni. Hu e colleghi hanno dimostrato che LoRA (low-rank adaptation, adattamento a basso rango), che addestra piccole matrici aggiuntive accanto ai pesi congelati, può ridurre di 10.000 volte i parametri addestrabili e di tre volte la memoria GPU rispetto al fine-tuning di GPT-3 175B. QLoRA, di Dettmers e colleghi, combina questo approccio con pesi a 4 bit e ha permesso il fine-tuning di un modello da 65 miliardi di parametri su una sola GPU da 48 GB.

Come si fa?

  1. Metta in dubbio la necessità. Il fine-tuning insegna abilità e stile; è un pessimo modo per aggiungere fatti che cambiano. Veda retrieval o fine-tuning.
  2. Parta in piccolo. Un modello piccolo adattato al Suo compito può eguagliare, su quel compito, un modello generico molto più grande.
  3. Usi una libreria di adattatori. Le librerie open source più diffuse supportano LoRA e QLoRA con poche righe di configurazione.
  4. Tenga i dati essenziali. Meno esempi, più puliti, si addestrano più in fretta. Rimuova i duplicati.
  5. Misuri. Avvolga l'esecuzione in uno strumento di tracciamento come CodeCarbon e registri l'energia accanto all'accuratezza.

Errori comuni

  • Fare il fine-tuning del modello più grande disponibile prima di provarne uno più piccolo.
  • Esecuzioni lunghe senza arresto anticipato, che continuano a consumare quando la qualità si è ormai stabilizzata.
  • Riaddestrare a ogni aggiornamento dei dati invece di aggiornare un indice di retrieval.

Per altre tecniche di addestramento, legga addestramento e inferenza efficienti.

Fonti

  1. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
  2. QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
  3. Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
  4. CodeCarbon, CodeCarbon (2026)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy