greenai.guide

Home › Come faccio a…? › Come distillo un modello grande in uno più piccolo?

Come faccio a…?

Come distillo un modello grande in uno più piccolo?

Aggiornato · 1 min di lettura

In breve

Verifichi prima se esiste già una versione distillata del Suo modello. Se non c'è, usi il grande modello "insegnante" per etichettare o generare esempi per il Suo compito, addestri su di essi un piccolo modello "studente" e lo provi sui Suoi casi reali. DistilBERT, uno dei primi esempi, era più piccolo del 40% e più veloce del 60% rispetto a BERT, mantenendo il 97% della sua capacità di comprensione del linguaggio.

Passaggi

  1. Cerchi una versione distillata o più piccola già esistente del modello per il Suo compito.
  2. Raccolga un insieme di input reali del Suo compito.
  3. Usi il modello grande per produrre etichette o output per questi input, e ne controlli a mano un campione.
  4. Addestri un piccolo modello studente su questi dati.
  5. Provi lo studente rispetto alla Sua soglia di qualità e indirizzi i suoi casi incerti al modello grande.

La distillazione trasferisce ciò che un modello grande sa del Suo compito in un modello piccolo, economico da far funzionare. Si paga una volta l'addestramento dello studente, poi si risparmia a ogni richiesta.

Perché è importante?

Un grande modello generale impiegato per un solo compito circoscritto, come classificare ticket o estrarre campi, paga per conoscenze che il compito non usa mai. Luccioni, Jernite e Strubell hanno rilevato che i sistemi specifici costano ordini di grandezza meno da far funzionare rispetto ai modelli generativi multiuso per gli stessi compiti. La Green Software Foundation include la distillazione tra i suoi pattern per modelli di IA di dimensioni adeguate ed efficienti dal punto di vista energetico.

Come funziona?

L'insegnante è il modello grande; lo studente è quello piccolo. Nel metodo classico, lo studente impara a riprodurre le probabilità di output dell'insegnante, non solo le sue risposte finali, il che porta più informazione per ogni esempio. DistilBERT di Sanh e colleghi ha usato questo metodo per produrre un modello più piccolo del 40% e più veloce del 60% rispetto a BERT, che ha mantenuto il 97% della sua capacità di comprensione del linguaggio.

Per i modelli generativi, una strada pratica comune è più semplice: far produrre all'insegnante le risposte per i Suoi input reali, controllarne un campione e sottoporre a fine-tuning un modello piccolo su di esse.

Errori comuni

  • Distillare quando esiste già un modello piccolo. Cerchi prima: veda come trovare un modello specifico per un compito.
  • Fidarsi ciecamente degli output dell'insegnante. Gli errori dell'insegnante diventano errori dello studente.
  • Nessuna riserva. Tenga il modello grande per i casi in cui lo studente è incerto, usando l'instradamento tra modelli.
  • Ignorare la licenza. Le condizioni di alcuni modelli limitano l'uso dei loro output per addestrare altri modelli.

Per saperne di più, legga addestramento e inferenza efficienti.

Fonti

  1. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  2. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  3. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy