In breve
Verifichi prima se esiste già una versione distillata del Suo modello. Se non c'è, usi il grande modello "insegnante" per etichettare o generare esempi per il Suo compito, addestri su di essi un piccolo modello "studente" e lo provi sui Suoi casi reali. DistilBERT, uno dei primi esempi, era più piccolo del 40% e più veloce del 60% rispetto a BERT, mantenendo il 97% della sua capacità di comprensione del linguaggio.
Passaggi
- Cerchi una versione distillata o più piccola già esistente del modello per il Suo compito.
- Raccolga un insieme di input reali del Suo compito.
- Usi il modello grande per produrre etichette o output per questi input, e ne controlli a mano un campione.
- Addestri un piccolo modello studente su questi dati.
- Provi lo studente rispetto alla Sua soglia di qualità e indirizzi i suoi casi incerti al modello grande.
La distillazione trasferisce ciò che un modello grande sa del Suo compito in un modello piccolo, economico da far funzionare. Si paga una volta l'addestramento dello studente, poi si risparmia a ogni richiesta.
Perché è importante?
Un grande modello generale impiegato per un solo compito circoscritto, come classificare ticket o estrarre campi, paga per conoscenze che il compito non usa mai. Luccioni, Jernite e Strubell hanno rilevato che i sistemi specifici costano ordini di grandezza meno da far funzionare rispetto ai modelli generativi multiuso per gli stessi compiti. La Green Software Foundation include la distillazione tra i suoi pattern per modelli di IA di dimensioni adeguate ed efficienti dal punto di vista energetico.
Come funziona?
L'insegnante è il modello grande; lo studente è quello piccolo. Nel metodo classico, lo studente impara a riprodurre le probabilità di output dell'insegnante, non solo le sue risposte finali, il che porta più informazione per ogni esempio. DistilBERT di Sanh e colleghi ha usato questo metodo per produrre un modello più piccolo del 40% e più veloce del 60% rispetto a BERT, che ha mantenuto il 97% della sua capacità di comprensione del linguaggio.
Per i modelli generativi, una strada pratica comune è più semplice: far produrre all'insegnante le risposte per i Suoi input reali, controllarne un campione e sottoporre a fine-tuning un modello piccolo su di esse.
Errori comuni
- Distillare quando esiste già un modello piccolo. Cerchi prima: veda come trovare un modello specifico per un compito.
- Fidarsi ciecamente degli output dell'insegnante. Gli errori dell'insegnante diventano errori dello studente.
- Nessuna riserva. Tenga il modello grande per i casi in cui lo studente è incerto, usando l'instradamento tra modelli.
- Ignorare la licenza. Le condizioni di alcuni modelli limitano l'uso dei loro output per addestrare altri modelli.
Per saperne di più, legga addestramento e inferenza efficienti.
Fonti
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
Correlati
Come trovo un modello specifico per un compito invece di usare un chatbot generico?
Come trovare un piccolo modello pensato per un solo compito, come classificare, estrarre o tradurre, e verificare che valga un chatbot generico con meno energia.
Come instrado le richieste verso modelli più piccoli?
Come instradare le richieste di routine verso un modello piccolo e solo quelle difficili verso uno grande, e come regolare il router perché i nuovi tentativi non annullino il risparmio.
Come faccio il pruning di una rete neurale?
Come potare una rete neurale addestrata eliminando i pesi poco utili, verificare quanta accuratezza resta e controllare che l'hardware risparmi davvero.
Addestramento e inferenza efficienti per l'IA
Tecniche per sviluppatori e ricercatori per ridurre l'energia dell'IA: pruning, sparsità, quantizzazione, distillazione, KV cache, batching, precisione mista e pianificazione.