# Come distillo un modello grande in uno più piccolo?

> Come funziona la distillazione della conoscenza: un grande modello insegnante addestra un piccolo studente per il Suo compito; poi lo si prova e si tiene il grande di riserva.

Source: https://greenai.guide/it/come/come-distillo-un-modello-grande-in-uno-piu-piccolo/  
Updated: 2026-11-19

## In breve

Verifichi prima se esiste già una versione distillata del Suo modello. Se non c'è, usi il grande modello "insegnante" per etichettare o generare esempi per il Suo compito, addestri su di essi un piccolo modello "studente" e lo provi sui Suoi casi reali. DistilBERT, uno dei primi esempi, era più piccolo del 40% e più veloce del 60% rispetto a BERT, mantenendo il 97% della sua capacità di comprensione del linguaggio.

## Steps

1. Cerchi una versione distillata o più piccola già esistente del modello per il Suo compito.
2. Raccolga un insieme di input reali del Suo compito.
3. Usi il modello grande per produrre etichette o output per questi input, e ne controlli a mano un campione.
4. Addestri un piccolo modello studente su questi dati.
5. Provi lo studente rispetto alla Sua soglia di qualità e indirizzi i suoi casi incerti al modello grande.

**La distillazione trasferisce ciò che un modello grande sa del Suo compito in un modello piccolo, economico da far
funzionare.** Si paga una volta l'addestramento dello studente, poi si risparmia a ogni richiesta.

## Perché è importante? {#why-does-it-matter}

Un grande modello generale impiegato per un solo compito circoscritto, come classificare ticket o estrarre campi,
paga per conoscenze che il compito non usa mai. Luccioni, Jernite e Strubell hanno rilevato che i sistemi specifici
costano ordini di grandezza meno da far funzionare rispetto ai modelli generativi multiuso per gli stessi compiti. La
Green Software Foundation include la distillazione tra i suoi pattern per modelli di IA di dimensioni adeguate ed
efficienti dal punto di vista energetico.

## Come funziona? {#how-does-it-work}

L'**insegnante** è il modello grande; lo **studente** è quello piccolo. Nel metodo classico, lo studente impara a
riprodurre le probabilità di output dell'insegnante, non solo le sue risposte finali, il che porta più informazione
per ogni esempio. DistilBERT di Sanh e colleghi ha usato questo metodo per produrre un modello più piccolo del 40% e
più veloce del 60% rispetto a BERT, che ha mantenuto il 97% della sua capacità di comprensione del linguaggio.

Per i modelli generativi, una strada pratica comune è più semplice: far produrre all'insegnante le risposte per i
Suoi input reali, controllarne un campione e sottoporre a fine-tuning un modello piccolo su di esse.

## Errori comuni {#common-mistakes}

- **Distillare quando esiste già un modello piccolo.** Cerchi prima: veda
  [come trovare un modello specifico per un compito](/it/come/come-trovo-un-modello-specifico-per-un-compito-invece-di-usare-un/).
- **Fidarsi ciecamente degli output dell'insegnante.** Gli errori dell'insegnante diventano errori dello studente.
- **Nessuna riserva.** Tenga il modello grande per i casi in cui lo studente è incerto, usando
  l'[instradamento tra modelli](/it/come/come-instrado-le-richieste-verso-modelli-piu-piccoli/).
- **Ignorare la licenza.** Le condizioni di alcuni modelli limitano l'uso dei loro output per addestrare altri
  modelli.

Per saperne di più, legga [addestramento e inferenza efficienti](/it/buone-pratiche/addestramento-e-inferenza-efficienti-per-l-ia/).

## Fonti

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
