In breve
Parta dal modello più piccolo che potrebbe raggiungere la Sua soglia di qualità, poi lo riduca ulteriormente con distillazione, quantizzazione e potatura (pruning), verificando ogni passaggio sul dispositivo di destinazione. Misuri insieme energia per inferenza, latenza e accuratezza sull'hardware reale, e lasci che il modello passi a una versione più leggera quando la batteria è scarica o il dispositivo è caldo.
Passaggi
- Fissi una soglia di qualità e un budget di memoria, latenza ed energia per il dispositivo di destinazione.
- Parta da un modello piccolo o distillato invece di ridurne uno grande e generico.
- Quantizzi i pesi a 8 o 4 bit e verifichi l'accuratezza sui Suoi casi di prova.
- Poti i pesi che contribuiscono poco, poi ripeta i test sul dispositivo.
- Misuri insieme energia per inferenza, latenza e accuratezza sull'hardware reale.
- Passi a un modello più piccolo o a una frequenza più bassa quando la batteria è scarica o il dispositivo è caldo.
Combini un modello di partenza piccolo con distillazione, quantizzazione e potatura, e giudichi ogni passaggio sul dispositivo stesso. I dispositivi edge (periferici) hanno poca memoria e spesso funzionano a batteria, quindi un modello troppo grande o non ci sta o scarica il dispositivo e ne riduce le prestazioni per surriscaldamento. Trovare la dimensione giusta significa anche che i dati non devono essere inviati al cloud.
Quali tecniche riducono di più un modello?
- La distillazione addestra un piccolo "studente" a imitare un grande "insegnante". DistilBERT era più piccolo del 40% rispetto a BERT e più veloce del 60%, mantenendo il 97% della sua capacità di comprensione del linguaggio.
- La quantizzazione memorizza i pesi con meno bit. La documentazione di Hugging Face fa l'esempio di un modello da 8 miliardi di parametri che richiede circa 16 GB per i pesi con precisione a 16 bit, circa 8 GB a 8 bit e circa 4-5 GB a 4 bit, con una certa perdita di accuratezza. Veda come quantizzare un modello.
- La potatura rimuove i pesi che influiscono appena sull'output. Veda come potare una rete neurale.
Come deve comportarsi il modello sul dispositivo?
Il pattern per l'IA edge della Green Software Foundation raccomanda di monitorare insieme energia per inferenza, latenza e accuratezza, e di adattarsi alle condizioni: un modello più piccolo o una frequenza di inferenza più bassa quando la batteria è scarica o il dispositivo è caldo.
Errori comuni
- Fare i test solo su un portatile. Acceleratori, memoria e limiti termici sono diversi; misuri sull'hardware di destinazione.
- Ridurre oltre la soglia di qualità. Un modello che fallisce e deve ricorrere al cloud come ripiego può costare più di quanto fa risparmiare.
- Eseguire l'inferenza di continuo. Dove possibile la avvii in risposta a eventi, invece che a ogni fotogramma o a ogni secondo.
Se sia più verde l'edge o il cloud dipende dal caso: veda edge o cloud e l'IA sull'edge.
Fonti
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
Correlati
Come quantizzo un modello?
Come quantizzare un modello di IA a 8 o 4 bit: quali strumenti usare, come verificare la qualità e quando la quantizzazione fa risparmiare energia e quando no.
Come distillo un modello grande in uno più piccolo?
Come funziona la distillazione della conoscenza: un grande modello insegnante addestra un piccolo studente per il Suo compito; poi lo si prova e si tiene il grande di riserva.
Come decido se far girare l'IA sul mio dispositivo o nel cloud?
Come valutare l'IA sul dispositivo (edge) rispetto all'IA nel cloud per energia, privacy e qualità, e quali compiti si adattano a ciascuna, con oneste cautele sulle prove.
Edge o cloud: dove dovrebbe girare l'IA?
Come confrontare l'IA sul dispositivo e all'edge con i data centre centrali: energia, rete, hardware, privacy e resilienza, con un metodo passo passo.