# Come rendo un modello abbastanza piccolo per un dispositivo edge?

> Ridurre un modello per telefoni, sensori e schede embedded: partire in piccolo, distillare, quantizzare e potare, poi testare accuratezza ed energia sul dispositivo.

Source: https://greenai.guide/it/come/come-rendo-un-modello-abbastanza-piccolo-per-un-dispositivo-edge/  
Updated: 2026-11-19

## In breve

Parta dal modello più piccolo che potrebbe raggiungere la Sua soglia di qualità, poi lo riduca ulteriormente con distillazione, quantizzazione e potatura (pruning), verificando ogni passaggio sul dispositivo di destinazione. Misuri insieme energia per inferenza, latenza e accuratezza sull'hardware reale, e lasci che il modello passi a una versione più leggera quando la batteria è scarica o il dispositivo è caldo.

## Steps

1. Fissi una soglia di qualità e un budget di memoria, latenza ed energia per il dispositivo di destinazione.
2. Parta da un modello piccolo o distillato invece di ridurne uno grande e generico.
3. Quantizzi i pesi a 8 o 4 bit e verifichi l'accuratezza sui Suoi casi di prova.
4. Poti i pesi che contribuiscono poco, poi ripeta i test sul dispositivo.
5. Misuri insieme energia per inferenza, latenza e accuratezza sull'hardware reale.
6. Passi a un modello più piccolo o a una frequenza più bassa quando la batteria è scarica o il dispositivo è caldo.

**Combini un modello di partenza piccolo con distillazione, quantizzazione e potatura, e giudichi ogni passaggio sul
dispositivo stesso.** I dispositivi edge (periferici) hanno poca memoria e spesso funzionano a batteria, quindi un
modello troppo grande o non ci sta o scarica il dispositivo e ne riduce le prestazioni per surriscaldamento. Trovare
la dimensione giusta significa anche che i dati non devono essere inviati al cloud.

## Quali tecniche riducono di più un modello? {#which-techniques-shrink-a-model-most}

- **La distillazione** addestra un piccolo "studente" a imitare un grande "insegnante". DistilBERT era più piccolo del
  40% rispetto a BERT e più veloce del 60%, mantenendo il 97% della sua capacità di comprensione del linguaggio.
- **La quantizzazione** memorizza i pesi con meno bit. La documentazione di Hugging Face fa l'esempio di un modello da
  8 miliardi di parametri che richiede circa 16 GB per i pesi con precisione a 16 bit, circa 8 GB a 8 bit e circa
  4-5 GB a 4 bit, con una certa perdita di accuratezza. Veda [come quantizzare un modello](/it/come/come-quantizzo-un-modello/).
- **La potatura** rimuove i pesi che influiscono appena sull'output. Veda [come potare una rete neurale](/it/come/come-faccio-il-pruning-di-una-rete-neurale/).

## Come deve comportarsi il modello sul dispositivo? {#how-should-the-model-behave-on-the-device}

Il pattern per l'IA edge della Green Software Foundation raccomanda di monitorare insieme energia per inferenza,
latenza e accuratezza, e di adattarsi alle condizioni: un modello più piccolo o una frequenza di inferenza più bassa
quando la batteria è scarica o il dispositivo è caldo.

## Errori comuni {#common-mistakes}

- **Fare i test solo su un portatile.** Acceleratori, memoria e limiti termici sono diversi; misuri sull'hardware di
  destinazione.
- **Ridurre oltre la soglia di qualità.** Un modello che fallisce e deve ricorrere al cloud come ripiego può costare
  più di quanto fa risparmiare.
- **Eseguire l'inferenza di continuo.** Dove possibile la avvii in risposta a eventi, invece che a ogni fotogramma o a
  ogni secondo.

Se sia più verde l'edge o il cloud dipende dal caso: veda [edge o cloud](/it/buone-pratiche/edge-o-cloud-dove-dovrebbe-girare-l-ia/) e
[l'IA sull'edge](/it/articoli/ia-all-edge-piu-verde-o-solo-meno-visibile/).

## Fonti

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
