In breve
Esegua sul dispositivo i compiti piccoli, frequenti, riservati o sensibili alla latenza, e invii a un servizio cloud efficiente i compiti grandi od occasionali che richiedono modelli di grandi dimensioni. Alcuni studi rilevano grandi risparmi energetici sul dispositivo per i modelli adatti, ma i data centre ben gestiti sono un termine di paragone difficile da battere, quindi misuri il Suo caso specifico dove possibile.
Passaggi
- Elenchi le esigenze del compito: dimensione del modello, frequenza d'uso, privacy e necessità di funzionare offline.
- Preferisca il dispositivo per modelli piccoli, uso frequente, dati riservati ed esigenze offline.
- Preferisca il cloud per modelli grandi, compiti pesanti occasionali e lavoro che si può raggruppare in batch.
- Confronti l'energia per compito nelle due opzioni, rete compresa, dove può misurarla.
- Consideri la durata della batteria e l'età dell'hardware come parte del costo del dispositivo.
Piccolo e frequente si adatta al dispositivo; grande e occasionale si adatta al cloud. Nessuno dei due è più verde in tutti i casi. La risposta dipende dal modello, da quanto spesso viene eseguito e da quanto è efficiente ciascuna delle due parti.
Che cosa dicono le prove?
Sono contrastanti. Li, Islam e Ren hanno rilevato un'impronta ridotta per l'esecuzione edge di diversi modelli generativi, con risparmi energetici superiori al 90% in prove su un telefono recente. Ma il loro termine di paragone cloud non era un servizio di produzione pienamente ottimizzato, e server ben sfruttati con il batching in un data centre efficiente sono più difficili da battere. Un sandpit (laboratorio di ricerca intensivo e collaborativo) britannico sull'IA verde del 2026, con matematici, informatici e industria, ha indicato come questione aperta l'effetto energetico netto dell'IA distribuita su milioni di dispositivi.
Come scelgo?
| A favore del dispositivo | A favore del cloud |
|---|---|
| Modello piccolo, come il modello di Apple sul dispositivo da circa tre miliardi di parametri | Modello grande che non entra in locale |
| Viene eseguito spesso, per esempio su ogni foto o a ogni tasto premuto | Viene eseguito occasionalmente |
| Dati riservati o sensibili | Lavoro che si può raggruppare in batch o pianificare |
| Deve funzionare offline o all'istante | Richiede il modello più recente e capace |
La Green Software Foundation include l'esecuzione dei modelli di IA all'edge tra i suoi pattern di software verde, come opzione per i modelli adatti e non come regola.
Errori comuni
- Presumere che l'esecuzione locale sia gratuita. Consuma la batteria e può spingerLa verso nuovo hardware.
- Ignorare la rete. Anche inviare file di grandi dimensioni al cloud ha un costo.
- Eseguire un modello troppo grande per il dispositivo, che quindi è lento e consuma molta energia.
Per una guida alla decisione più completa, veda edge o cloud e l'IA all'edge.
Fonti
- A case study of environmental footprints for generative AI inference: cloud versus edge, Li, Islam and Ren, ACM SIGMETRICS Performance Evaluation Review (2025)
- Apple Intelligence Foundation Language Models: Tech Report 2025, Apple (2025)
- Green Software Patterns: run AI models at the edge, Green Software Foundation (2025)
Correlati
Edge o cloud: dove dovrebbe girare l'IA?
Come confrontare l'IA sul dispositivo e all'edge con i data centre centrali: energia, rete, hardware, privacy e resilienza, con un metodo passo passo.
IA all'edge: più verde, o solo meno visibile?
L'IA sul dispositivo e all'edge può far risparmiare energia di rete e di data centre, ma distribuisce il calcolo su miliardi di dispositivi che nessuno misura.
Come eseguo un modello di IA in locale?
Come eseguire un modello di IA aperto sul proprio portatile o server con strumenti come Ollama o llama.cpp, scegliere un modello quantizzato adatto e misurarne l'energia.
Come rendo un modello abbastanza piccolo per un dispositivo edge?
Ridurre un modello per telefoni, sensori e schede embedded: partire in piccolo, distillare, quantizzare e potare, poi testare accuratezza ed energia sul dispositivo.