In breve
I fornitori cloud vendono a basso prezzo la capacità inutilizzata, a condizione di poterla riprendere con breve preavviso, sotto forma di istanze spot o prerilasciabili (preemptible). Addestramento, valutazione, inferenza in batch ed elaborazione dei dati possono usarla, se salvano checkpoint e ripartono in modo pulito. Le linee guida di Microsoft indicano di usarla solo per lavori che tollerano le interruzioni, perché queste possono introdurre instabilità.
Passaggi
- Elenchi i carichi di lavoro di IA che si possono interrompere e riavviare, come addestramento, valutazione e inferenza in batch.
- Aggiunga a quei lavori checkpoint regolari e una logica pulita per i nuovi tentativi.
- Li esegua su capacità spot o prerilasciabile, su più tipi di istanza.
- Tenga su capacità standard il lavoro interattivo o con scadenze critiche.
- Misuri quanto lavoro va perso per le interruzioni e regoli l'intervallo dei checkpoint.
La capacità inutilizzata è hardware già costruito e alimentato; usarla per il lavoro flessibile la sfrutta meglio. Di solito costa anche molto meno, il che rafforza le ragioni per farlo.
Quali lavori di IA sono adatti?
- esecuzioni di addestramento e fine-tuning che salvano checkpoint regolarmente;
- ricerche di iperparametri, in cui ogni prova è indipendente;
- esecuzioni di valutazione e di benchmark;
- inferenza in batch su una coda di documenti o immagini;
- preparazione dei dati.
Le linee guida sulla sostenibilità di Azure Well-Architected di Microsoft dicono di "usare le VM Spot solo per carichi di lavoro che tollerano le interruzioni", osservando che possono ridurre lo spreco di infrastruttura ma anche introdurre instabilità.
Come rendo un lavoro resistente alle interruzioni?
- Salvi checkpoint, compreso lo stato dell'ottimizzatore, a intervalli ragionevoli.
- Faccia in modo che il lavoro riparta automaticamente dall'ultimo checkpoint quando viene riavviato.
- Consenta più tipi di istanza, così che lo scheduler abbia più capacità inutilizzata a disposizione.
- Scriva i risultati in modo incrementale, così che il lavoro concluso non vada perso.
I checkpoint permettono anche di sospendere i lavori quando la rete elettrica è più inquinante, come suggerisce il pattern della Green Software Foundation per i carichi di lavoro di IA; veda pianificare l'addestramento quando la rete è più verde.
Errori comuni
- Nessun checkpoint, così che un'interruzione butta via ore di lavoro e l'energia viene sprecata.
- Checkpoint troppo frequenti, così che salvare costa più di quanto protegga.
- Mettere servizi rivolti agli utenti su capacità spot.
Veda hosting e data centre.
Fonti
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Correlati
Come evito che GPU e notebook restino accesi inutilizzati?
Evitare che l'hardware per l'IA inattivo sprechi energia: risorse su richiesta, arresto automatico dei notebook, scala a zero fuori orario e report delle ore-GPU inattive.
Come pianifico l'addestramento quando la rete elettrica è più verde?
Esegua addestramento e lavori di IA in batch quando l'intensità di carbonio della rete è bassa: usi le previsioni, preveda checkpoint e tratti le scadenze come limiti rigidi.
Come raggruppo le richieste all'IA in batch per risparmiare energia?
Come il batching aumenta l'utilizzo degli acceleratori e riduce l'energia per risposta: batching continuo per il traffico in tempo reale e batch in coda per il lavoro offline.
Hosting e data centre per un'IA verde
Come scegliere dove far girare l'IA: intensità carbonica della rete, PUE e WUE, dichiarazioni sulle rinnovabili, acqua e ubicazione, con domande per i fornitori.