In breve
Faccia dell'esecuzione su richiesta la norma: pipeline e job di addestramento dovrebbero avviare le risorse quando vengono attivati e rilasciarle quando finiscono. Spenga automaticamente notebook e GPU di sviluppo inattivi dopo un tempo stabilito, riduca a zero gli ambienti non di produzione fuori orario e riporti le ore-GPU inattive di ogni gruppo accanto ai costi, così lo spreco diventa visibile.
Passaggi
- Faccia in modo che pipeline e job di addestramento avviino le risorse quando vengono attivati e le rilascino quando finiscono.
- Imposti notebook e GPU di sviluppo perché si spengano automaticamente dopo un periodo di inattività.
- Riduca a zero gli ambienti non di produzione fuori dall'orario di lavoro.
- Assegni agli ambienti temporanei una data di eliminazione automatica.
- Riporti le ore-GPU inattive di ogni gruppo accanto ai costi.
Una GPU inattiva assorbe comunque energia e tiene comunque impegnato hardware la cui produzione ha richiesto energia. Notebook, cluster e ambienti di test allestiti per un esperimento restano facilmente accesi tra un esperimento e l'altro, o vengono dimenticati.
Che cosa dovrebbe funzionare su richiesta?
I pattern della Green Software Foundation per i carichi di lavoro di IA e degli agenti raccomandano di far girare l'infrastruttura solo mentre lavora: esecuzione serverless o su richiesta per lo sviluppo dei modelli, le pipeline e gli agenti, in modo che le risorse si avviino quando vengono attivate e si fermino quando hanno finito.
E per lo sviluppo e i test?
Le linee guida Azure Well-Architected di Microsoft indicano di "spegnere gli ambienti non di produzione quando non sono in uso". Su Kubernetes, il cron scaler di KEDA può aumentare i carichi di lavoro in una fascia oraria e ridurli a zero al di fuori. Escluda solo i servizi condivisi che devono davvero restare attivi, e metta per iscritto il motivo.
Che cosa fa la differenza maggiore
- L'arresto automatico dei notebook, che sono gli utilizzatori di GPU dimenticati più spesso.
- La visibilità. Metta le ore-GPU inattive nello stesso report della spesa: i gruppi agiscono su ciò che vedono.
- La condivisione. Un pool o una coda condivisi di solito tengono le GPU più occupate di una macchina per persona.
Errori comuni
- Riservare grandi GPU "per sicurezza" per lavori che girano una volta alla settimana.
- Tenere i modelli caricati in memoria in permanenza per uno strumento interno usato poche volte al giorno.
Veda hosting e data centre e addestramento e inferenza efficienti.
Fonti
- Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
- Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Cron scaler, KEDA (CNCF) (2025)
Correlati
Come eseguo lavori di IA sulla capacità cloud inutilizzata?
Esegua i lavori di IA interrompibili su capacità spot o prerilasciabile: preveda checkpoint e nuovi tentativi puliti, e tenga altrove il lavoro che non si può interrompere.
Come raggruppo le richieste all'IA in batch per risparmiare energia?
Come il batching aumenta l'utilizzo degli acceleratori e riduce l'energia per risposta: batching continuo per il traffico in tempo reale e batch in coda per il lavoro offline.
Come riduco l'impronta degli esperimenti di IA su un cluster di ricerca?
Riduca l'energia degli esperimenti di IA su HPC: legga la contabilità energetica di Slurm, chieda solo ciò che usa, faccia prove piccole, usi checkpoint e pianifichi.
Hosting e data centre per un'IA verde
Come scegliere dove far girare l'IA: intensità carbonica della rete, PUE e WUE, dichiarazioni sulle rinnovabili, acqua e ubicazione, con domande per i fornitori.