In het kort
Maak 'op aanvraag' de standaard: pipelines en trainingstaken horen middelen te starten wanneer ze worden geactiveerd en ze vrij te geven als ze klaar zijn. Zet inactieve notebooks en ontwikkel-GPU's na een vaste tijd automatisch uit, schaal niet-productieomgevingen buiten werktijd naar nul en rapporteer inactieve GPU-uren per team naast de kosten, zodat de verspilling zichtbaar wordt.
Stappen
- Laat pipelines en trainingstaken middelen starten wanneer ze worden geactiveerd en vrijgeven als ze klaar zijn.
- Stel notebooks en ontwikkel-GPU's zo in dat ze na een periode van inactiviteit automatisch uitgaan.
- Schaal niet-productieomgevingen buiten werktijd naar nul.
- Geef tijdelijke omgevingen een automatische verwijderdatum.
- Rapporteer inactieve GPU-uren per team naast de kosten.
Een stilstaande GPU verbruikt nog steeds stroom en houdt nog steeds hardware bezet waarvan de productie energie kostte. Notebooks, clusters en testomgevingen die voor één experiment zijn opgezet, blijven gemakkelijk draaien tussen experimenten door, of worden vergeten.
Wat moet op aanvraag draaien?
De patronen van de Green Software Foundation voor AI- en agent-workloads raden aan infrastructuur alleen te laten draaien terwijl die werkt: serverless of uitvoering op aanvraag voor modelontwikkeling, pipelines en agents, zodat middelen starten wanneer ze worden geactiveerd en stoppen als ze klaar zijn.
Hoe zit het met ontwikkeling en testen?
De Azure Well-Architected-richtlijnen van Microsoft zeggen: "shut down non-production environments when not in use" (zet niet-productieomgevingen uit wanneer ze niet in gebruik zijn). Op Kubernetes kan de cron scaler van KEDA workloads binnen een tijdvenster opschalen en daarbuiten naar nul terugbrengen. Zonder alleen de gedeelde diensten uit die echt moeten blijven draaien, en leg vast waarom.
Wat het grootste verschil maakt
- Automatisch uitschakelen van notebooks, de GPU-gebruikers die het vaakst worden vergeten.
- Zichtbaarheid. Zet inactieve GPU-uren in hetzelfde rapport als de uitgaven; teams handelen naar wat ze zien.
- Delen. Een gedeelde pool of wachtrij houdt GPU's meestal drukker bezig dan één machine per persoon.
Veelgemaakte fouten
- Grote GPU's "voor de zekerheid" reserveren voor werk dat één keer per week draait.
- Modellen permanent in het geheugen geladen houden voor een interne tool die een paar keer per dag wordt gebruikt.
Zie hosting en datacenters en efficiënte training en inferentie.
Bronnen
- Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
- Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Cron scaler, KEDA (CNCF) (2025)
Gerelateerd
Hoe draai ik AI-taken op ongebruikte cloudcapaciteit?
Draai onderbreekbaar AI-werk op spot- of preemptible capaciteit: laat taken checkpoints maken en netjes herstarten, en houd niet-onderbreekbaar werk elders.
Hoe bundel ik AI-verzoeken om energie te besparen?
Hoe batching de benutting van accelerators verhoogt en de energie per antwoord verlaagt: continuous batching voor live verkeer, wachtrijen voor offline werk.
Hoe verklein ik de voetafdruk van AI-experimenten op een onderzoekscluster?
Verlaag de energie van AI-experimenten op HPC: lees de energieadministratie van Slurm, vraag alleen wat u gebruikt, test klein en sla tussenstanden op.
Hosting en datacenters voor groene AI
Waar laat u AI draaien? CO2-intensiteit van het stroomnet, PUE en WUE, claims over groene stroom, waterverbruik en locatie, met vragen voor hosts.