In het kort
Cloudaanbieders verkopen ongebruikte capaciteit goedkoop, op voorwaarde dat zij die op korte termijn kunnen terugnemen, als spot- of preemptible instances. Training, evaluatie, batch-inferentie en gegevensverwerking kunnen daarvan gebruikmaken als ze checkpoints opslaan en netjes opnieuw starten. Microsoft adviseert dit alleen te gebruiken voor werk dat tegen onderbrekingen kan, omdat de onderbrekingen instabiliteit kunnen veroorzaken.
Stappen
- Maak een lijst van AI-workloads die gestopt en herstart kunnen worden, zoals training, evaluatie en batch-inferentie.
- Voeg aan die taken regelmatige checkpoints en nette herstartlogica toe.
- Draai ze op spot- of preemptible capaciteit, verspreid over meerdere instancetypen.
- Houd interactief of deadlinekritisch werk op standaardcapaciteit.
- Meet hoeveel werk verloren gaat door onderbrekingen en pas het checkpointinterval daarop aan.
Ongebruikte capaciteit is hardware die al gebouwd is en al stroom krijgt; door die voor flexibel werk te gebruiken, benut u haar beter. Het is meestal ook veel goedkoper, wat het pleidooi ervoor versterkt.
Welke AI-taken zijn hiervoor geschikt?
- trainings- en fine-tuningruns die regelmatig checkpoints maken;
- zoektochten naar hyperparameters, waarbij elke proef op zichzelf staat;
- evaluatie- en benchmarkruns;
- batch-inferentie over een wachtrij van documenten of afbeeldingen;
- gegevensvoorbereiding.
De duurzaamheidsrichtlijnen van Microsofts Azure Well-Architected Framework zeggen: "use Spot VMs only for interrupt-tolerant workloads" (gebruik Spot VM's alleen voor workloads die tegen onderbrekingen kunnen). Ze merken op dat deze verspilling van infrastructuur kunnen verminderen, maar ook instabiliteit kunnen veroorzaken.
Hoe maak ik een taak bestand tegen onderbrekingen?
- Sla met een verstandig interval checkpoints op, inclusief de toestand van de optimizer.
- Laat de taak bij een herstart automatisch verdergaan vanaf het laatste checkpoint.
- Sta meerdere instancetypen toe, zodat de scheduler uit meer ongebruikte capaciteit kan putten.
- Schrijf uitvoer stap voor stap weg, zodat afgerond werk niet verloren gaat.
Met checkpoints kunt u taken ook pauzeren wanneer het net vervuilend is, zoals het patroon van de Green Software Foundation voor AI-workloads voorstelt; zie training plannen wanneer het net groener is.
Veelgemaakte fouten
- Geen checkpoints, zodat een onderbreking uren werk weggooit en de energie verspild is.
- Te vaak checkpoints maken, zodat het opslaan meer kost dan het beschermt.
- Diensten voor gebruikers op spotcapaciteit zetten.
Bronnen
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Gerelateerd
Hoe voorkom ik dat GPU's en notebooks ongebruikt aan blijven staan?
Voorkom dat stilstaande AI-hardware energie verspilt: start op aanvraag, stop inactieve notebooks, schaal buiten werktijd naar nul en meld ongebruikte GPU-uren.
Hoe plan ik AI-training op momenten dat het stroomnet groener is?
Draai training en batch-AI-taken als de CO2-intensiteit van het net laag is: gebruik prognoses, maak taken pauzeerbaar en houd deadlines hard.
Hoe bundel ik AI-verzoeken om energie te besparen?
Hoe batching de benutting van accelerators verhoogt en de energie per antwoord verlaagt: continuous batching voor live verkeer, wachtrijen voor offline werk.
Hosting en datacenters voor groene AI
Waar laat u AI draaien? CO2-intensiteit van het stroomnet, PUE en WUE, claims over groene stroom, waterverbruik en locatie, met vragen voor hosts.