W skrócie
Dostawcy chmury tanio sprzedają wolne zasoby pod warunkiem, że mogą je odebrać z krótkim wyprzedzeniem, jako instancje spot lub preemptible. Trening, ewaluacja, inferencja wsadowa i przetwarzanie danych mogą z nich korzystać, jeśli zapisują checkpointy i czysto ponawiają pracę. Microsoft zaleca używać ich tylko do pracy odpornej na przerwania, bo przerwania mogą wprowadzać niestabilność.
Kroki
- Spisać obciążenia AI, które można zatrzymać i wznowić, np. trening, ewaluację i inferencję wsadową.
- Dodać do tych zadań regularne checkpointy i czystą logikę ponawiania.
- Uruchamiać je na instancjach spot lub preemptible różnych typów.
- Pracę interaktywną lub z krytycznym terminem zostawić na standardowych zasobach.
- Mierzyć, ile pracy traci się przez przerwania, i dostosować częstotliwość checkpointów.
Wolne zasoby to sprzęt, który już istnieje i jest zasilany; użycie go do elastycznej pracy pozwala lepiej go wykorzystać. Zwykle jest też znacznie tańszy, co dodatkowo przemawia za tym rozwiązaniem.
Które zadania AI się do tego nadają?
- trening i dostrajanie (fine-tuning) z regularnymi checkpointami;
- przeszukiwanie hiperparametrów, w którym każda próba jest niezależna;
- ewaluacje i benchmarki;
- inferencja wsadowa na kolejce dokumentów lub obrazów;
- przygotowanie danych.
Wytyczne zrównoważonego rozwoju Microsoft Azure Well-Architected zalecają „używać maszyn wirtualnych Spot tylko do obciążeń odpornych na przerwania”, zauważając, że mogą one ograniczyć marnotrawstwo infrastruktury, ale mogą też wprowadzać niestabilność.
Jak uodpornić zadanie na przerwania?
- Zapisywać checkpointy, w tym stan optymalizatora, w rozsądnych odstępach.
- Sprawić, by zadanie po ponownym uruchomieniu automatycznie wznawiało pracę od ostatniego checkpointu.
- Dopuścić kilka typów instancji, aby harmonogram miał więcej wolnych zasobów do wyboru.
- Zapisywać wyniki przyrostowo, aby ukończona praca nie przepadła.
Checkpointy pozwalają też wstrzymywać zadania, gdy sieć jest brudna, jak sugeruje wzorzec Green Software Foundation dla obciążeń AI; zob. planowanie treningu na godziny czystszej sieci.
Częste błędy
- Brak checkpointów, przez co przerwanie przekreśla godziny pracy, a energia idzie na marne.
- Zbyt częste checkpointy, przez co zapisywanie kosztuje więcej, niż chroni.
- Umieszczanie usług dla użytkowników na instancjach spot.
Zob. hosting i centra danych.
Źródła
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Powiązane
Jak sprawić, by GPU i notatniki nie stały bezczynnie?
Jak zapobiec marnowaniu energii przez bezczynny sprzęt AI: zasoby na żądanie, automatyczne wyłączanie notatników, skalowanie do zera i raporty o GPU.
Jak planować trenowanie na czas, gdy sieć energetyczna jest czystsza?
Jak uruchamiać trenowanie i zadania wsadowe AI przy niskiej emisyjności sieci: prognozy, punkty kontrolne pozwalające wstrzymać zadanie i twarde terminy.
Jak grupować zapytania do AI w partie, aby oszczędzać energię?
Jak grupowanie zapytań zwiększa wykorzystanie akceleratora i zmniejsza energię na odpowiedź: ciągłe partie dla ruchu na żywo i kolejki dla pracy offline.
Hosting zielonej AI i centra danych
Jak wybrać miejsce działania AI: emisyjność sieci, PUE i WUE, deklaracje o energii odnawialnej, zużycie wody i lokalizacja oraz pytania do dostawców.