W skrócie
Domyślnym trybem powinno być działanie na żądanie: potoki i zadania trenowania powinny uruchamiać zasoby po wyzwoleniu i zwalniać je po zakończeniu. Bezczynne notatniki i deweloperskie GPU należy automatycznie wyłączać po ustalonym czasie, środowiska nieprodukcyjne skalować do zera poza godzinami pracy, a bezczynne godziny GPU każdego zespołu raportować obok kosztów, aby marnotrawstwo było widoczne.
Kroki
- Potoki i zadania trenowania powinny uruchamiać zasoby po wyzwoleniu i zwalniać je po zakończeniu.
- Notatniki i deweloperskie GPU należy ustawić tak, by wyłączały się automatycznie po okresie bezczynności.
- Środowiska nieprodukcyjne należy skalować do zera poza godzinami pracy.
- Środowiskom tymczasowym należy nadać automatyczną datę usunięcia.
- Bezczynne godziny GPU każdego zespołu należy raportować obok kosztów.
Bezczynne GPU nadal pobiera energię i nadal blokuje sprzęt, którego produkcja wymagała energii. Notatniki, klastry i środowiska testowe przygotowane do jednego eksperymentu łatwo zostawić włączone między eksperymentami albo o nich zapomnieć.
Co powinno działać na żądanie?
Wzorce Green Software Foundation dla obciążeń AI i agentów zalecają, by infrastruktura działała tylko wtedy, gdy wykonuje pracę: wykonanie bezserwerowe lub na żądanie przy tworzeniu modeli, w potokach i agentach, tak aby zasoby uruchamiały się po wyzwoleniu i zatrzymywały po zakończeniu.
A co ze środowiskami deweloperskimi i testowymi?
Wytyczne Azure Well-Architected Microsoftu zalecają „wyłączanie środowisk nieprodukcyjnych, gdy nie są używane”. W Kubernetes skaler cron w KEDA może zwiększać skalę obciążeń w określonym przedziale czasu i zmniejszać ją do zera poza nim. Należy wyłączyć z tego tylko współdzielone usługi, które naprawdę muszą działać, i zapisać dlaczego.
Co ma największe znaczenie
- Automatyczne wyłączanie notatników, które najczęściej są zapomnianymi użytkownikami GPU.
- Widoczność. Bezczynne godziny GPU należy umieścić w tym samym raporcie co wydatki; zespoły działają na podstawie tego, co widzą.
- Współdzielenie. Wspólna pula lub kolejka zwykle lepiej wykorzystuje GPU niż jedna maszyna na osobę.
Częste błędy
- Rezerwowanie dużych GPU „na wszelki wypadek” do pracy wykonywanej raz w tygodniu.
- Trzymanie modeli stale w pamięci dla wewnętrznego narzędzia używanego kilka razy dziennie.
Zob. hosting i centra danych oraz efektywne trenowanie i wnioskowanie.
Źródła
- Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
- Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Cron scaler, KEDA (CNCF) (2025)
Powiązane
Jak uruchamiać zadania AI na wolnych zasobach chmury?
Przerywalną pracę AI warto uruchamiać na instancjach spot lub preemptible: z checkpointami i czystym ponawianiem, a pracę nieprzerywalną gdzie indziej.
Jak grupować zapytania do AI w partie, aby oszczędzać energię?
Jak grupowanie zapytań zwiększa wykorzystanie akceleratora i zmniejsza energię na odpowiedź: ciągłe partie dla ruchu na żywo i kolejki dla pracy offline.
Jak zmniejszyć ślad eksperymentów z AI na klastrze badawczym?
Jak ograniczyć energię eksperymentów AI na HPC: czytać rozliczenia energii Slurm, zamawiać tylko potrzebne zasoby, robić małe pilotaże, checkpointy i planować zadania.
Hosting zielonej AI i centra danych
Jak wybrać miejsce działania AI: emisyjność sieci, PUE i WUE, deklaracje o energii odnawialnej, zużycie wody i lokalizacja oraz pytania do dostawców.