Kurz gesagt
Machen Sie den Betrieb nach Bedarf zum Standard: Pipelines und Trainingsjobs sollten Ressourcen starten, wenn sie ausgelöst werden, und sie freigeben, wenn sie fertig sind. Fahren Sie ungenutzte Notebooks und Entwicklungs-GPUs nach einer festgelegten Zeit automatisch herunter, skalieren Sie Nicht-Produktionsumgebungen außerhalb der Arbeitszeit auf null und berichten Sie ungenutzte GPU-Stunden pro Team neben den Kosten, damit die Verschwendung sichtbar wird.
Schritte
- Lassen Sie Pipelines und Trainingsjobs Ressourcen beim Auslösen starten und nach Abschluss freigeben.
- Stellen Sie Notebooks und Entwicklungs-GPUs so ein, dass sie nach einer Zeit der Inaktivität automatisch herunterfahren.
- Skalieren Sie Nicht-Produktionsumgebungen außerhalb der Arbeitszeit auf null.
- Geben Sie temporären Umgebungen ein automatisches Löschdatum.
- Berichten Sie ungenutzte GPU-Stunden pro Team neben den Kosten.
Eine ungenutzte GPU zieht trotzdem Strom und bindet Hardware, deren Herstellung Energie gekostet hat. Notebooks, Cluster und Testumgebungen, die für ein Experiment eingerichtet wurden, laufen zwischen Experimenten leicht weiter oder werden vergessen.
Was sollte nach Bedarf laufen?
Die Patterns der Green Software Foundation für KI- und Agenten-Workloads empfehlen, Infrastruktur nur laufen zu lassen, während sie arbeitet: serverlose oder bedarfsgesteuerte Ausführung für Modellentwicklung, Pipelines und Agenten, sodass Ressourcen beim Auslösen starten und nach Abschluss stoppen.
Was ist mit Entwicklung und Test?
Die Azure-Well-Architected-Leitlinien von Microsoft empfehlen, „Nicht-Produktionsumgebungen herunterzufahren, wenn sie nicht genutzt werden“. Unter Kubernetes kann der Cron-Scaler von KEDA Workloads innerhalb eines Zeitfensters hochskalieren und außerhalb davon auf null. Nehmen Sie nur die gemeinsam genutzten Dienste aus, die wirklich laufen müssen, und schreiben Sie auf, warum.
Was den größten Unterschied macht
- Automatisches Herunterfahren von Notebooks, die am häufigsten vergessenen GPU-Nutzer.
- Sichtbarkeit. Stellen Sie ungenutzte GPU-Stunden in denselben Bericht wie die Ausgaben; Teams handeln bei dem, was sie sehen.
- Teilen. Ein gemeinsamer Pool oder eine Warteschlange hält GPUs meist besser ausgelastet als eine Maschine pro Person.
Häufige Fehler
- Große GPUs „für alle Fälle“ reservieren für Arbeit, die einmal pro Woche läuft.
- Modelle dauerhaft im Speicher halten für ein internes Werkzeug, das ein paar Mal am Tag genutzt wird.
Siehe Hosting und Rechenzentren und effizientes Training und effiziente Inferenz.
Quellen
- Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
- Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Cron scaler, KEDA (CNCF) (2025)
Verwandte Themen
Wie nutze ich freie Cloud-Kapazitäten für KI-Jobs?
Unterbrechbare KI-Arbeit auf Spot- oder Preemptible-Kapazität: Jobs mit Checkpoints und sauberen Neustarts, nicht unterbrechbare Arbeit anderswo.
Wie bündle ich KI-Anfragen, um Energie zu sparen?
Wie Batching die Auslastung von Beschleunigern erhöht und Energie pro Antwort senkt: Continuous Batching live, Warteschlangen für Offline-Arbeit.
Wie senke ich den Fußabdruck von KI-Experimenten auf einem Forschungscluster?
Energie von KI-Experimenten im HPC senken: Slurm-Energiedaten lesen, nur Nötiges anfordern, klein testen, Checkpoints setzen, flexible Jobs planen.
Hosting und Rechenzentren für grüne KI
Wo KI laufen sollte: CO2-Intensität des Stromnetzes, PUE und WUE, Ökostromaussagen, Wasserverbrauch und Standortwahl, mit Fragen an Hoster.