Kurz gesagt
Testen Sie Ihr tatsächliches Modell auf zwei oder drei Hardware- und Runtime-Optionen und vergleichen Sie die Energie pro Anfrage oder pro Trainingslauf bei realistischen Batchgrößen, zusammen mit Latenz und Kosten. Patterson und Kollegen fanden heraus, dass die Wahl von Modell, Rechenzentrum und Prozessor zusammen den CO₂-Ausstoß des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann. Halten Sie gute Hardware ausgelastet und lange im Einsatz, denn die Herstellung neuer Geräte hat ihren eigenen Fußabdruck.
Schritte
- Testen Sie Ihr eigenes Modell auf zwei oder drei Optionen für Beschleuniger und Instanztypen.
- Messen Sie die Energie pro Anfrage oder pro Lauf bei Ihren realen Batchgrößen, zusammen mit der Latenz.
- Probieren Sie auf jeder Option mehr als eine Inferenz-Runtime aus.
- Wählen Sie die Option mit dem geringsten Energiebedarf, die Ihre Anforderungen an Latenz und Qualität erfüllt.
- Wägen Sie die grauen Emissionen neuer Hardware gegen die erwartete Einsparung ab.
- Testen Sie erneut, wenn sich das Modell oder der Datenverkehr ändert.
Wählen Sie Hardware nach der gemessenen Energie für Ihre Workload, nicht nach Spitzenwerten im Datenblatt. Dasselbe Modell kann auf verschiedenen Beschleunigern, Instanztypen und Runtimes sehr unterschiedlich viel Energie verbrauchen, und die beste Wahl hängt von Ihren Batchgrößen und Ihrem Datenverkehr ab.
Wie vergleiche ich Optionen fair?
Die Patterns der Green Software Foundation empfehlen, effiziente Beschleuniger und Instanztypen sowie effiziente Frameworks und Inferenz-Runtimes auf Grundlage von Belegen auszuwählen. In der Praxis heißt das:
- dasselbe Modell mit denselben Eingaben und Einstellungen auf jedem Kandidaten ausführen;
- die Energie pro Anfrage (oder pro Lauf) bei den Batchgrößen messen, die Sie wirklich nutzen werden, nicht nur im besten Fall;
- Latenz und Qualität zusammen mit der Energie erfassen;
- die Runtime einbeziehen: Eine andere Serving-Engine auf demselben Chip kann das Ergebnis verändern.
Patterson und Kollegen fanden heraus, dass die Wahl von Modellarchitektur, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache verringern kann. Die Hardwarewahl gehört daher zu diesen anderen Entscheidungen dazu.
Sollte ich neue Hardware kaufen?
Nicht automatisch. Wu und Kollegen bei Meta berichteten, dass graue Emissionen aus der Herstellung der Hardware etwa 30 % des Fußabdrucks von Metas groß angelegtem maschinellem Lernen ausmachten. Ein neuer Beschleuniger muss über seine Lebensdauer genug Energie einsparen, um seine Herstellung auszugleichen. Siehe graue Emissionen berücksichtigen.
Häufige Fehler
- Große Beschleuniger zu wenig auslasten. Eine große GPU mit geringer Auslastung kann pro Antwort mehr Energie verbrauchen als eine kleinere, die ausgelastet ist; siehe KI-Anfragen bündeln.
- Nur einmal testen. Testen Sie erneut, wenn sich Modell, Runtime oder Datenverkehr ändern.
Siehe effizientes Training und effiziente Inferenz.
Quellen
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)
Verwandte Themen
Wie senke ich den Energieverbrauch beim Betrieb eines Modells in der Produktion?
Wie Sie ein selbst gehostetes Modell mit weniger Energie pro Anfrage betreiben: effiziente Runtimes, Batching, halbe Präzision, Caches und geprüfte Hardware.
Wie berücksichtige ich die grauen Emissionen von KI-Hardware?
Rechnen Sie die Emissionen aus der Herstellung von KI-Chips und Servern ein: anteilig nach Nutzungszeit, mit Lieferantendaten und längerer Nutzung.
Wie vergleiche ich den Energieverbrauch verschiedener KI-Modelle?
KI-Modelle fair nach Energie vergleichen: Benchmarks wie den AI Energy Score nutzen oder selbst messen, mit gleicher Aufgabe, Hardware und Einstellung.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.