Kurz gesagt
Forschende können KI auf zwei Wegen grüner machen: indem sie Methoden entwickeln, die weniger Rechenaufwand brauchen, und indem sie den Energieverbrauch ihrer eigenen Arbeit messen und angeben. Pruning, Quantisierung, Distillation, bessere numerische Verfahren und hybride Physik-ML-Modelle senken die Kosten von KI, während Werkzeuge wie CodeCarbon und der Green-Algorithms-Rechner diese Kosten in Papers sichtbar machen.
Das Wichtigste
- Patterson und Kollegen stellten fest, dass die Wahl von Modell, Rechenzentrum und Prozessor den CO2-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann.
- Nicht nur das Training, auch die Inferenz verdient Aufmerksamkeit in der Forschung: Sie läuft jedes Mal, wenn ein Modell genutzt wird.
- Geben Sie in jedem Paper Energie, Hardware, Laufzeit und Standort an, mit einem kostenlosen Werkzeug wie CodeCarbon oder dem Green-Algorithms-Rechner.
- Mathematik trägt über Algorithmen hinaus bei: zu Metriken, Unsicherheit, Benchmarks und zur Modellierung, wie sich die Nutzung von KI ausbreitet.
- Legen Sie für ein Projekt ein Rechenbudget fest, einschließlich fehlgeschlagener Läufe und Hyperparametersuchen, nicht nur für das endgültige Modell.
Warum ist grüne KI für die Forschung wichtig?
Weil die Forschung die Methoden vorgibt, die alle anderen übernehmen, und weil die Forschung selbst viel Rechenleistung verbraucht. Eine Technik, die die Kosten der Inferenz halbiert, spart, sobald sie übernommen ist, jedes Mal Energie, wenn irgendein Modell läuft, das sie nutzt.
Das Argument wurde früh vorgebracht. Das Paper von Strubell, Ganesh und McCallum aus dem Jahr 2019 bezifferte die finanziellen und ökologischen Kosten des Trainings mehrerer Sprachmodelle und schlug Wege vor, sie zu senken. Patterson und Kollegen stellten später fest, dass die Wahl von Modellarchitektur, Rechenzentrum und Prozessor den CO2-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann. Luccioni, Jernite und Strubell zeigten, dass der Betrieb generativer Mehrzweckmodelle für dieselbe Aufgabe um Größenordnungen teurer sein kann als der aufgabenspezifischer Modelle.
Eine britische Green-AI-Sandpit-Veranstaltung von 2026 mit Mathematikerinnen und Mathematikern, Informatikerinnen und Informatikern sowie Vertretern der Industrie gliederte die Forschungsagenda in drei Phasen, die jeweils unterschiedlichen Techniken offenstehen: Training von Grund auf, Fine-Tuning oder Anpassung und Bereitstellung, ob in der Cloud oder auf einem Gerät mit geringem Energieverbrauch. Sie stellte auch fest, dass viele vorhandene Arbeiten in Projektberichten und wenig bekannten Code-Repositorys stecken. Ein erster Schritt in jedem Projekt ist daher, herauszufinden, was bereits getan wurde.
Welche Methoden machen Modelle effizienter?
Die wichtigsten Gruppen sind: entfernen, was das Modell nicht braucht, weniger Bits verwenden, aus weniger Daten lernen und bekannte Struktur in das Modell einbauen. Die meisten lassen sich kombinieren.
Pruning und Sparsity
Pruning (Beschneiden) entfernt Gewichte, die wenig zur Ausgabe beitragen. Sparsity (Dünnbesetztheit) bedeutet, dass die meisten Werte in einer Matrix oder Aktivierung null sind, sodass die Berechnung sie überspringen kann. Große Netze haben oft viel mehr Parameter, als die eigentliche Aufgabe erfordert, weil Überparametrisierung die Optimierung erleichtert. Daher lässt sich nach dem Training viel entfernen.
Zu den offenen Fragen gehören: wie man Sparsity-Ziele vor dem Training festlegt statt durch Versuch und Irrtum, wie man dynamische Sparsity (bei der die Nullen von der Eingabe abhängen) auf realer Hardware effizient hält und warum Sparsity angesichts architektonischer Einschränkungen gängiger Chips noch immer zu wenig genutzt wird. Theoretische Gewinne übertreffen oft die gemessenen Beschleunigungen, daher sind empirische Ergebnisse auf realer Hardware wichtig.
Quantisierung und gemischte Genauigkeit
Quantisierung speichert und rechnet mit weniger Bits, zum Beispiel mit 8-Bit-Ganzzahlen statt 32-Bit-Gleitkommazahlen. Gemischte Genauigkeit (Mixed Precision) verwendet geringere Genauigkeit, wo das unbedenklich ist, und höhere, wo sie nötig ist. UNESCO und UCL berichten, dass Kompression wie Quantisierung bis zu 44 % Energie einsparen kann, ohne die Genauigkeit zu verlieren. Fachleute für Numerik können gut beurteilen, wo reduzierte Genauigkeit unbedenklich ist und wie sich Fehler fortpflanzen.
Distillation und kleinere Modelle
Bei der Distillation wird ein kleines „Schüler“-Modell darauf trainiert, ein großes „Lehrer“-Modell nachzuahmen. Der Schüler ist bei jeder Anfrage günstiger im Betrieb. Verwandte Arbeiten zu parametereffizientem Fine-Tuning, das eine kleine Zahl zusätzlicher Parameter anpasst statt des ganzen Modells, und zu kontinuierlichem Lernen vermeiden ein erneutes Training von Grund auf.
Modelle wiederverwenden
Statt neue Modelle zu trainieren, kombinieren Sie vorhandene. Wortsman und Kollegen zeigten, dass das Mitteln der Gewichte mehrerer feinabgestimmter Modelle („Model Soups“) die Genauigkeit ohne zusätzliche Inferenzkosten verbessern kann. Das Zusammenführen und Wiederverwenden von Modellen ist ein vielversprechendes Gebiet für die Effizienzforschung.
Dateneffizienz
Training mit weniger, aber besseren Daten senkt die Trainingsenergie direkt. Zu den Techniken gehören das Entfernen doppelter und wenig wertvoller Beispiele, aktives Lernen (Auswahl der informativsten Beispiele zum Annotieren) und Architekturen, die aus wenigen Beispielen verallgemeinern.
Numerische Verfahren und Datenbewegung
Ein großer Teil von KI ist lineare Algebra, und jahrzehntelange Erfahrung aus der numerischen Analysis lässt sich anwenden. Randomisierte numerische lineare Algebra und Sketching (eine Matrix komprimieren und dabei ihre wichtigen Eigenschaften erhalten) können sowohl den Rechenaufwand als auch die Datenbewegung verringern, die auf vielen Geräten mehr Energie kostet als die Rechenoperationen selbst. Approximative Attention, die nur die relevanten Teile der Attention-Matrix berechnet, ist ein aktuelles Beispiel bei großen Sprachmodellen (LLMs). Automatische Differenzierung, die allgemeine Technik hinter Backpropagation, verbindet KI mit bestehenden wissenschaftlichen Programmen.
Hybride Physik-ML
Statt eine ganze Simulation durch ein neuronales Netz zu ersetzen, ersetzen Sie nur den Teil, für den es sich eignet. Ein verbreitetes Muster ist ein gelerntes Surrogatmodell für die energieintensivste Komponente eines Klima- oder Ingenieurmodells, während die übrige Physik erhalten bleibt. Physikinformierte Modelle bauen bekannte Gesetze in die Verlustfunktion oder die Architektur ein und können so mit weit weniger Parametern und Daten auskommen. Weitere strukturelle Werkzeuge sind Konvexität, entrollte Algorithmen (die Schritte eines klassischen Lösers werden zu Netzschichten) und Symmetrie, wie beim geometrischen Deep Learning.
Bei der Sandpit-Veranstaltung kamen auch weniger erforschte Ideen zur Sprache:
- einen Energie- oder „CO2“-Term in das Trainingsziel aufnehmen, zum Beispiel aktive Neuronen oder teure Experten in einem Mixture-of-Experts-Modell bestrafen;
- Fehlerkorrektur während langer Berechnungen, mit Prüfungen in Abständen, damit ein Lauf nicht wiederholt werden muss; und
- erkennen, wenn Multi-Agenten-KI-Systeme in Schleifen festhängen und Token verschwenden.
Siehe effizientes Training und effiziente Inferenz und Mathematik für effiziente KI.
Wie sollte ich Energie in Papers messen und angeben?
Messen Sie laufend mit, geben Sie einen Standardsatz an Fakten an und beziehen Sie die Läufe ein, die es nicht ins Paper geschafft haben. Ohne das lassen sich Effizienzaussagen weder überprüfen noch vergleichen.
Kostenlose Werkzeuge:
- CodeCarbon, ein Open-Source-Python-Paket, schätzt die Emissionen aus der Leistungsaufnahme von CPU, GPU und Arbeitsspeicher sowie der CO2-Intensität des örtlichen Stromnetzes. Binden Sie es in Trainings- und Evaluationsskripte ein.
- Der Green-Algorithms-Rechner von Lannelongue, Grealey und Inouye schätzt den Fußabdruck einer Berechnung aus Hardware, Laufzeit, Arbeitsspeicher und Standort. Er eignet sich für HPC-Jobs und für Arbeiten, die erledigt wurden, bevor Sie mit dem Protokollieren begonnen haben.
- Hardwarezähler, etwa RAPL auf vielen CPUs und die Leistungsschnittstellen der GPU-Hersteller, liefern direkte Messwerte, auf denen diese Werkzeuge aufbauen.
Was Sie angeben sollten:
| Angabe | Beispiel |
|---|---|
| Hardware | GPU-Modell und Anzahl, CPU, Arbeitsspeicher |
| Laufzeit | GPU-Stunden für die finalen Läufe und für alle Tuning- und fehlgeschlagenen Läufe |
| Energie | kWh, gemessen oder geschätzt, mit Werkzeug und Version |
| Standort | Land oder Netzregion und die verwendete CO2-Intensität |
| Emissionen | kg CO₂e |
| Inferenz | Energie pro 1.000 Anfragen bei angegebener Batchgröße und Sequenzlänge |
| Systemgrenze | Ob Kühlung und Gemeinkosten des Rechenzentrums (PUE) enthalten sind |
Benennen Sie die Unsicherheit klar. Schätzungen aus Leistungsmodellen können von gemessenen Werten abweichen, und Angaben von Anbietern, etwa die von Google gemeldeten 0,24 Wh für einen Gemini-Text-Prompt im Median, beruhen auf deren eigenen Methoden und Systemgrenzen. Unser Leitfaden zum Messen des KI-Energieverbrauchs und der Artikel Messung ist der Engpass gehen weiter in die Tiefe.
Wie lege ich ein Rechenbudget fest?
Entscheiden Sie im Voraus, wie viel Rechenleistung ein Projekt verbrauchen darf, und verfolgen Sie das wie Geld. Ein Budget macht Zielkonflikte sichtbar und verhindert endloses Tuning.
- Schätzen Sie die GPU-Stunden für die Hauptexperimente und rechnen Sie einen Puffer für Erkundung hinzu.
- Nutzen Sie kleine Pilotversuche, um Ideen auszuschließen, bevor Sie hochskalieren.
- Bevorzugen Sie effiziente Suchen nach Hyperparametern, etwa das frühzeitige Abbrechen schlechter Läufe, gegenüber großen Rastersuchen.
- Verwenden Sie Checkpoints und vortrainierte Modelle wieder, wo sie passen.
- Planen Sie flexible Jobs für Zeiten oder Regionen, in denen das Stromnetz sauberer ist.
- Setzen Sie Ergebnisse ins Verhältnis zur Rechenleistung, zum Beispiel Genauigkeit pro kWh, nicht nur die beste Genauigkeit.
Die GREENER-Prinzipien von Lannelongue und Kollegen (Governance, Responsibility, Estimation, Energy and embodied impacts, New collaborations, Education and Research, also Governance, Verantwortung, Abschätzung, Energie und graue Emissionen, neue Kooperationen, Bildung und Forschung) bieten einen Rahmen für Arbeitsgruppen und Institutionen.
Wie wirkt sich Effizienz auf die Reproduzierbarkeit aus?
Angaben zu Energie und Rechenaufwand machen Arbeiten leichter reproduzierbar, und effiziente Methoden machen die Reproduktion günstiger. Ein Ergebnis, das Tausende GPU-Stunden erfordert, können nur wenige Gruppen überprüfen.
- Veröffentlichen Sie Code, Konfigurationen und Seeds, und geben Sie an, auf wie vielen Läufen ein Ergebnis beruht.
- Geben Sie die Varianz über mehrere Läufe an. Ein einzelner Genauigkeitswert aus einem Lauf eines nicht deterministischen Prozesses kann in die Irre führen.
- Veröffentlichen Sie nach Möglichkeit kleinere oder destillierte Versionen von Modellen, damit andere darauf aufbauen können.
- Teilen Sie negative Ergebnisse zu Effizienzmethoden; das erspart anderen, sie zu wiederholen.
Wo kann Mathematik beitragen?
Mathematik hilft über schnellere Algorithmen hinaus: bei der Entscheidung, was gemessen werden soll, wie sehr man einem Modell vertrauen kann und wie sich die Nutzung von KI in der Gesellschaft ausbreitet. Bei der Sandpit-Veranstaltung wurde betont, dass Mathematikerinnen und Mathematiker mit Werkzeugen und Belegen zeigen müssen, was sie verbessern können.
- Effizienztheorie: Zufallsmatrixtheorie für Pruning und Sparsity, Approximationstheorie für kleine Modelle, Optimierungstheorie für schnelleres Training.
- Numerische Analysis: Genauigkeit, Stabilität, Fehlerschranken und Löser innerhalb von KI-Pipelines.
- Quantifizierung von Unsicherheit: wie weit man einem Surrogatmodell trauen kann, besonders außerhalb seiner Trainingsdaten. Davon hängt ab, ob es ein teures physikalisches Modell ersetzen kann.
- Metriken und Benchmarks: abgestimmte, vergleichbare Maße für Energie und Qualität sowie Qualitätsmetriken, in die Effizienz eingebaut ist.
- Szenario- und Systemmodellierung: wie Effizienzgewinne die Gesamtnutzung verändern (der Rebound-Effekt), Spieltheorie dazu, warum sich Organisationen zur KI-Nutzung gedrängt fühlen, und das Gleichgewicht zwischen Edge- und zentralem Rechnen.
- Die Wahl der Methode: Rahmen dafür, wann ein Problem überhaupt KI braucht und wann ein klassischer Algorithmus es bereits gut löst.
Wie finde ich Förderung und Kooperationspartner?
Verbinden Sie eine Forschungsfrage zur Effizienz mit einem echten Anwendungspartner, dem Kosten oder Geschwindigkeit wichtig sind. Fördergeber und Industrie reagieren besser auf Energieeinsparungen, die zugleich schnellere, günstigere oder zuverlässigere Ergebnisse bringen.
- Nationale Forschungsförderer wie EPSRC im Vereinigten Königreich, die NSF in den USA und ihre Entsprechungen fördern Methodenforschung; achten Sie auf Ausschreibungen zu KI, digitaler Forschungsinfrastruktur und Netto-Null.
- Europäische Programme wie Horizon Europe und Eureka-Cluster wie ITEA fördern Verbundprojekte mit der Industrie. GreenCode, ein ITEA-Projekt, ist ein Beispiel im Bereich grüne KI und Software-Energie.
- Kurze Industrieprojekte, Praktika und kofinanzierte Promotionsstellen sind kostengünstige Wege, eine Zusammenarbeit zu beginnen.
- Research Software Engineers und HPC-Zentren verfügen oft über Fachwissen und Schulungen zu grünem Rechnen.
Interdisziplinäre Teams funktionieren am besten: Bringen Sie Fachleute für Hardware, Software, Numerik und das jeweilige Anwendungsgebiet an einen Tisch. Das Forschungsverzeichnis listet Gruppen und Projekte zu grüner KI auf.
Welche Wege zur Promotion gibt es?
Es gibt Promotionsprojekte in effizientem maschinellem Lernen, numerischer Analysis, nachhaltigem und CO2-armem Rechnen, HPC und Hardware-Software-Co-Design. Viele tragen nicht die Bezeichnung „grüne KI“, suchen Sie also auch nach diesen Themen.
Mögliche Wege sind:
- Doktorandenzentren und -programme, etwa die UKRI Centres for Doctoral Training im Vereinigten Königreich;
- Doktorandennetzwerke im Rahmen der Marie-Skłodowska-Curie-Maßnahmen der EU;
- von der Industrie kofinanzierte oder gesponserte Promotionsstellen; und
- Projekte, die an größere Forschungsförderungen angebunden sind.
Im Promotionsverzeichnis finden Sie aktuelle Angebote und im Kursverzeichnis Kurzkurse zu effizienter KI, grüner Software und wissenschaftlichem Rechnen.
Was Sie als Nächstes tun können
- Fügen Sie CodeCarbon oder ein ähnliches Protokollierungswerkzeug in Ihr nächstes Experiment ein, oder schätzen Sie Ihr letztes Projekt mit dem Green Algorithms-Rechner.
- Fügen Sie Ihrem nächsten Paper eine Tabelle zu Energie und Rechenaufwand hinzu, einschließlich Tuning- und fehlgeschlagener Läufe.
- Legen Sie ein Rechenbudget für Ihr aktuelles Projekt fest und überprüfen Sie es monatlich.
- Probieren Sie eine Effizienzmethode aus, etwa Quantisierung oder Distillation, an einem Modell, das Sie bereits nutzen, und geben Sie den Zielkonflikt an.
- Prüfen Sie, was es schon gibt, bevor Sie etwas aufbauen: Durchsuchen Sie das Forschungsverzeichnis und aktuelle Projektberichte.
- Finden Sie einen Partner mit einer kostspieligen KI- oder Simulationsanwendung und schlagen Sie ein gemeinsames Projekt vor.
- Suchen Sie nach Weiterbildung im Kursverzeichnis, und teilen Sie das Promotionsverzeichnis mit Studierenden.
Häufige Fragen
Wie gebe ich den Energieverbrauch meiner Experimente an?
Protokollieren Sie die Energie während der Experimente mit einem Werkzeug wie CodeCarbon, oder schätzen Sie sie nachträglich mit dem Green-Algorithms-Rechner aus Hardware, Laufzeit und Standort. Geben Sie kWh, CO₂e, Hardware, Stunden und Netzregion an, und beziehen Sie fehlgeschlagene Läufe und Tuning-Läufe ein.
Verschlechtert Quantisierung die Genauigkeit?
Oft nur geringfügig, aber das hängt von Modell und Aufgabe ab. UNESCO und UCL berichten von Energieeinsparungen von bis zu 44 % durch Kompression wie Quantisierung bei gleichbleibender Genauigkeit; prüfen Sie das mit Ihren eigenen Benchmarks.
Ist grüne KI ein echtes Forschungsfeld oder ein Randthema?
Es ist ein wachsendes Feld, das maschinelles Lernen, numerische Analysis, Hardware und Rechensysteme umfasst. Studien zur Energie von Training und Inferenz gibt es mindestens seit 2019, und der EU AI Act (KI-Verordnung) verlangt nun von Anbietern von KI-Modellen mit allgemeinem Verwendungszweck, ihren Energieverbrauch zu dokumentieren.
Kann ich in grüner KI promovieren?
Ja. Suchen Sie nach Projekten in effizientem maschinellem Lernen, numerischen Verfahren, nachhaltigem Rechnen oder HPC. Unser Promotionsverzeichnis listet aktuelle Angebote auf.
Quellen
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- CodeCarbon, CodeCarbon (2026)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- Measuring the environmental impact of delivering AI at Google scale, Elsworth et al., Google (2025)
- AI Act, Annex XI: technical documentation for providers of general-purpose AI models, European Commission AI Act Service Desk (2024)
- Green AI and energy-aware computing, GreenCode (ITEA) (2026)
Verwandte Themen
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.
So messen Sie den Energieverbrauch und CO2-Fußabdruck von KI
Ein Praxisleitfaden zum Messen oder Schätzen von Energie und CO2 bei KI-Arbeit: Werkzeuge, Systemgrenzen, Kennzahlen pro Aufgabe und ehrliche Unsicherheit.
Die Mathematik, die KI effizienter macht
Pruning, Sparsity, Sketching, Zufallsmatrixtheorie und physikinformierte Modelle: wie Mathematik Rechenaufwand, Speicher und Energie von KI senkt.
Messung ist der Engpass für grüne KI
Warum KI-Energiewerte schwer zu prüfen und zu vergleichen sind: Selbstauskünfte, Schätzungen statt Messungen, unterschiedliche Grenzen, und wie es besser geht.