Kurz gesagt
Der größte Teil der KI-Energie lässt sich ohne Qualitätsverlust einsparen: indem Sie Modelle wiederverwenden, statt von Grund auf zu trainieren, sie mit Pruning, Quantisierung und Destillation verkleinern, sie mit Batching und Caching bereitstellen und flexible Jobs dann und dort ausführen, wo der Strom sauberer ist. Messen Sie den Energieverbrauch vor und nach jeder Änderung, denn schneller ist nicht immer grüner.
Das Wichtigste
- Wiederverwenden vor Trainieren: Fine-Tuning eines kleinen Adapters mit LoRA verringerte gegenüber vollständigem Fine-Tuning von GPT-3 175B die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicherbedarf auf ein Drittel.
- Große Sprachmodelle lassen sich in einem Durchgang ohne erneutes Training auf mindestens 50 % Sparsity reduzieren, bei minimalem Genauigkeitsverlust (SparseGPT).
- 8-Bit-Inferenz kann den Speicherbedarf ohne Qualitätsverlust halbieren (LLM.int8()); testen Sie auch 4 Bit.
- Die Bereitstellung zählt: Batching und seitenbasierte Verwaltung des KV-Cache brachten in vLLM bei gleicher Latenz den 2- bis 4-fachen Durchsatz.
- CO2-bewusstes Scheduling senkt Emissionen, nicht den Energieverbrauch; setzen Sie es zusätzlich zur Effizienzarbeit ein, nie stattdessen.
Wo fange ich an?
Messen Sie zuerst, dann verwenden Sie wieder, verkleinern, stellen gut bereit und planen die Ausführung, in dieser Reihenfolge. Die ersten Schritte sparen meist am meisten und bergen das geringste Risiko.
Patterson und Kollegen bei Google schätzten 2021, dass die Wahl von Modell, Rechenzentrum und Prozessor den CO2-Fußabdruck des Trainings um bis etwa das 100- bis 1.000-Fache verändern kann. Den größten Teil dieser Spanne haben Sie selbst in der Hand. Bevor Sie etwas ändern, richten Sie eine Energiemessung auf derselben Hardware und unter derselben Last ein, damit Sie nur die Änderungen behalten, die Energie sparen, ohne der Qualität zu schaden. Geschwindigkeit ist kein verlässlicher Ersatzmaßstab: Eine Änderung kann schneller und hungriger sein oder langsamer und sparsamer.
Kann ich Training von Grund auf vermeiden?
Meistens ja: Beginnen Sie mit einem vortrainierten Modell und passen Sie nur an, was Sie brauchen.
- Parametereffizientes Fine-Tuning. LoRA trainiert kleine Adaptermatrizen mit niedrigem Rang statt des ganzen Modells. Gegenüber vollständigem Fine-Tuning von GPT-3 175B berichteten die Autoren von 10.000-mal weniger trainierbaren Parametern und einem Drittel des GPU-Speichers. QLoRA kombiniert das mit 4-Bit-Gewichten und hat ein Modell mit 65 Milliarden Parametern auf einer einzigen GPU mit 48 GB feinabgestimmt.
- Retrieval statt erneutem Training. Legen Sie sich ändernde Fakten in einem durchsuchbaren Index ab und rufen Sie sie zum Zeitpunkt der Anfrage ab. Nutzen Sie Fine-Tuning für Fähigkeiten und Stil, nicht für Fakten.
- Model Merging („Souping“). Das Mitteln der Gewichte von Modellen, die von derselben Basis aus feinabgestimmt wurden, kann laut Wortsman und Kollegen das beste Einzelmodell übertreffen, ohne zusätzliche Inferenzkosten. Spezialisierte Fine-Tunes zusammenzuführen, ist eine Möglichkeit, bereits bezahlte Arbeit wiederzuverwenden.
- Kontinuierliches Lernen. Aktualisieren Sie ein Modell schrittweise, statt es bei geänderten Daten von Grund auf neu zu trainieren.
Wie helfen Pruning und Sparsity?
Die meisten Gewichte eines trainierten Netzes lassen sich mit geringem Verlust entfernen oder inaktiv lassen. Das bedeutet weniger Rechenaufwand und Speicher pro Antwort.
- Unstrukturiertes Pruning entfernt einzelne Gewichte. SparseGPT reduzierte Modelle der GPT-Familie in einem Durchgang ohne erneutes Training auf mindestens 50 % Sparsity, bei minimalem Genauigkeitsverlust, und erreichte bei den damals größten offenen Modellen 60 % bei vernachlässigbarem Anstieg der Perplexität.
- Strukturiertes Pruning entfernt ganze Neuronen, Attention-Heads oder Schichten, was gewöhnliche Hardware leichter ausnutzen kann.
- Aktivierungs-Sparsity lässt für eine bestimmte Eingabe die meisten Neuronen inaktiv.
- Mixture-of-Experts-Modelle schicken jedes Token an wenige spezialisierte Teilnetze. Patterson und Kollegen stellten fest, dass große, dünn besetzt aktivierte Modelle weniger als ein Zehntel der Energie großer dichter Modelle verbrauchen können. Alle Experten müssen trotzdem im Speicher liegen.
Ein Vorbehalt aus einer britischen Sandpit-Veranstaltung zu grüner KI im Jahr 2026 mit Mathematikerinnen und Mathematikern, Informatikern und Fachleuten aus der Industrie: Sparsity wird unter anderem deshalb zu wenig genutzt, weil Hardware und Bibliotheken für dichte Rechenoperationen gebaut sind. Prüfen Sie, ob Ihre Laufzeitumgebung Sparsity tatsächlich in eingesparte Energie umsetzt. Bei der Sandpit-Veranstaltung ging es auch darum, mit der Theorie der Zufallsmatrizen den Grad der Sparsity schon vor dem Training festzulegen, und um dünn besetzte Näherungen der Attention, die sich in vortrainierte Modelle einsetzen lassen. Siehe Mathematik für effiziente KI.
Was ist mit Quantisierung, Destillation und Mixed Precision?
Nutzen Sie weniger Bits und kleinere Modelle, wo immer die Qualitätsanforderungen es zulassen.
| Technik | Was sie bewirkt | Veröffentlichtes Ergebnis |
|---|---|---|
| Quantisierung | Speichert und berechnet Gewichte mit 8 oder 4 statt 16 oder 32 Bit | LLM.int8() halbierte den Speicherbedarf der Inferenz ohne Qualitätsverlust bis zu 175 Mrd. Parametern; UNESCO und UCL berichten, dass Modellkompression wie Quantisierung bis zu 44 % Energie spart |
| Destillation | Trainiert ein kleines „Schüler“-Modell darauf, ein großes „Lehrer“-Modell nachzuahmen | DistilBERT war 40 % kleiner und 60 % schneller als BERT und behielt 97 % seines Sprachverständnisses |
| Mixed Precision | Trainiert mit halber Genauigkeit und einer Masterkopie in voller Genauigkeit | Fast halbierter Speicherbedarf beim Training (Micikevicius et al.) |
Testen Sie jede Technik mit Ihrem eigenen Evaluierungssatz. Hugging Face weist darauf hin, dass Quantisierung die Latenz erhöhen kann, wenn eine Arbeitslast nicht durch den Speicher begrenzt ist. Messen Sie daher Energie und Latenz pro Anfrage vorher und nachher.
Wie stelle ich Modelle effizient bereit?
Halten Sie den Beschleuniger mit nützlicher Arbeit ausgelastet und vermeiden Sie jede Neuberechnung. Eine wenig genutzte GPU zieht trotzdem erheblich Strom.
- Bündeln Sie Anfragen (Batching). Serving-Engines mit kontinuierlichem Batching fassen gleichzeitige Anfragen zusammen. PagedAttention von vLLM, das den KV-Cache wie virtuellen Speicher verwaltet, erreichte bei gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme.
- Nutzen Sie den KV-Cache gut. Speichern Sie Keys und Values früherer Token zwischen; verwenden Sie einen statischen Cache mit kompiliertem Forward-Pass, wo Ihre Bibliothek das unterstützt.
- Schalten Sie die optimierten Pfade ein. Gewichte in halber Genauigkeit, effiziente Attention-Kernels (etwa SDPA oder FlashAttention) und Kompilierung sind oft verfügbar, aber standardmäßig ausgeschaltet.
- Spekulatives Decoding. Ein kleines Entwurfsmodell schlägt Token vor, die das große Modell prüft. Leviathan und Kollegen berichteten von 2- bis 3-mal schnellerer Generierung bei T5-XXL mit identischen Ausgaben.
- Begrenzen Sie die Ausgabelänge auf das, was die Aufgabe braucht, und speichern Sie Antworten auf identische Anfragen zwischen.
- Vergleichen Sie Laufzeitumgebungen und Hardware. Testen Sie zwei oder drei Serving-Stacks mit Ihren realen Batch-Größen.
Wann und wo sollten Jobs laufen?
Führen Sie flexible Arbeit dann und dort aus, wo der Strom sauberer ist, aber betrachten Sie das als Bonus zusätzlich zur Effizienz, nicht als Ersatz dafür.
- Zeitlich verschieben. Trainingsläufe, Evaluierungen und Batch-Inferenz können oft Stunden warten. Planen Sie sie anhand einer Prognose der CO2-Intensität; Werkzeuge wie CATS umhüllen Cluster-Jobs, um genau das zu tun. In Großbritannien veröffentlicht die Carbon Intensity API regionale Prognosen.
- Lange Jobs pausierbar machen. Setzen Sie regelmäßig Checkpoints, einschließlich des Optimierer-Zustands, damit ein Job pausieren kann, wenn der Strommix schmutzig ist, und später ohne Arbeitsverlust weiterläuft.
- Region und Hardware wählen. Wo die Latenz keine Rolle spielt, bevorzugen Sie eine CO2-arme Region und effiziente Beschleuniger und berücksichtigen Sie dabei den Aufwand für das Verschieben von Daten. Siehe Hosting und Rechenzentren.
- Den absoluten Energieverbrauch im Blick behalten. CO2-bewusstes Scheduling verschiebt, wann Arbeit läuft, nicht wie viel sie verbraucht. Verfolgen Sie neben dem CO2 auch die Energie pro Arbeitseinheit.
Checkliste
- [ ] Energie vor und nach jeder Änderung gemessen, gleicher Aufbau, mehrere Durchläufe
- [ ] Vortrainiertes Modell und Adapter erwogen, bevor von Grund auf trainiert wird
- [ ] Retrieval für sich ändernde Fakten genutzt statt erneutem Training
- [ ] Pruning, Quantisierung oder Destillation gegen die Qualitätsanforderungen getestet
- [ ] Mixed Precision im Training genutzt
- [ ] Batching, KV-Cache-Optimierung und effiziente Attention bei der Bereitstellung eingeschaltet
- [ ] Ausgabelänge begrenzt; identische Anfragen zwischengespeichert
- [ ] Flexible Jobs mit Checkpoints versehen und für sauberere Stunden eingeplant
- [ ] Trainingsenergie und Hardware in der Model Card dokumentiert
Wie es weitergeht
- Fügen Sie Ihren Trainings- und Evaluierungsskripten einen Emissions-Tracker wie CodeCarbon hinzu und stellen Sie in Ihrer Ergebnistabelle die Energie neben die Genauigkeit.
- Probieren Sie beim nächsten Fine-Tuning LoRA oder QLoRA aus und vergleichen Sie mit vollständigem Fine-Tuning.
- Testen Sie eine 8-Bit- und eine 4-Bit-Version Ihres eingesetzten Modells mit Ihrem Evaluierungssatz.
- Testen Sie Ihren Serving-Stack mit eingeschaltetem Batching und optimiertem Attention-Pfad.
- Binden Sie einen wiederkehrenden Cluster-Job in einen CO2-bewussten Scheduler ein.
- Suchen Sie nach Weiterbildungen im Kursverzeichnis und nach verwandten Arbeiten unter Forschung und Promotionen.
Häufige Fragen
Verringert Quantisierung die Genauigkeit?
Manchmal geringfügig; bei 8 Bit oft nicht spürbar. Testen Sie das quantisierte Modell immer mit Ihrem eigenen Evaluierungssatz, und beachten Sie, dass Quantisierung die Latenz erhöhen kann, wenn eine Arbeitslast nicht durch den Speicher begrenzt ist.
Was ist ein KV-Cache?
Wenn ein Transformer Text generiert, speichert er die Key- und Value-Matrizen früherer Token, damit sie nicht bei jedem Schritt neu berechnet werden. Diesen Cache gut zu verwalten, ist einer der größten Effizienzgewinne bei der Bereitstellung.
Kostet Training oder Inferenz mehr Energie?
Das hängt davon ab, wie breit ein Modell genutzt wird. Training ist ein großer einmaliger Aufwand; Inferenz fällt bei jeder Anfrage an, daher überwiegt sie bei beliebten Modellen meist über die Lebensdauer des Modells.
Was ist Model Merging oder Model Souping?
Das Mitteln der Gewichte mehrerer Modelle, die vom selben Ausgangspunkt aus feinabgestimmt wurden. Das Ergebnis läuft als ein einziges Modell ohne zusätzliche Inferenzkosten und kann das beste Einzelmodell übertreffen.
Quellen
- LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
- QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
- SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
- LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
- Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- Optimizing inference, Hugging Face Transformers documentation (2025)
- Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
- CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)
Verwandte Themen
So messen Sie den Energieverbrauch und CO2-Fußabdruck von KI
Ein Praxisleitfaden zum Messen oder Schätzen von Energie und CO2 bei KI-Arbeit: Werkzeuge, Systemgrenzen, Kennzahlen pro Aufgabe und ehrliche Unsicherheit.
Das richtige Modell für die Aufgabe wählen
KI richtig dimensionieren: wann kleine oder spezialisierte Modelle reichen, wann sich ein Frontier-Modell lohnt, wie Routing funktioniert und wann man auf KI verzichtet.
Die Mathematik, die KI effizienter macht
Pruning, Sparsity, Sketching, Zufallsmatrixtheorie und physikinformierte Modelle: wie Mathematik Rechenaufwand, Speicher und Energie von KI senkt.
Hosting und Rechenzentren für grüne KI
Wo KI laufen sollte: CO2-Intensität des Stromnetzes, PUE und WUE, Ökostromaussagen, Wasserverbrauch und Standortwahl, mit Fragen an Hoster.