# Effizientes KI-Training und effiziente Inferenz

> Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.

Source: https://greenai.guide/de/gute-praxis/effizientes-ki-training-und-effiziente-inferenz/  
Updated: 2026-11-19

## Kurz gesagt

Der größte Teil der KI-Energie lässt sich ohne Qualitätsverlust einsparen: indem Sie Modelle wiederverwenden, statt von Grund auf zu trainieren, sie mit Pruning, Quantisierung und Destillation verkleinern, sie mit Batching und Caching bereitstellen und flexible Jobs dann und dort ausführen, wo der Strom sauberer ist. Messen Sie den Energieverbrauch vor und nach jeder Änderung, denn schneller ist nicht immer grüner.

## Das Wichtigste

- Wiederverwenden vor Trainieren: Fine-Tuning eines kleinen Adapters mit LoRA verringerte gegenüber vollständigem Fine-Tuning von GPT-3 175B die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicherbedarf auf ein Drittel.
- Große Sprachmodelle lassen sich in einem Durchgang ohne erneutes Training auf mindestens 50 % Sparsity reduzieren, bei minimalem Genauigkeitsverlust (SparseGPT).
- 8-Bit-Inferenz kann den Speicherbedarf ohne Qualitätsverlust halbieren (LLM.int8()); testen Sie auch 4 Bit.
- Die Bereitstellung zählt: Batching und seitenbasierte Verwaltung des KV-Cache brachten in vLLM bei gleicher Latenz den 2- bis 4-fachen Durchsatz.
- CO2-bewusstes Scheduling senkt Emissionen, nicht den Energieverbrauch; setzen Sie es zusätzlich zur Effizienzarbeit ein, nie stattdessen.

## Wo fange ich an? {#where-should-i-start}

**Messen Sie zuerst, dann verwenden Sie wieder, verkleinern, stellen gut bereit und planen die Ausführung, in dieser
Reihenfolge.** Die ersten Schritte sparen meist am meisten und bergen das geringste Risiko.

Patterson und Kollegen bei Google schätzten 2021, dass die Wahl von Modell, Rechenzentrum und Prozessor den
CO2-Fußabdruck des Trainings um bis etwa das 100- bis 1.000-Fache verändern kann. Den größten Teil dieser Spanne haben
Sie selbst in der Hand. Bevor Sie etwas ändern, richten Sie eine [Energiemessung](/de/gute-praxis/so-messen-sie-den-energieverbrauch-und-co2-fussabdruck-von-ki/) auf
derselben Hardware und unter derselben Last ein, damit Sie nur die Änderungen behalten, die Energie sparen, ohne der
Qualität zu schaden. Geschwindigkeit ist kein verlässlicher Ersatzmaßstab: Eine Änderung kann schneller und hungriger
sein oder langsamer und sparsamer.

## Kann ich Training von Grund auf vermeiden? {#can-i-avoid-training-from-scratch}

**Meistens ja: Beginnen Sie mit einem vortrainierten Modell und passen Sie nur an, was Sie brauchen.**

- **Parametereffizientes Fine-Tuning.** LoRA trainiert kleine Adaptermatrizen mit niedrigem Rang statt des ganzen
  Modells. Gegenüber vollständigem Fine-Tuning von GPT-3 175B berichteten die Autoren von 10.000-mal weniger
  trainierbaren Parametern und einem Drittel des GPU-Speichers. QLoRA kombiniert das mit 4-Bit-Gewichten und hat ein
  Modell mit 65 Milliarden Parametern auf einer einzigen GPU mit 48 GB feinabgestimmt.
- **Retrieval statt erneutem Training.** Legen Sie sich ändernde Fakten in einem durchsuchbaren Index ab und rufen Sie
  sie zum Zeitpunkt der Anfrage ab. Nutzen Sie Fine-Tuning für Fähigkeiten und Stil, nicht für Fakten.
- **Model Merging („Souping“).** Das Mitteln der Gewichte von Modellen, die von derselben Basis aus feinabgestimmt
  wurden, kann laut Wortsman und Kollegen das beste Einzelmodell übertreffen, ohne zusätzliche Inferenzkosten.
  Spezialisierte Fine-Tunes zusammenzuführen, ist eine Möglichkeit, bereits bezahlte Arbeit wiederzuverwenden.
- **Kontinuierliches Lernen.** Aktualisieren Sie ein Modell schrittweise, statt es bei geänderten Daten von Grund auf
  neu zu trainieren.

## Wie helfen Pruning und Sparsity? {#how-do-pruning-and-sparsity-help}

**Die meisten Gewichte eines trainierten Netzes lassen sich mit geringem Verlust entfernen oder inaktiv lassen. Das
bedeutet weniger Rechenaufwand und Speicher pro Antwort.**

- **Unstrukturiertes Pruning** entfernt einzelne Gewichte. SparseGPT reduzierte Modelle der GPT-Familie in einem
  Durchgang ohne erneutes Training auf mindestens 50 % Sparsity, bei minimalem Genauigkeitsverlust, und erreichte bei
  den damals größten offenen Modellen 60 % bei vernachlässigbarem Anstieg der Perplexität.
- **Strukturiertes Pruning** entfernt ganze Neuronen, Attention-Heads oder Schichten, was gewöhnliche Hardware leichter
  ausnutzen kann.
- **Aktivierungs-Sparsity** lässt für eine bestimmte Eingabe die meisten Neuronen inaktiv.
- **Mixture-of-Experts**-Modelle schicken jedes Token an wenige spezialisierte Teilnetze. Patterson und Kollegen
  stellten fest, dass große, dünn besetzt aktivierte Modelle weniger als ein Zehntel der Energie großer dichter
  Modelle verbrauchen können. Alle Experten müssen trotzdem im Speicher liegen.

Ein Vorbehalt aus einer britischen Sandpit-Veranstaltung zu grüner KI im Jahr 2026 mit Mathematikerinnen und
Mathematikern, Informatikern und Fachleuten aus der Industrie: Sparsity wird unter anderem deshalb zu wenig genutzt,
weil Hardware und Bibliotheken für dichte Rechenoperationen gebaut sind. Prüfen Sie, ob Ihre Laufzeitumgebung
Sparsity tatsächlich in eingesparte Energie umsetzt. Bei der Sandpit-Veranstaltung ging es auch darum, mit der Theorie
der Zufallsmatrizen den Grad der Sparsity schon vor dem Training festzulegen, und um dünn besetzte Näherungen der
Attention, die sich in vortrainierte Modelle einsetzen lassen. Siehe
[Mathematik für effiziente KI](/de/artikel/die-mathematik-die-ki-effizienter-macht/).

## Was ist mit Quantisierung, Destillation und Mixed Precision? {#what-about-quantisation-distillation-and-mixed-precision}

**Nutzen Sie weniger Bits und kleinere Modelle, wo immer die Qualitätsanforderungen es zulassen.**

| Technik | Was sie bewirkt | Veröffentlichtes Ergebnis |
|---|---|---|
| [Quantisierung](/de/glossar/#quantisation) | Speichert und berechnet Gewichte mit 8 oder 4 statt 16 oder 32 Bit | LLM.int8() halbierte den Speicherbedarf der Inferenz ohne Qualitätsverlust bis zu 175 Mrd. Parametern; UNESCO und UCL berichten, dass Modellkompression wie Quantisierung bis zu 44 % Energie spart |
| [Destillation](/de/glossar/#distillation) | Trainiert ein kleines „Schüler“-Modell darauf, ein großes „Lehrer“-Modell nachzuahmen | DistilBERT war 40 % kleiner und 60 % schneller als BERT und behielt 97 % seines Sprachverständnisses |
| Mixed Precision | Trainiert mit halber Genauigkeit und einer Masterkopie in voller Genauigkeit | Fast halbierter Speicherbedarf beim Training (Micikevicius et al.) |

Testen Sie jede Technik mit Ihrem eigenen Evaluierungssatz. Hugging Face weist darauf hin, dass Quantisierung die
Latenz erhöhen kann, wenn eine Arbeitslast nicht durch den Speicher begrenzt ist. Messen Sie daher Energie und Latenz
pro Anfrage vorher und nachher.

## Wie stelle ich Modelle effizient bereit? {#how-do-i-serve-models-efficiently}

**Halten Sie den Beschleuniger mit nützlicher Arbeit ausgelastet und vermeiden Sie jede Neuberechnung.** Eine wenig
genutzte GPU zieht trotzdem erheblich Strom.

1. **Bündeln Sie Anfragen (Batching).** Serving-Engines mit kontinuierlichem Batching fassen gleichzeitige Anfragen
   zusammen. PagedAttention von vLLM, das den [KV-Cache](/de/glossar/#kv-cache) wie virtuellen Speicher verwaltet,
   erreichte bei gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme.
2. **Nutzen Sie den KV-Cache gut.** Speichern Sie Keys und Values früherer Token zwischen; verwenden Sie einen
   statischen Cache mit kompiliertem Forward-Pass, wo Ihre Bibliothek das unterstützt.
3. **Schalten Sie die optimierten Pfade ein.** Gewichte in halber Genauigkeit, effiziente Attention-Kernels (etwa SDPA
   oder FlashAttention) und Kompilierung sind oft verfügbar, aber standardmäßig ausgeschaltet.
4. **Spekulatives Decoding.** Ein kleines Entwurfsmodell schlägt Token vor, die das große Modell prüft. Leviathan und
   Kollegen berichteten von 2- bis 3-mal schnellerer Generierung bei T5-XXL mit identischen Ausgaben.
5. **Begrenzen Sie die Ausgabelänge** auf das, was die Aufgabe braucht, und speichern Sie Antworten auf identische
   Anfragen zwischen.
6. **Vergleichen Sie Laufzeitumgebungen und Hardware.** Testen Sie zwei oder drei Serving-Stacks mit Ihren realen
   Batch-Größen.

## Wann und wo sollten Jobs laufen? {#when-and-where-should-jobs-run}

**Führen Sie flexible Arbeit dann und dort aus, wo der Strom sauberer ist, aber betrachten Sie das als Bonus
zusätzlich zur Effizienz, nicht als Ersatz dafür.**

- **Zeitlich verschieben.** Trainingsläufe, Evaluierungen und Batch-Inferenz können oft Stunden warten. Planen Sie sie
  anhand einer Prognose der CO2-Intensität; Werkzeuge wie CATS umhüllen Cluster-Jobs, um genau das zu tun. In
  Großbritannien veröffentlicht die Carbon Intensity API regionale Prognosen.
- **Lange Jobs pausierbar machen.** Setzen Sie regelmäßig Checkpoints, einschließlich des Optimierer-Zustands, damit
  ein Job pausieren kann, wenn der Strommix schmutzig ist, und später ohne Arbeitsverlust weiterläuft.
- **Region und Hardware wählen.** Wo die Latenz keine Rolle spielt, bevorzugen Sie eine CO2-arme Region und effiziente
  Beschleuniger und berücksichtigen Sie dabei den Aufwand für das Verschieben von Daten. Siehe
  [Hosting und Rechenzentren](/de/gute-praxis/hosting-und-rechenzentren-fuer-gruene-ki/).
- **Den absoluten Energieverbrauch im Blick behalten.** CO2-bewusstes Scheduling verschiebt, wann Arbeit läuft, nicht
  wie viel sie verbraucht. Verfolgen Sie neben dem CO2 auch die Energie pro Arbeitseinheit.

## Checkliste {#checklist}

- [ ] Energie vor und nach jeder Änderung gemessen, gleicher Aufbau, mehrere Durchläufe
- [ ] Vortrainiertes Modell und Adapter erwogen, bevor von Grund auf trainiert wird
- [ ] Retrieval für sich ändernde Fakten genutzt statt erneutem Training
- [ ] Pruning, Quantisierung oder Destillation gegen die Qualitätsanforderungen getestet
- [ ] Mixed Precision im Training genutzt
- [ ] Batching, KV-Cache-Optimierung und effiziente Attention bei der Bereitstellung eingeschaltet
- [ ] Ausgabelänge begrenzt; identische Anfragen zwischengespeichert
- [ ] Flexible Jobs mit Checkpoints versehen und für sauberere Stunden eingeplant
- [ ] Trainingsenergie und Hardware in der Model Card dokumentiert

## Wie es weitergeht {#what-to-do-next}

1. Fügen Sie Ihren Trainings- und Evaluierungsskripten einen Emissions-Tracker wie CodeCarbon hinzu und stellen Sie in
   Ihrer Ergebnistabelle die Energie neben die Genauigkeit.
2. Probieren Sie beim nächsten Fine-Tuning LoRA oder QLoRA aus und vergleichen Sie mit vollständigem Fine-Tuning.
3. Testen Sie eine 8-Bit- und eine 4-Bit-Version Ihres eingesetzten Modells mit Ihrem Evaluierungssatz.
4. Testen Sie Ihren Serving-Stack mit eingeschaltetem Batching und optimiertem Attention-Pfad.
5. Binden Sie einen wiederkehrenden Cluster-Job in einen CO2-bewussten Scheduler ein.
6. Suchen Sie nach Weiterbildungen im [Kursverzeichnis](/de/kurse/) und nach verwandten Arbeiten unter
   [Forschung](/de/forschung/) und [Promotionen](/de/promotionen/).

## Häufige Fragen

### Verringert Quantisierung die Genauigkeit?

Manchmal geringfügig; bei 8 Bit oft nicht spürbar. Testen Sie das quantisierte Modell immer mit Ihrem eigenen Evaluierungssatz, und beachten Sie, dass Quantisierung die Latenz erhöhen kann, wenn eine Arbeitslast nicht durch den Speicher begrenzt ist.

### Was ist ein KV-Cache?

Wenn ein Transformer Text generiert, speichert er die Key- und Value-Matrizen früherer Token, damit sie nicht bei jedem Schritt neu berechnet werden. Diesen Cache gut zu verwalten, ist einer der größten Effizienzgewinne bei der Bereitstellung.

### Kostet Training oder Inferenz mehr Energie?

Das hängt davon ab, wie breit ein Modell genutzt wird. Training ist ein großer einmaliger Aufwand; Inferenz fällt bei jeder Anfrage an, daher überwiegt sie bei beliebten Modellen meist über die Lebensdauer des Modells.

### Was ist Model Merging oder Model Souping?

Das Mitteln der Gewichte mehrerer Modelle, die vom selben Ausgangspunkt aus feinabgestimmt wurden. Das Ergebnis läuft als ein einziges Modell ohne zusätzliche Inferenzkosten und kann das beste Einzelmodell übertreffen.

## Quellen

- [LoRA: Low-Rank Adaptation of Large Language Models](https://arxiv.org/abs/2106.09685), Hu et al. (arXiv 2106.09685) (2021)
- [QLoRA: Efficient Finetuning of Quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers et al. (arXiv 2305.14314) (2023)
- [SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot](https://arxiv.org/abs/2301.00774), Frantar and Alistarh (arXiv 2301.00774) (2023)
- [LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale](https://arxiv.org/abs/2208.07339), Dettmers et al. (arXiv 2208.07339) (2022)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Fast Inference from Transformers via Speculative Decoding](https://arxiv.org/abs/2211.17192), Leviathan et al. (arXiv 2211.17192) (2022)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al. (arXiv 2203.05482) (2022)
- [Carbon Emissions and Large Neural Network Training](https://arxiv.org/abs/2104.10350), Patterson et al. (arXiv 2104.10350) (2021)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2025)
- [Green Software Patterns: carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation (2025)
- [CATS: Climate-Aware Task Scheduler](https://github.com/GreenScheduler/cats), GreenScheduler (2025)
