# Wie senke ich den Energieverbrauch beim Betrieb eines Modells in der Produktion?

> Wie Sie ein selbst gehostetes Modell mit weniger Energie pro Anfrage betreiben: effiziente Runtimes, Batching, halbe Präzision, Caches und geprüfte Hardware.

Source: https://greenai.guide/de/wie/wie-senke-ich-den-energieverbrauch-beim-betrieb-eines-modells-in-der/  
Updated: 2026-11-19

## Kurz gesagt

Betreiben Sie das kleinste Modell, das Ihre Anforderungen erfüllt, auf einer für Inferenz gebauten Runtime, mit eingeschaltetem Batching, Gewichten in halber Präzision oder quantisiert und mit den optimierten Attention- und Cache-Pfaden der Bibliothek. Benchmarken Sie dann zwei oder drei Runtimes und Hardware-Optionen mit Ihrem realen Datenverkehr und wählen Sie nach Energie pro Anfrage ebenso wie nach Latenz.

## Steps

1. Stellen Sie sicher, dass das Modell das kleinste ist, das Ihre Qualitätsanforderungen erfüllt.
2. Betreiben Sie es mit einer Inferenz-Engine, die Continuous Batching unterstützt.
3. Laden Sie die Gewichte in halber Präzision oder in einem geprüften quantisierten Format.
4. Schalten Sie effiziente Attention und einen statischen Key-Value-Cache ein, wo Ihre Bibliothek das unterstützt.
5. Benchmarken Sie zwei oder drei Runtimes und GPU-Typen bei Ihren realen Batchgrößen.
6. Skalieren Sie herunter oder auf null, wenn wenig Datenverkehr herrscht.

**Den größten Teil seiner Lebenszeit-Energie verbraucht ein Modell im Betrieb, deshalb zählen die
Betriebseinstellungen.** Die Standardeinstellungen sind selten die effizienteste Option, und die optimierten Pfade
müssen meist erst eingeschaltet werden.

## Was macht den größten Unterschied? {#what-makes-the-biggest-difference}

1. **Batching.** Ein Beschleuniger, der jeweils nur eine Anfrage bedient, ist zu wenig ausgelastet, zieht aber
   trotzdem Strom. Kwon und Kollegen berichteten, dass vLLM mit seitenweiser Verwaltung des Key-Value-Cache bei
   gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme erreichte. Siehe [wie Sie KI-Anfragen bündeln](/de/wie/wie-buendle-ich-ki-anfragen-um-energie-zu-sparen/).
2. **Präzision.** Halbe Präzision oder ein geprüftes [quantisiertes](/de/wie/wie-quantisiere-ich-ein-modell/) Modell braucht weniger
   Speicher und oft weniger GPUs.
3. **Optimierte Code-Pfade.** Hugging Face dokumentiert effiziente Attention-Implementierungen und einen statischen
   Key-Value-Cache in Kombination mit `torch.compile`, was laut Hugging Face eine bis zu 4-fache Beschleunigung
   bringen kann.
4. **Runtime und Hardware nach Evidenz gewählt.** Die Green Software Foundation empfiehlt, effiziente Frameworks und
   Inferenz-Runtimes auszuwählen; benchmarken Sie sie, statt einfach das zu nutzen, womit das Modell trainiert wurde.

## Häufige Fehler {#common-mistakes}

- **Geschwindigkeit mit Energie gleichsetzen.** GreenCode-Forschende, die an llama.cpp arbeiteten, senkten den
  GPU-Energieverbrauch um 4,7 %, während die Geschwindigkeit nur um 3 % stieg: Die beiden Werte erzählen
  unterschiedliche Geschichten. Messen Sie beide.
- **Mit Batchgröße eins benchmarken**, wenn die Produktion mit viel höherer Parallelität läuft, oder umgekehrt.
- **Replikate über Nacht laufen lassen** für Datenverkehr, den es nicht gibt. Siehe
  [wie Sie verhindern, dass GPUs ungenutzt laufen](/de/wie/wie-verhindere-ich-dass-gpus-und-notebooks-ungenutzt-laufen/).
- **Kompilierte Modelle vor dem Messen nicht aufwärmen**, was die Zahlen verzerrt.

Das vollständige Werkzeugset finden Sie unter [effizientes Training und effiziente Inferenz](/de/gute-praxis/effizientes-ki-training-und-effiziente-inferenz/).

## Quellen

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
