Kurz gesagt
Betreiben Sie das kleinste Modell, das Ihre Anforderungen erfüllt, auf einer für Inferenz gebauten Runtime, mit eingeschaltetem Batching, Gewichten in halber Präzision oder quantisiert und mit den optimierten Attention- und Cache-Pfaden der Bibliothek. Benchmarken Sie dann zwei oder drei Runtimes und Hardware-Optionen mit Ihrem realen Datenverkehr und wählen Sie nach Energie pro Anfrage ebenso wie nach Latenz.
Schritte
- Stellen Sie sicher, dass das Modell das kleinste ist, das Ihre Qualitätsanforderungen erfüllt.
- Betreiben Sie es mit einer Inferenz-Engine, die Continuous Batching unterstützt.
- Laden Sie die Gewichte in halber Präzision oder in einem geprüften quantisierten Format.
- Schalten Sie effiziente Attention und einen statischen Key-Value-Cache ein, wo Ihre Bibliothek das unterstützt.
- Benchmarken Sie zwei oder drei Runtimes und GPU-Typen bei Ihren realen Batchgrößen.
- Skalieren Sie herunter oder auf null, wenn wenig Datenverkehr herrscht.
Den größten Teil seiner Lebenszeit-Energie verbraucht ein Modell im Betrieb, deshalb zählen die Betriebseinstellungen. Die Standardeinstellungen sind selten die effizienteste Option, und die optimierten Pfade müssen meist erst eingeschaltet werden.
Was macht den größten Unterschied?
- Batching. Ein Beschleuniger, der jeweils nur eine Anfrage bedient, ist zu wenig ausgelastet, zieht aber trotzdem Strom. Kwon und Kollegen berichteten, dass vLLM mit seitenweiser Verwaltung des Key-Value-Cache bei gleicher Latenz den 2- bis 4-fachen Durchsatz früherer Systeme erreichte. Siehe wie Sie KI-Anfragen bündeln.
- Präzision. Halbe Präzision oder ein geprüftes quantisiertes Modell braucht weniger Speicher und oft weniger GPUs.
- Optimierte Code-Pfade. Hugging Face dokumentiert effiziente Attention-Implementierungen und einen statischen
Key-Value-Cache in Kombination mit
torch.compile, was laut Hugging Face eine bis zu 4-fache Beschleunigung bringen kann. - Runtime und Hardware nach Evidenz gewählt. Die Green Software Foundation empfiehlt, effiziente Frameworks und Inferenz-Runtimes auszuwählen; benchmarken Sie sie, statt einfach das zu nutzen, womit das Modell trainiert wurde.
Häufige Fehler
- Geschwindigkeit mit Energie gleichsetzen. GreenCode-Forschende, die an llama.cpp arbeiteten, senkten den GPU-Energieverbrauch um 4,7 %, während die Geschwindigkeit nur um 3 % stieg: Die beiden Werte erzählen unterschiedliche Geschichten. Messen Sie beide.
- Mit Batchgröße eins benchmarken, wenn die Produktion mit viel höherer Parallelität läuft, oder umgekehrt.
- Replikate über Nacht laufen lassen für Datenverkehr, den es nicht gibt. Siehe wie Sie verhindern, dass GPUs ungenutzt laufen.
- Kompilierte Modelle vor dem Messen nicht aufwärmen, was die Zahlen verzerrt.
Das vollständige Werkzeugset finden Sie unter effizientes Training und effiziente Inferenz.
Quellen
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
Verwandte Themen
Wie bündle ich KI-Anfragen, um Energie zu sparen?
Wie Batching die Auslastung von Beschleunigern erhöht und Energie pro Antwort senkt: Continuous Batching live, Warteschlangen für Offline-Arbeit.
Wie quantisiere ich ein Modell?
Wie Sie ein KI-Modell auf 8 oder 4 Bit quantisieren: welche Werkzeuge, wie Sie die Qualität testen und wann Quantisierung Energie spart und wann nicht.
Wie beschleunige ich ein großes Modell mit spekulativem Decoding?
Wie beim spekulativen Decoding ein kleines Entwurfsmodell Tokens vorschlägt, die ein großes Modell prüft: schnellere Antworten mit identischen Ausgaben.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.