Kurz gesagt
Bedienen Sie Live-Anfragen mit einer Inferenz-Engine, die Continuous Batching nutzt, sodass gleichzeitige Anfragen sich den Beschleuniger teilen. Stellen Sie Arbeit, die keine sofortige Antwort braucht, etwa die nächtliche Verarbeitung von Dokumenten, in eine Warteschlange und führen Sie sie in großen Batches aus, idealerweise wenn das Stromnetz sauberer ist. Ein Beschleuniger, der jeweils nur eine Anfrage bedient, ist zu wenig ausgelastet, zieht aber trotzdem erheblich Strom.
Schritte
- Trennen Sie interaktive Anfragen von Arbeit, die Minuten oder Stunden warten kann.
- Bedienen Sie interaktive Anfragen mit einer Engine, die Continuous Batching unterstützt.
- Stellen Sie nicht dringende Arbeit in eine Warteschlange und verarbeiten Sie sie in Batches.
- Nutzen Sie bei gehosteten Modellen die Batch-Schnittstelle Ihres Anbieters, wo es eine gibt.
- Messen Sie den Energieverbrauch pro Anfrage bei realen Batchgrößen, zusammen mit der Latenz.
Mit Batching (Bündelung) bedient ein Durchlauf der Hardware viele Anfragen. Der Energieverbrauch pro Antwort hängt stark davon ab, wie ausgelastet der Beschleuniger ist.
Warum ist das wichtig?
GPUs ziehen auch bei geringer Last erheblich Strom. Werden Anfragen einzeln bedient, verteilt sich dieser Strom auf sehr wenige Antworten. Kwon und Kollegen berichteten, dass vLLM mit Continuous Batching und seitenweiser Verwaltung des Key-Value-Cache den Durchsatz bei gleicher Latenz um das 2- bis 4-Fache gegenüber früheren Systemen steigerte. Auch die Inferenz-Dokumentation von Hugging Face behandelt Continuous Batching.
Zwei Arten von Batching
- Continuous Batching für Live-Anfragen. Die Serving-Engine fügt neue Anfragen in einen laufenden Batch ein, sobald andere fertig sind, sodass Nutzer nicht warten müssen, bis ein Batch voll ist. Nutzen Sie eine Engine, die das unterstützt, statt einer einfachen Schleife mit einer Anfrage pro Aufruf.
- Offline-Batches für Arbeit, die warten kann. Die Dokumente von gestern zusammenfassen, ein Archiv verschlagworten oder einen Datensatz bewerten: Das braucht keine sofortigen Antworten. Stellen Sie es in eine Warteschlange und verarbeiten Sie es gesammelt. Die Green Software Foundation empfiehlt, Batch-KI-Workloads in kohlenstoffarmen Regionen und zu Zeiten auszuführen, in denen die Latenz weniger kritisch ist; siehe wie Sie Arbeit planen, wenn das Stromnetz grüner ist.
Häufige Fehler
- Batches, die so groß sind, dass sie die Latenz für interaktive Nutzer verschlechtern. Stimmen Sie sie auf realen Datenverkehr ab.
- Verschwendung durch Padding. Werden sehr kurze und sehr lange Eingaben zusammengefasst, verschwenden manche Engines Rechenleistung.
- Batch-Server zwischen Jobs laufen lassen; siehe wie Sie verhindern, dass GPUs ungenutzt laufen.
Mehr dazu unter effizientes Training und effiziente Inferenz.
Quellen
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
Verwandte Themen
Wie senke ich den Energieverbrauch beim Betrieb eines Modells in der Produktion?
Wie Sie ein selbst gehostetes Modell mit weniger Energie pro Anfrage betreiben: effiziente Runtimes, Batching, halbe Präzision, Caches und geprüfte Hardware.
Wie plane ich KI-Training für Zeiten, in denen der Strom sauberer ist?
Training und Batch-Jobs laufen lassen, wenn die CO₂-Intensität im Netz niedrig ist: Prognosen nutzen, Jobs per Checkpoint pausierbar machen, Fristen fest einhalten.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.
Wie verhindere ich, dass GPUs und Notebooks ungenutzt laufen?
Verhindern Sie, dass ungenutzte KI-Hardware Energie verschwendet: Ressourcen bei Bedarf starten, Notebooks automatisch stoppen, nachts auf null skalieren.