# Wie bündle ich KI-Anfragen, um Energie zu sparen?

> Wie Batching die Auslastung von Beschleunigern erhöht und Energie pro Antwort senkt: Continuous Batching live, Warteschlangen für Offline-Arbeit.

Source: https://greenai.guide/de/wie/wie-buendle-ich-ki-anfragen-um-energie-zu-sparen/  
Updated: 2026-11-19

## Kurz gesagt

Bedienen Sie Live-Anfragen mit einer Inferenz-Engine, die Continuous Batching nutzt, sodass gleichzeitige Anfragen sich den Beschleuniger teilen. Stellen Sie Arbeit, die keine sofortige Antwort braucht, etwa die nächtliche Verarbeitung von Dokumenten, in eine Warteschlange und führen Sie sie in großen Batches aus, idealerweise wenn das Stromnetz sauberer ist. Ein Beschleuniger, der jeweils nur eine Anfrage bedient, ist zu wenig ausgelastet, zieht aber trotzdem erheblich Strom.

## Steps

1. Trennen Sie interaktive Anfragen von Arbeit, die Minuten oder Stunden warten kann.
2. Bedienen Sie interaktive Anfragen mit einer Engine, die Continuous Batching unterstützt.
3. Stellen Sie nicht dringende Arbeit in eine Warteschlange und verarbeiten Sie sie in Batches.
4. Nutzen Sie bei gehosteten Modellen die Batch-Schnittstelle Ihres Anbieters, wo es eine gibt.
5. Messen Sie den Energieverbrauch pro Anfrage bei realen Batchgrößen, zusammen mit der Latenz.

**Mit Batching (Bündelung) bedient ein Durchlauf der Hardware viele Anfragen.** Der Energieverbrauch pro Antwort hängt
stark davon ab, wie ausgelastet der Beschleuniger ist.

## Warum ist das wichtig? {#why-does-it-matter}

GPUs ziehen auch bei geringer Last erheblich Strom. Werden Anfragen einzeln bedient, verteilt sich dieser Strom auf
sehr wenige Antworten. Kwon und Kollegen berichteten, dass vLLM mit Continuous Batching und seitenweiser Verwaltung
des Key-Value-Cache den Durchsatz bei gleicher Latenz um das 2- bis 4-Fache gegenüber früheren Systemen steigerte. Auch
die Inferenz-Dokumentation von Hugging Face behandelt Continuous Batching.

## Zwei Arten von Batching {#two-kinds-of-batching}

- **Continuous Batching für Live-Anfragen.** Die Serving-Engine fügt neue Anfragen in einen laufenden Batch ein,
  sobald andere fertig sind, sodass Nutzer nicht warten müssen, bis ein Batch voll ist. Nutzen Sie eine Engine, die
  das unterstützt, statt einer einfachen Schleife mit einer Anfrage pro Aufruf.
- **Offline-Batches für Arbeit, die warten kann.** Die Dokumente von gestern zusammenfassen, ein Archiv verschlagworten
  oder einen Datensatz bewerten: Das braucht keine sofortigen Antworten. Stellen Sie es in eine Warteschlange und
  verarbeiten Sie es gesammelt. Die Green Software Foundation empfiehlt, Batch-KI-Workloads in kohlenstoffarmen
  Regionen und zu Zeiten auszuführen, in denen die Latenz weniger kritisch ist; siehe
  [wie Sie Arbeit planen, wenn das Stromnetz grüner ist](/de/wie/wie-plane-ich-ki-training-fuer-zeiten-in-denen-der-strom-sauberer-ist/).

## Häufige Fehler {#common-mistakes}

- **Batches, die so groß sind, dass sie die Latenz** für interaktive Nutzer verschlechtern. Stimmen Sie sie auf realen
  Datenverkehr ab.
- **Verschwendung durch Padding.** Werden sehr kurze und sehr lange Eingaben zusammengefasst, verschwenden manche
  Engines Rechenleistung.
- **Batch-Server zwischen Jobs laufen lassen**; siehe [wie Sie verhindern, dass GPUs ungenutzt laufen](/de/wie/wie-verhindere-ich-dass-gpus-und-notebooks-ungenutzt-laufen/).

Mehr dazu unter [effizientes Training und effiziente Inferenz](/de/gute-praxis/effizientes-ki-training-und-effiziente-inferenz/).

## Quellen

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
