greenai.guide

Startseite › Wie kann ich …? › Wie bündle ich KI-Anfragen, um Energie zu sparen?

Wie kann ich …?

Wie bündle ich KI-Anfragen, um Energie zu sparen?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Bedienen Sie Live-Anfragen mit einer Inferenz-Engine, die Continuous Batching nutzt, sodass gleichzeitige Anfragen sich den Beschleuniger teilen. Stellen Sie Arbeit, die keine sofortige Antwort braucht, etwa die nächtliche Verarbeitung von Dokumenten, in eine Warteschlange und führen Sie sie in großen Batches aus, idealerweise wenn das Stromnetz sauberer ist. Ein Beschleuniger, der jeweils nur eine Anfrage bedient, ist zu wenig ausgelastet, zieht aber trotzdem erheblich Strom.

Schritte

  1. Trennen Sie interaktive Anfragen von Arbeit, die Minuten oder Stunden warten kann.
  2. Bedienen Sie interaktive Anfragen mit einer Engine, die Continuous Batching unterstützt.
  3. Stellen Sie nicht dringende Arbeit in eine Warteschlange und verarbeiten Sie sie in Batches.
  4. Nutzen Sie bei gehosteten Modellen die Batch-Schnittstelle Ihres Anbieters, wo es eine gibt.
  5. Messen Sie den Energieverbrauch pro Anfrage bei realen Batchgrößen, zusammen mit der Latenz.

Mit Batching (Bündelung) bedient ein Durchlauf der Hardware viele Anfragen. Der Energieverbrauch pro Antwort hängt stark davon ab, wie ausgelastet der Beschleuniger ist.

Warum ist das wichtig?

GPUs ziehen auch bei geringer Last erheblich Strom. Werden Anfragen einzeln bedient, verteilt sich dieser Strom auf sehr wenige Antworten. Kwon und Kollegen berichteten, dass vLLM mit Continuous Batching und seitenweiser Verwaltung des Key-Value-Cache den Durchsatz bei gleicher Latenz um das 2- bis 4-Fache gegenüber früheren Systemen steigerte. Auch die Inferenz-Dokumentation von Hugging Face behandelt Continuous Batching.

Zwei Arten von Batching

  • Continuous Batching für Live-Anfragen. Die Serving-Engine fügt neue Anfragen in einen laufenden Batch ein, sobald andere fertig sind, sodass Nutzer nicht warten müssen, bis ein Batch voll ist. Nutzen Sie eine Engine, die das unterstützt, statt einer einfachen Schleife mit einer Anfrage pro Aufruf.
  • Offline-Batches für Arbeit, die warten kann. Die Dokumente von gestern zusammenfassen, ein Archiv verschlagworten oder einen Datensatz bewerten: Das braucht keine sofortigen Antworten. Stellen Sie es in eine Warteschlange und verarbeiten Sie es gesammelt. Die Green Software Foundation empfiehlt, Batch-KI-Workloads in kohlenstoffarmen Regionen und zu Zeiten auszuführen, in denen die Latenz weniger kritisch ist; siehe wie Sie Arbeit planen, wenn das Stromnetz grüner ist.

Häufige Fehler

  • Batches, die so groß sind, dass sie die Latenz für interaktive Nutzer verschlechtern. Stimmen Sie sie auf realen Datenverkehr ab.
  • Verschwendung durch Padding. Werden sehr kurze und sehr lange Eingaben zusammengefasst, verschwenden manche Engines Rechenleistung.
  • Batch-Server zwischen Jobs laufen lassen; siehe wie Sie verhindern, dass GPUs ungenutzt laufen.

Mehr dazu unter effizientes Training und effiziente Inferenz.

Quellen

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz