Kurz gesagt
Kombinieren Sie Ihr großes Modell mit einem kleinen Entwurfsmodell aus derselben Modellfamilie: Der Entwurf schlägt mehrere Tokens vor, und das große Modell prüft sie in einem Durchgang und behält nur die, denen es zustimmt. Die Ausgabe ist dieselbe wie beim großen Modell allein, und die ursprüngliche Studie berichtete von 2- bis 3-mal schnellerer Inferenz. Prüfen Sie, ob Ihr Serving-Stack es unterstützt, und messen Sie dann die Energie pro Anfrage, nicht nur die Geschwindigkeit.
Schritte
- Prüfen Sie, ob Ihre Inferenzbibliothek oder Serving-Engine spekulatives oder assistiertes Decoding unterstützt.
- Wählen Sie ein kleines Entwurfsmodell, das denselben Tokenizer wie das große Modell nutzt.
- Schalten Sie es ein und bestätigen Sie, dass die Ausgaben bei Ihrer eigenen Arbeitslast übereinstimmen.
- Messen Sie Energie pro Anfrage und Latenz bei Ihren realen Batch-Größen.
- Behalten Sie es nur, wenn die Energie pro Anfrage sinkt, nicht nur die Latenz.
Lassen Sie ein kleines Modell raten und das große Modell prüfen. Große Modelle erzeugen ein Token nach dem anderen und halten dabei für jedes Wort große Hardware beschäftigt; spekulatives Decoding lässt sie mehrere Tokens auf einmal bestätigen.
Wie funktioniert das?
Ein kleines Entwurfsmodell schlägt schnell die nächsten paar Tokens vor. Das große Zielmodell prüft sie dann alle in einem einzigen Vorwärtsdurchlauf und akzeptiert die, die es selbst erzeugt hätte. Wo es nicht zustimmt, setzt es sein eigenes Token ein, und das Entwerfen geht weiter. Leviathan, Kalman und Matias zeigten beim Modell T5-XXL eine 2- bis 3-fache Beschleunigung bei identischen Ausgaben. Die Dokumentation von Hugging Face weist darauf hin, dass die Genauigkeit nicht leidet, weil der Prüfdurchlauf sicherstellt, dass dieselben Ausgaben erzeugt werden.
Zu den Varianten gehört Prompt Lookup Decoding, das Entwürfe aus Text bildet, der bereits im Prompt steht, und sich für Aufgaben wie Bearbeiten oder Zusammenfassen eignet, bei denen die Antwort die Eingabe wiederholt.
Heißt schneller auch grüner?
Nicht automatisch. Sie betreiben jetzt zwei Modelle, und das große leistet zusätzliche Prüfarbeit. Ob die Energie pro Anfrage sinkt, hängt davon ab, wie oft Entwürfe akzeptiert werden, von Ihrer Batch-Größe und Ihrer Hardware. Forschende von GreenCode stellten bei llama.cpp fest, dass Energie und Geschwindigkeit Unterschiedliches erzählen können: Eine Änderung sparte 4,7 % GPU-Energie bei nur 3 % Geschwindigkeitsgewinn. Messen Sie die Energie direkt.
Häufige Fehler
- Ein zu großes Entwurfsmodell, das alles verlangsamt.
- Nicht zusammenpassende Tokenizer bei Entwurfs- und Zielmodell.
- Test mit einer anderen Arbeitslast als im Produktivbetrieb; die Akzeptanzraten unterscheiden sich je nach Aufgabe.
Zu weiteren Serving-Techniken siehe wie Sie die Energie beim Betrieb eines Modells senken und effizientes Training und effiziente Inferenz.
Quellen
- Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
Verwandte Themen
Wie senke ich den Energieverbrauch beim Betrieb eines Modells in der Produktion?
Wie Sie ein selbst gehostetes Modell mit weniger Energie pro Anfrage betreiben: effiziente Runtimes, Batching, halbe Präzision, Caches und geprüfte Hardware.
Wie bündle ich KI-Anfragen, um Energie zu sparen?
Wie Batching die Auslastung von Beschleunigern erhöht und Energie pro Antwort senkt: Continuous Batching live, Warteschlangen für Offline-Arbeit.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.
Die Mathematik, die KI effizienter macht
Pruning, Sparsity, Sketching, Zufallsmatrixtheorie und physikinformierte Modelle: wie Mathematik Rechenaufwand, Speicher und Energie von KI senkt.