Kurz gesagt
Ein Mixture-of-Experts-Modell leitet jeden Token an einige wenige spezialisierte Teilnetze weiter, sodass pro Token nur ein Teil des Modells arbeitet. Mixtral zum Beispiel hat 47 Milliarden Parameter, nutzt aber 13 Milliarden pro Token. Das kann den Rechenaufwand pro Antwort gegenüber einem dichten Modell ähnlicher Qualität senken, doch jeder Experte muss trotzdem im Speicher liegen. Vergleichen Sie daher Qualität, Latenz und Energie pro Anfrage auf Ihrer eigenen Hardware.
Schritte
- Wählen Sie für Ihre Aufgabe ein Mixture-of-Experts-Modell und ein dichtes Modell ähnlicher Qualität aus.
- Prüfen Sie, ob beide in Ihren verfügbaren GPU-Speicher passen, alle Experten mitgezählt.
- Lassen Sie beide auf Ihrem Evaluationsdatensatz mit Ihrer realen Batchgröße laufen.
- Vergleichen Sie Qualität, Latenz und Energie pro Anfrage direkt nebeneinander.
- Entscheiden Sie nach allen drei Kriterien und ziehen Sie ein kleineres dichtes Modell in Betracht, wenn es besteht.
Mixture-of-Experts-Modelle (MoE) können die Qualität großer Modelle mit weniger Rechenaufwand pro Token liefern, aber nicht mit weniger Speicher. Ob sie Ihnen Energie sparen, hängt von Ihrer Hardware und Ihrem Anfragevolumen ab.
Wie funktioniert ein Mixture of Experts?
Ein dichtes Modell nutzt für jeden Token jeden Parameter. Ein MoE-Modell hat viele „Experten“-Teilnetze und einen kleinen Router, der pro Token einige wenige Experten auswählt. Bei Mixtral of Experts von Jiang und Kollegen hat jeder Token Zugriff auf 47 Milliarden Parameter, bei der Inferenz werden aber nur 13 Milliarden aktive Parameter genutzt; die Autoren berichten, dass es Llama 2 70B und GPT-3.5 in den von ihnen ausgewerteten Benchmarks übertrifft oder erreicht. Siehe auch den Glossareintrag.
Wann spart es Energie?
- Im Vergleich mit einem dichten Modell ähnlicher Qualität bedeuten weniger aktive Parameter meist weniger Rechenaufwand pro Token.
- Wenn Sie den Speicher haben. Alle Experten müssen trotzdem geladen werden, Sie brauchen also womöglich genauso viele GPUs wie für das dichte Modell. Ungenutzter Speicher verbraucht trotzdem Strom.
- Bei guter Auslastung. Mit Batching nutzen verschiedene Tokens verschiedene Experten, was die Hardware besser auslastet.
Häufige Fehler
- Mit der falschen Baseline vergleichen. Wenn ein kleines dichtes Modell Ihren Qualitätsmaßstab erfüllt, schlägt es meist beide. Siehe wie Sie ein kleineres KI-Modell auswählen.
- Die aktiven Parameter für die gesamten Kosten halten. Speicher, Kommunikation zwischen GPUs und der Routing-Aufwand zählen ebenfalls.
- Nicht messen. Wo öffentliche Bewertungen wie der AI Energy Score Ihre Kandidaten abdecken, nutzen Sie sie; andernfalls benchmarken Sie beide auf derselben Hardware.
Die umfassendere Methode finden Sie unter das richtige Modell wählen.
Quellen
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
Verwandte Themen
Wie vergleiche ich den Energieverbrauch verschiedener KI-Modelle?
KI-Modelle fair nach Energie vergleichen: Benchmarks wie den AI Energy Score nutzen oder selbst messen, mit gleicher Aufgabe, Hardware und Einstellung.
Wie wähle ich ein kleineres KI-Modell aus?
So finden Sie das kleinste KI-Modell, das Ihre Aufgabe gut erledigt: Qualitätsmaßstab festlegen, klein bis groß testen, Energiewerte prüfen, großes Modell als Reserve.
Wie senke ich den Energieverbrauch beim Betrieb eines Modells in der Produktion?
Wie Sie ein selbst gehostetes Modell mit weniger Energie pro Anfrage betreiben: effiziente Runtimes, Batching, halbe Präzision, Caches und geprüfte Hardware.
Das richtige Modell für die Aufgabe wählen
KI richtig dimensionieren: wann kleine oder spezialisierte Modelle reichen, wann sich ein Frontier-Modell lohnt, wie Routing funktioniert und wann man auf KI verzichtet.