# Spart ein Mixture-of-Experts-Modell wirklich Energie?

> Wie Mixture-of-Experts-Modelle pro Token nur einen Teil ihrer Parameter aktivieren, wann das gegenüber einem dichten Modell Energie spart und was Sie messen sollten.

Source: https://greenai.guide/de/wie/spart-ein-mixture-of-experts-modell-wirklich-energie/  
Updated: 2026-11-19

## Kurz gesagt

Ein Mixture-of-Experts-Modell leitet jeden Token an einige wenige spezialisierte Teilnetze weiter, sodass pro Token nur ein Teil des Modells arbeitet. Mixtral zum Beispiel hat 47 Milliarden Parameter, nutzt aber 13 Milliarden pro Token. Das kann den Rechenaufwand pro Antwort gegenüber einem dichten Modell ähnlicher Qualität senken, doch jeder Experte muss trotzdem im Speicher liegen. Vergleichen Sie daher Qualität, Latenz und Energie pro Anfrage auf Ihrer eigenen Hardware.

## Steps

1. Wählen Sie für Ihre Aufgabe ein Mixture-of-Experts-Modell und ein dichtes Modell ähnlicher Qualität aus.
2. Prüfen Sie, ob beide in Ihren verfügbaren GPU-Speicher passen, alle Experten mitgezählt.
3. Lassen Sie beide auf Ihrem Evaluationsdatensatz mit Ihrer realen Batchgröße laufen.
4. Vergleichen Sie Qualität, Latenz und Energie pro Anfrage direkt nebeneinander.
5. Entscheiden Sie nach allen drei Kriterien und ziehen Sie ein kleineres dichtes Modell in Betracht, wenn es besteht.

**Mixture-of-Experts-Modelle (MoE) können die Qualität großer Modelle mit weniger Rechenaufwand pro Token liefern,
aber nicht mit weniger Speicher.** Ob sie Ihnen Energie sparen, hängt von Ihrer Hardware und Ihrem Anfragevolumen ab.

## Wie funktioniert ein Mixture of Experts? {#how-does-a-mixture-of-experts-work}

Ein dichtes Modell nutzt für jeden Token jeden Parameter. Ein MoE-Modell hat viele „Experten“-Teilnetze und einen
kleinen Router, der pro Token einige wenige Experten auswählt. Bei Mixtral of Experts von Jiang und Kollegen hat jeder
Token Zugriff auf 47 Milliarden Parameter, bei der Inferenz werden aber nur 13 Milliarden aktive Parameter genutzt;
die Autoren berichten, dass es Llama 2 70B und GPT-3.5 in den von ihnen ausgewerteten Benchmarks übertrifft oder
erreicht. Siehe auch den [Glossareintrag](/de/glossar/#mixture-of-experts).

## Wann spart es Energie? {#when-does-it-save-energy}

- **Im Vergleich mit einem dichten Modell ähnlicher Qualität** bedeuten weniger aktive Parameter meist weniger
  Rechenaufwand pro Token.
- **Wenn Sie den Speicher haben.** Alle Experten müssen trotzdem geladen werden, Sie brauchen also womöglich genauso
  viele GPUs wie für das dichte Modell. Ungenutzter Speicher verbraucht trotzdem Strom.
- **Bei guter Auslastung.** Mit Batching nutzen verschiedene Tokens verschiedene Experten, was die Hardware besser
  auslastet.

## Häufige Fehler {#common-mistakes}

- **Mit der falschen Baseline vergleichen.** Wenn ein kleines dichtes Modell Ihren Qualitätsmaßstab erfüllt, schlägt
  es meist beide. Siehe [wie Sie ein kleineres KI-Modell auswählen](/de/wie/wie-waehle-ich-ein-kleineres-ki-modell-aus/).
- **Die aktiven Parameter für die gesamten Kosten halten.** Speicher, Kommunikation zwischen GPUs und der
  Routing-Aufwand zählen ebenfalls.
- **Nicht messen.** Wo öffentliche Bewertungen wie der AI Energy Score Ihre Kandidaten abdecken, nutzen Sie sie;
  andernfalls benchmarken Sie beide auf derselben Hardware.

Die umfassendere Methode finden Sie unter [das richtige Modell wählen](/de/gute-praxis/das-richtige-modell-fuer-die-aufgabe-waehlen/).

## Quellen

- [Mixtral of experts](https://arxiv.org/abs/2401.04088), Jiang et al., Mistral AI (2024)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
