greenai.guide

Startseite › Wie kann ich …? › Spart ein Mixture-of-Experts-Modell wirklich Energie?

Wie kann ich …?

Spart ein Mixture-of-Experts-Modell wirklich Energie?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Ein Mixture-of-Experts-Modell leitet jeden Token an einige wenige spezialisierte Teilnetze weiter, sodass pro Token nur ein Teil des Modells arbeitet. Mixtral zum Beispiel hat 47 Milliarden Parameter, nutzt aber 13 Milliarden pro Token. Das kann den Rechenaufwand pro Antwort gegenüber einem dichten Modell ähnlicher Qualität senken, doch jeder Experte muss trotzdem im Speicher liegen. Vergleichen Sie daher Qualität, Latenz und Energie pro Anfrage auf Ihrer eigenen Hardware.

Schritte

  1. Wählen Sie für Ihre Aufgabe ein Mixture-of-Experts-Modell und ein dichtes Modell ähnlicher Qualität aus.
  2. Prüfen Sie, ob beide in Ihren verfügbaren GPU-Speicher passen, alle Experten mitgezählt.
  3. Lassen Sie beide auf Ihrem Evaluationsdatensatz mit Ihrer realen Batchgröße laufen.
  4. Vergleichen Sie Qualität, Latenz und Energie pro Anfrage direkt nebeneinander.
  5. Entscheiden Sie nach allen drei Kriterien und ziehen Sie ein kleineres dichtes Modell in Betracht, wenn es besteht.

Mixture-of-Experts-Modelle (MoE) können die Qualität großer Modelle mit weniger Rechenaufwand pro Token liefern, aber nicht mit weniger Speicher. Ob sie Ihnen Energie sparen, hängt von Ihrer Hardware und Ihrem Anfragevolumen ab.

Wie funktioniert ein Mixture of Experts?

Ein dichtes Modell nutzt für jeden Token jeden Parameter. Ein MoE-Modell hat viele „Experten“-Teilnetze und einen kleinen Router, der pro Token einige wenige Experten auswählt. Bei Mixtral of Experts von Jiang und Kollegen hat jeder Token Zugriff auf 47 Milliarden Parameter, bei der Inferenz werden aber nur 13 Milliarden aktive Parameter genutzt; die Autoren berichten, dass es Llama 2 70B und GPT-3.5 in den von ihnen ausgewerteten Benchmarks übertrifft oder erreicht. Siehe auch den Glossareintrag.

Wann spart es Energie?

  • Im Vergleich mit einem dichten Modell ähnlicher Qualität bedeuten weniger aktive Parameter meist weniger Rechenaufwand pro Token.
  • Wenn Sie den Speicher haben. Alle Experten müssen trotzdem geladen werden, Sie brauchen also womöglich genauso viele GPUs wie für das dichte Modell. Ungenutzter Speicher verbraucht trotzdem Strom.
  • Bei guter Auslastung. Mit Batching nutzen verschiedene Tokens verschiedene Experten, was die Hardware besser auslastet.

Häufige Fehler

  • Mit der falschen Baseline vergleichen. Wenn ein kleines dichtes Modell Ihren Qualitätsmaßstab erfüllt, schlägt es meist beide. Siehe wie Sie ein kleineres KI-Modell auswählen.
  • Die aktiven Parameter für die gesamten Kosten halten. Speicher, Kommunikation zwischen GPUs und der Routing-Aufwand zählen ebenfalls.
  • Nicht messen. Wo öffentliche Bewertungen wie der AI Energy Score Ihre Kandidaten abdecken, nutzen Sie sie; andernfalls benchmarken Sie beide auf derselben Hardware.

Die umfassendere Methode finden Sie unter das richtige Modell wählen.

Quellen

  1. Mixtral of experts, Jiang et al., Mistral AI (2024)
  2. AI Energy Score, Hugging Face (2025)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz