# Wie leite ich Anfragen an kleinere Modelle weiter?

> Routineanfragen an ein kleines, nur schwierige an ein großes Modell leiten und den Router so abstimmen, dass Wiederholungen die Einsparung nicht aufzehren.

Source: https://greenai.guide/de/wie/wie-leite-ich-anfragen-an-kleinere-modelle-weiter/  
Updated: 2026-11-19

## Kurz gesagt

Schalten Sie Ihren Modellen einen Router vor: eine Regel, einen kleinen Klassifikator oder eine Kaskade, die zuerst ein kleines Modell versucht und eskaliert, wenn die Konfidenz niedrig ist oder eine Prüfung fehlschlägt. Veröffentlichte Router haben in einigen Tests die Kosten um mehr als die Hälfte gesenkt, ohne die Qualität zu mindern. Stimmen Sie den Schwellenwert auf Ihre eigenen Daten ab und messen Sie die Kosten pro erfolgreich erledigter Aufgabe, nicht pro Aufruf.

## Steps

1. Stellen Sie einen Evaluationsdatensatz aus realen Anfragen mit einem Bestehenskriterium für jede zusammen.
2. Messen Sie, wie oft ein kleines Modell allein besteht.
3. Wählen Sie ein Router-Design, etwa Regeln, einen Schwierigkeits-Klassifikator oder eine Kaskade mit Prüfung.
4. Stimmen Sie den Eskalationsschwellenwert auf Ihren Evaluationsdatensatz ab.
5. Erfassen Sie Kosten und Energie pro erfolgreich erledigter Aufgabe, einschließlich Eskalationen und Wiederholungen.
6. Stimmen Sie neu ab, wenn sich eines der Modelle ändert.

**Routing verschafft Ihnen den größten Teil der Qualität eines großen Modells zu einem Großteil der Kosten eines
kleinen.** Die Idee ist einfach: Schicken Sie jede Anfrage an das günstigste Modell, das sie wahrscheinlich gut
bewältigt.

## Welches Design sollte ich verwenden? {#which-design-should-i-use}

- **Regeln.** Routing nach Art, Länge oder Kanal der Anfrage. Leicht verständlich und oft ausreichend.
- **Schwierigkeits-Klassifikator.** Ein kleines Modell sagt voraus, wie schwierig eine Anfrage ist. Die Arbeit
  Hybrid LLM von Ding und Kollegen leitet Anfragen auf diese Weise zwischen einem kleinen und einem großen Modell
  weiter und wägt dabei Kosten und Qualität ab.
- **Kaskade.** Versuchen Sie das kleine Modell; schlägt eine Prüfung fehl oder ist die Konfidenz niedrig, geben Sie an
  ein größeres weiter. FrugalGPT von Chen, Zaharia und Zou untersuchte solche Kaskaden zur Kostensenkung.
- **Gelernter Router.** Trainiert darauf, welches Modell bei welcher Anfrage gut abgeschnitten hat. Die
  RouteLLM-Studie berichtete in einigen Fällen Kostensenkungen um mehr als die Hälfte, ohne die Qualität der Antworten
  zu mindern.

## Häufige Fehler {#common-mistakes}

- **Pro Aufruf messen.** Ein fehlgeschlagener Versuch mit dem kleinen Modell plus eine Wiederholung mit dem großen kann
  mehr kosten, als direkt das große zu nutzen. Ein britisches Green-AI-Sandpit aus Mathematik, Informatik und
  Industrie im Jahr 2026 wies darauf als reales Risiko in agentischen Systemen hin. Messen Sie pro erfolgreich
  erledigter Aufgabe.
- **Die Wahl den Nutzern überlassen.** Bauen Sie das Routing ins System ein, nicht in ein Auswahlmenü, das die meisten
  ignorieren.
- **Einrichten und vergessen.** Protokollieren Sie Eskalationsraten und überprüfen Sie sie, wenn sich Modelle ändern.

## Was macht den größten Unterschied? {#what-makes-the-biggest-difference}

**Ein guter Evaluationsdatensatz.** Ohne reale Beispiele und ein Bestehenskriterium können Sie weder den
Schwellenwert abstimmen noch die Einsparung nachweisen. Wie Sie einen solchen Datensatz aufbauen, lesen Sie unter
[das richtige Modell wählen](/de/gute-praxis/das-richtige-modell-fuer-die-aufgabe-waehlen/).

## Quellen

- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
