Kurz gesagt
Schalten Sie Ihren Modellen einen Router vor: eine Regel, einen kleinen Klassifikator oder eine Kaskade, die zuerst ein kleines Modell versucht und eskaliert, wenn die Konfidenz niedrig ist oder eine Prüfung fehlschlägt. Veröffentlichte Router haben in einigen Tests die Kosten um mehr als die Hälfte gesenkt, ohne die Qualität zu mindern. Stimmen Sie den Schwellenwert auf Ihre eigenen Daten ab und messen Sie die Kosten pro erfolgreich erledigter Aufgabe, nicht pro Aufruf.
Schritte
- Stellen Sie einen Evaluationsdatensatz aus realen Anfragen mit einem Bestehenskriterium für jede zusammen.
- Messen Sie, wie oft ein kleines Modell allein besteht.
- Wählen Sie ein Router-Design, etwa Regeln, einen Schwierigkeits-Klassifikator oder eine Kaskade mit Prüfung.
- Stimmen Sie den Eskalationsschwellenwert auf Ihren Evaluationsdatensatz ab.
- Erfassen Sie Kosten und Energie pro erfolgreich erledigter Aufgabe, einschließlich Eskalationen und Wiederholungen.
- Stimmen Sie neu ab, wenn sich eines der Modelle ändert.
Routing verschafft Ihnen den größten Teil der Qualität eines großen Modells zu einem Großteil der Kosten eines kleinen. Die Idee ist einfach: Schicken Sie jede Anfrage an das günstigste Modell, das sie wahrscheinlich gut bewältigt.
Welches Design sollte ich verwenden?
- Regeln. Routing nach Art, Länge oder Kanal der Anfrage. Leicht verständlich und oft ausreichend.
- Schwierigkeits-Klassifikator. Ein kleines Modell sagt voraus, wie schwierig eine Anfrage ist. Die Arbeit Hybrid LLM von Ding und Kollegen leitet Anfragen auf diese Weise zwischen einem kleinen und einem großen Modell weiter und wägt dabei Kosten und Qualität ab.
- Kaskade. Versuchen Sie das kleine Modell; schlägt eine Prüfung fehl oder ist die Konfidenz niedrig, geben Sie an ein größeres weiter. FrugalGPT von Chen, Zaharia und Zou untersuchte solche Kaskaden zur Kostensenkung.
- Gelernter Router. Trainiert darauf, welches Modell bei welcher Anfrage gut abgeschnitten hat. Die RouteLLM-Studie berichtete in einigen Fällen Kostensenkungen um mehr als die Hälfte, ohne die Qualität der Antworten zu mindern.
Häufige Fehler
- Pro Aufruf messen. Ein fehlgeschlagener Versuch mit dem kleinen Modell plus eine Wiederholung mit dem großen kann mehr kosten, als direkt das große zu nutzen. Ein britisches Green-AI-Sandpit aus Mathematik, Informatik und Industrie im Jahr 2026 wies darauf als reales Risiko in agentischen Systemen hin. Messen Sie pro erfolgreich erledigter Aufgabe.
- Die Wahl den Nutzern überlassen. Bauen Sie das Routing ins System ein, nicht in ein Auswahlmenü, das die meisten ignorieren.
- Einrichten und vergessen. Protokollieren Sie Eskalationsraten und überprüfen Sie sie, wenn sich Modelle ändern.
Was macht den größten Unterschied?
Ein guter Evaluationsdatensatz. Ohne reale Beispiele und ein Bestehenskriterium können Sie weder den Schwellenwert abstimmen noch die Einsparung nachweisen. Wie Sie einen solchen Datensatz aufbauen, lesen Sie unter das richtige Modell wählen.
Quellen
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)
Verwandte Themen
Das richtige Modell für die Aufgabe wählen
KI richtig dimensionieren: wann kleine oder spezialisierte Modelle reichen, wann sich ein Frontier-Modell lohnt, wie Routing funktioniert und wann man auf KI verzichtet.
Orchestrierung statt Generierung
Warum die Wiederverwendung geprüfter Komponenten und das Routing zum kleinsten geeigneten Modell den Energieverbrauch von KI senken können und was die Belege bisher zeigen.
Wie wähle ich ein kleineres KI-Modell aus?
So finden Sie das kleinste KI-Modell, das Ihre Aufgabe gut erledigt: Qualitätsmaßstab festlegen, klein bis groß testen, Energiewerte prüfen, großes Modell als Reserve.
Wie verhindere ich, dass KI-Agenten Tokens verschwenden?
Praktische Leitplanken für KI-Agenten: Abbruchbedingungen, Schritt- und Token-Limits, Schleifenerkennung, gekürzter Kontext und kleine Modelle für einfache Schritte.