greenai.guide

Startseite › Wie kann ich …? › Wie destilliere ich ein großes Modell in ein kleineres?

Wie kann ich …?

Wie destilliere ich ein großes Modell in ein kleineres?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Prüfen Sie zuerst, ob es bereits eine destillierte Version Ihres Modells gibt. Falls nicht, nutzen Sie das große „Lehrer“-Modell, um Beispiele für Ihre Aufgabe zu labeln oder zu erzeugen, trainieren Sie damit ein kleines „Schüler“-Modell und testen Sie den Schüler an Ihren eigenen realen Fällen. DistilBERT, ein frühes Beispiel, war 40 % kleiner und 60 % schneller als BERT und behielt dabei 97 % seines Sprachverständnisses.

Schritte

  1. Suchen Sie nach einer bestehenden destillierten oder kleineren Version des Modells für Ihre Aufgabe.
  2. Sammeln Sie eine Reihe realer Eingaben aus Ihrer Aufgabe.
  3. Lassen Sie das große Modell dafür Labels oder Ausgaben erzeugen und prüfen Sie eine Stichprobe von Hand.
  4. Trainieren Sie mit diesen Daten ein kleines Schüler-Modell.
  5. Testen Sie den Schüler gegen Ihre Qualitätsanforderungen und leiten Sie unsichere Fälle an das große Modell weiter.

Destillation überträgt, was ein großes Modell über Ihre Aufgabe weiß, in ein kleines Modell, das sich günstig betreiben lässt. Sie zahlen einmal für das Training des Schülers und sparen dann bei jeder Anfrage.

Warum ist das wichtig?

Ein großes Allzweckmodell, das für eine einzige eng umrissene Aufgabe eingesetzt wird, etwa um Tickets zu klassifizieren oder Felder auszulesen, bezahlt für Wissen, das diese Aufgabe nie nutzt. Luccioni, Jernite und Strubell fanden, dass aufgabenspezifische Systeme für dieselben Aufgaben um Größenordnungen günstiger zu betreiben sind als generative Mehrzweckmodelle. Die Green Software Foundation führt Destillation unter ihren Patterns für passend dimensionierte, energieeffiziente KI-Modelle.

Wie funktioniert das?

Der Lehrer ist das große Modell, der Schüler ein kleines. Bei der klassischen Methode lernt der Schüler, die Ausgabewahrscheinlichkeiten des Lehrers nachzubilden, nicht nur dessen endgültige Antworten. Das liefert mehr Information pro Beispiel. Sanh und Kollegen erzeugten so mit DistilBERT ein Modell, das 40 % kleiner und 60 % schneller als BERT war und 97 % seiner Fähigkeit zum Sprachverständnis behielt.

Bei generativen Modellen ist ein gängiger praktischer Weg einfacher: Lassen Sie den Lehrer Antworten auf Ihre realen Eingaben erzeugen, prüfen Sie eine Stichprobe und führen Sie damit ein Fine-Tuning eines kleinen Modells durch.

Häufige Fehler

  • Destillieren, obwohl es schon ein kleines Modell gibt. Suchen Sie zuerst: siehe wie Sie ein aufgabenspezifisches Modell finden.
  • Den Ausgaben des Lehrers blind vertrauen. Fehler des Lehrers werden zu Fehlern des Schülers.
  • Kein Fallback. Behalten Sie das große Modell für Fälle, bei denen der Schüler unsicher ist, mithilfe von Model Routing.
  • Die Lizenz ignorieren. Manche Modellbedingungen schränken ein, Ausgaben zum Training anderer Modelle zu nutzen.

Mehr dazu unter effizientes Training und effiziente Inferenz.

Quellen

  1. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  2. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  3. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz