# Wie destilliere ich ein großes Modell in ein kleineres?

> So funktioniert Wissensdestillation: Ein großes Lehrer-Modell trainiert ein kleines Schüler-Modell für Ihre Aufgabe; testen Sie es und behalten Sie ein Fallback.

Source: https://greenai.guide/de/wie/wie-destilliere-ich-ein-grosses-modell-in-ein-kleineres/  
Updated: 2026-11-19

## Kurz gesagt

Prüfen Sie zuerst, ob es bereits eine destillierte Version Ihres Modells gibt. Falls nicht, nutzen Sie das große „Lehrer“-Modell, um Beispiele für Ihre Aufgabe zu labeln oder zu erzeugen, trainieren Sie damit ein kleines „Schüler“-Modell und testen Sie den Schüler an Ihren eigenen realen Fällen. DistilBERT, ein frühes Beispiel, war 40 % kleiner und 60 % schneller als BERT und behielt dabei 97 % seines Sprachverständnisses.

## Steps

1. Suchen Sie nach einer bestehenden destillierten oder kleineren Version des Modells für Ihre Aufgabe.
2. Sammeln Sie eine Reihe realer Eingaben aus Ihrer Aufgabe.
3. Lassen Sie das große Modell dafür Labels oder Ausgaben erzeugen und prüfen Sie eine Stichprobe von Hand.
4. Trainieren Sie mit diesen Daten ein kleines Schüler-Modell.
5. Testen Sie den Schüler gegen Ihre Qualitätsanforderungen und leiten Sie unsichere Fälle an das große Modell weiter.

**Destillation überträgt, was ein großes Modell über Ihre Aufgabe weiß, in ein kleines Modell, das sich günstig
betreiben lässt.** Sie zahlen einmal für das Training des Schülers und sparen dann bei jeder Anfrage.

## Warum ist das wichtig? {#why-does-it-matter}

Ein großes Allzweckmodell, das für eine einzige eng umrissene Aufgabe eingesetzt wird, etwa um Tickets zu
klassifizieren oder Felder auszulesen, bezahlt für Wissen, das diese Aufgabe nie nutzt. Luccioni, Jernite und Strubell
fanden, dass aufgabenspezifische Systeme für dieselben Aufgaben um Größenordnungen günstiger zu betreiben sind als
generative Mehrzweckmodelle. Die Green Software Foundation führt Destillation unter ihren Patterns für passend
dimensionierte, energieeffiziente KI-Modelle.

## Wie funktioniert das? {#how-does-it-work}

Der **Lehrer** ist das große Modell, der **Schüler** ein kleines. Bei der klassischen Methode lernt der Schüler, die
Ausgabewahrscheinlichkeiten des Lehrers nachzubilden, nicht nur dessen endgültige Antworten. Das liefert mehr
Information pro Beispiel. Sanh und Kollegen erzeugten so mit DistilBERT ein Modell, das 40 % kleiner und 60 % schneller
als BERT war und 97 % seiner Fähigkeit zum Sprachverständnis behielt.

Bei generativen Modellen ist ein gängiger praktischer Weg einfacher: Lassen Sie den Lehrer Antworten auf Ihre realen
Eingaben erzeugen, prüfen Sie eine Stichprobe und führen Sie damit ein Fine-Tuning eines kleinen Modells durch.

## Häufige Fehler {#common-mistakes}

- **Destillieren, obwohl es schon ein kleines Modell gibt.** Suchen Sie zuerst: siehe
  [wie Sie ein aufgabenspezifisches Modell finden](/de/wie/wie-finde-ich-ein-aufgabenspezifisches-modell-statt-eines-allgemeinen/).
- **Den Ausgaben des Lehrers blind vertrauen.** Fehler des Lehrers werden zu Fehlern des Schülers.
- **Kein Fallback.** Behalten Sie das große Modell für Fälle, bei denen der Schüler unsicher ist, mithilfe von
  [Model Routing](/de/wie/wie-leite-ich-anfragen-an-kleinere-modelle-weiter/).
- **Die Lizenz ignorieren.** Manche Modellbedingungen schränken ein, Ausgaben zum Training anderer Modelle zu nutzen.

Mehr dazu unter [effizientes Training und effiziente Inferenz](/de/gute-praxis/effizientes-ki-training-und-effiziente-inferenz/).

## Quellen

- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT (2024)
