Kurz gesagt
Suchen Sie ein vortrainiertes Modell, das Ihrer Aufgabe nahekommt, und passen Sie es an: per Fine-Tuning, mit einem kleinen Adapter wie LoRA oder indem Sie Wissen über Retrieval ergänzen, statt neu zu trainieren. Haben Sie bereits mehrere Modelle, die von derselben Basis aus feinjustiert wurden, kann das Mitteln ihrer Gewichte die Genauigkeit verbessern, ohne zusätzliche Inferenzkosten. Außerhalb der Forschung an Foundation-Modellen ist Training von Grund auf selten nötig.
Schritte
- Durchsuchen Sie öffentliche Modell-Hubs nach vortrainierten Modellen für Ihr Fachgebiet und Ihre Sprache.
- Testen Sie die naheliegendsten Kandidaten an Ihrer Aufgabe, bevor Sie entscheiden, dass etwas fehlt.
- Führen Sie ein Fine-Tuning durch oder trainieren Sie einen LoRA-Adapter mit Ihren eigenen Daten.
- Nutzen Sie Retrieval für Wissen, das sich ändert, statt neu zu trainieren.
- Verwenden Sie Modelle, die von derselben Basis aus feinjustiert wurden, wieder und führen Sie sie zusammen, sofern vorhanden.
- Veröffentlichen Sie Ihr feinjustiertes Modell und seine Trainingsemissionen, damit andere es wiederverwenden können.
Zuerst wiederverwenden. Fast immer hat schon jemand ein Modell trainiert, das Ihrem Bedarf nahekommt, und es anzupassen kostet nur einen kleinen Bruchteil eines eigenen Trainings.
Warum ist das wichtig?
Das Vortraining ist die energieintensivste Phase im Leben eines Modells. Die Patterns der Green Software Foundation empfehlen, vortrainierte Modelle und Transfer Learning zu nutzen, statt von Grund auf zu trainieren. Ein britisches Green-AI-Sandpit aus Mathematik, Informatik und Industrie im Jahr 2026 stellte zudem fest, dass viel nützliche Arbeit in wenig bekannten Repositorys liegt. Eine sorgfältige Suche ist daher der erste Schritt jedes Projekts.
Welche Möglichkeiten gibt es?
- Fine-Tuning eines vortrainierten Modells mit Ihren Daten. Mit LoRA verringerten Hu und Kollegen die Zahl der trainierbaren Parameter um das 10.000-Fache gegenüber einem vollständigen Fine-Tuning von GPT-3 175B. Siehe Fine-Tuning ohne riesige Rechenleistung.
- Retrieval für Wissen, das sich ändert: siehe Retrieval oder Fine-Tuning.
- Zusammenführen von Modellen (Model Merging). Wortsman und Kollegen zeigten, dass das Mitteln der Gewichte mehrerer Modelle, die von derselben Basis aus feinjustiert wurden, eine „Model Soup“, die Genauigkeit verbessern kann, ohne die Inferenzzeit zu erhöhen.
- Destillation in ein kleines Spezialmodell: siehe ein Modell destillieren.
Häufige Fehler
- Annehmen, Ihr Fachgebiet sei zu speziell. Testen Sie zuerst allgemeine und fachspezifische Modelle; sie kommen oft nah heran.
- Lizenzen ignorieren, die manche Wiederverwendung ausschließen können.
- Nichts zurückgeben. Wenn Sie Ihr feinjustiertes Modell veröffentlichen, mit den Trainingsemissionen in den Metadaten der Model Card, wie Hugging Face es unterstützt, müssen andere Ihre Arbeit nicht wiederholen.
Zur Forschungsperspektive lesen Sie Mathematik für effiziente KI.
Quellen
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)
Verwandte Themen
Wie mache ich ein Fine-Tuning ohne riesige Rechenleistung?
Wie Sie ein vortrainiertes Modell mit parametereffizientem Fine-Tuning wie LoRA und QLoRA anpassen, sodass es auf eine GPU passt und viel weniger Energie braucht.
Soll ich Retrieval oder Fine-Tuning nutzen, um Energie zu sparen?
Wann Retrieval (RAG) und wann Fine-Tuning: Retrieval für sich ändernde Fakten, Fine-Tuning für Fähigkeiten und Stil, und warum Verwechseln Energie kostet.
Wie senke ich den Energieverbrauch beim Training eines Modells?
Die wichtigsten Hebel gegen Trainingsenergie: vortrainiert starten, Größe anpassen, gemischte Genauigkeit, früh stoppen, saubere Orte und Zeiten, messen.
Die Mathematik, die KI effizienter macht
Pruning, Sparsity, Sketching, Zufallsmatrixtheorie und physikinformierte Modelle: wie Mathematik Rechenaufwand, Speicher und Energie von KI senkt.