Kurz gesagt
Gehen Sie von einem vortrainierten Modell aus und trainieren Sie statt aller Gewichte einen kleinen Adapter, mit LoRA oder mit QLoRA bei 4-Bit-Gewichten. LoRA reduzierte die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicher um das Dreifache gegenüber einem vollständigen Fine-Tuning von GPT-3, und mit QLoRA wurde ein Modell mit 65 Milliarden Parametern auf einer einzigen GPU mit 48 GB feinabgestimmt. Vergleichen Sie das Ergebnis mit Ihren Qualitätsanforderungen, bevor Sie etwas Größeres in Betracht ziehen.
Schritte
- Prüfen Sie, ob Prompting oder Retrieval Ihren Bedarf bereits deckt, bevor Sie überhaupt ein Fine-Tuning durchführen.
- Wählen Sie das kleinste vortrainierte Modell, das bei Ihrer Aufgabe nahe herankommt.
- Trainieren Sie einen LoRA-Adapter, oder QLoRA, wenn der Speicher knapp ist.
- Nutzen Sie einen kleinen, sauberen, aufgabenspezifischen Datensatz und brechen Sie früh ab, wenn sich die Validierung nicht mehr verbessert.
- Erfassen Sie den Energieverbrauch mit einem Emissions-Tracker und dokumentieren Sie ihn zusammen mit den Ergebnissen.
Passen Sie einen kleinen Teil eines vortrainierten Modells an, statt alles neu zu trainieren. Parametereffizientes Fine-Tuning bringt den größten Teil des Nutzens eines vollständigen Fine-Tunings für einen kleinen Bruchteil der Rechenleistung.
Warum ist das wichtig?
Ein vollständiges Fine-Tuning aktualisiert jedes Gewicht. Das erfordert große GPU-Cluster und lange Läufe. Hu und Kollegen zeigten, dass LoRA (Low-Rank Adaptation), das kleine zusätzliche Matrizen neben eingefrorenen Gewichten trainiert, die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicher um das Dreifache gegenüber einem Fine-Tuning von GPT-3 175B reduzieren konnte. QLoRA von Dettmers und Kollegen kombiniert das mit 4-Bit-Gewichten und stimmte ein Modell mit 65 Milliarden Parametern auf einer einzigen GPU mit 48 GB fein ab.
Wie gehe ich vor?
- Den Bedarf hinterfragen. Fine-Tuning vermittelt Fähigkeiten und Stil; um sich ändernde Fakten hinzuzufügen, ist es ein schlechter Weg. Siehe Retrieval oder Fine-Tuning.
- Klein anfangen. Ein kleines Modell, das auf Ihre Aufgabe feinabgestimmt ist, kann bei dieser Aufgabe mit einem viel größeren Allzweckmodell mithalten.
- Eine Adapter-Bibliothek nutzen. Verbreitete Open-Source-Bibliotheken unterstützen LoRA und QLoRA mit wenigen Zeilen Konfiguration.
- Daten knapp halten. Weniger, sauberere Beispiele trainieren schneller. Entfernen Sie Duplikate.
- Messen. Umschließen Sie den Lauf mit einem Tracker wie CodeCarbon und dokumentieren Sie den Energieverbrauch neben der Genauigkeit.
Häufige Fehler
- Das größte verfügbare Modell feinabstimmen, bevor Sie ein kleineres getestet haben.
- Lange Läufe ohne Early Stopping, die weiter Energie verbrauchen, nachdem die Qualität sich eingependelt hat.
- Bei jeder Datenaktualisierung neu trainieren, statt einen Retrieval-Index zu aktualisieren.
Weitere Trainingstechniken finden Sie unter effizientes Training und effiziente Inferenz.
Quellen
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
Verwandte Themen
Wie vermeide ich es, ein KI-Modell von Grund auf zu trainieren?
Bestehende Modelle wiederverwenden statt selbst vorzutrainieren: Fine-Tuning, Anpassung mit LoRA, Zusammenführen feinjustierter Modelle oder Retrieval.
Soll ich Retrieval oder Fine-Tuning nutzen, um Energie zu sparen?
Wann Retrieval (RAG) und wann Fine-Tuning: Retrieval für sich ändernde Fakten, Fine-Tuning für Fähigkeiten und Stil, und warum Verwechseln Energie kostet.
Wie messe ich den CO₂-Fußabdruck beim Training eines Modells?
Erfassen Sie die Energie eines Trainingslaufs mit CodeCarbon, multiplizieren Sie mit der CO₂-Intensität des Netzes und geben Sie Hardware, Zeit und Ort an.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.