greenai.guide

Startseite › Wie kann ich …? › Wie mache ich ein Fine-Tuning ohne riesige Rechenleistung?

Wie kann ich …?

Wie mache ich ein Fine-Tuning ohne riesige Rechenleistung?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Gehen Sie von einem vortrainierten Modell aus und trainieren Sie statt aller Gewichte einen kleinen Adapter, mit LoRA oder mit QLoRA bei 4-Bit-Gewichten. LoRA reduzierte die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicher um das Dreifache gegenüber einem vollständigen Fine-Tuning von GPT-3, und mit QLoRA wurde ein Modell mit 65 Milliarden Parametern auf einer einzigen GPU mit 48 GB feinabgestimmt. Vergleichen Sie das Ergebnis mit Ihren Qualitätsanforderungen, bevor Sie etwas Größeres in Betracht ziehen.

Schritte

  1. Prüfen Sie, ob Prompting oder Retrieval Ihren Bedarf bereits deckt, bevor Sie überhaupt ein Fine-Tuning durchführen.
  2. Wählen Sie das kleinste vortrainierte Modell, das bei Ihrer Aufgabe nahe herankommt.
  3. Trainieren Sie einen LoRA-Adapter, oder QLoRA, wenn der Speicher knapp ist.
  4. Nutzen Sie einen kleinen, sauberen, aufgabenspezifischen Datensatz und brechen Sie früh ab, wenn sich die Validierung nicht mehr verbessert.
  5. Erfassen Sie den Energieverbrauch mit einem Emissions-Tracker und dokumentieren Sie ihn zusammen mit den Ergebnissen.

Passen Sie einen kleinen Teil eines vortrainierten Modells an, statt alles neu zu trainieren. Parametereffizientes Fine-Tuning bringt den größten Teil des Nutzens eines vollständigen Fine-Tunings für einen kleinen Bruchteil der Rechenleistung.

Warum ist das wichtig?

Ein vollständiges Fine-Tuning aktualisiert jedes Gewicht. Das erfordert große GPU-Cluster und lange Läufe. Hu und Kollegen zeigten, dass LoRA (Low-Rank Adaptation), das kleine zusätzliche Matrizen neben eingefrorenen Gewichten trainiert, die trainierbaren Parameter um das 10.000-Fache und den GPU-Speicher um das Dreifache gegenüber einem Fine-Tuning von GPT-3 175B reduzieren konnte. QLoRA von Dettmers und Kollegen kombiniert das mit 4-Bit-Gewichten und stimmte ein Modell mit 65 Milliarden Parametern auf einer einzigen GPU mit 48 GB fein ab.

Wie gehe ich vor?

  1. Den Bedarf hinterfragen. Fine-Tuning vermittelt Fähigkeiten und Stil; um sich ändernde Fakten hinzuzufügen, ist es ein schlechter Weg. Siehe Retrieval oder Fine-Tuning.
  2. Klein anfangen. Ein kleines Modell, das auf Ihre Aufgabe feinabgestimmt ist, kann bei dieser Aufgabe mit einem viel größeren Allzweckmodell mithalten.
  3. Eine Adapter-Bibliothek nutzen. Verbreitete Open-Source-Bibliotheken unterstützen LoRA und QLoRA mit wenigen Zeilen Konfiguration.
  4. Daten knapp halten. Weniger, sauberere Beispiele trainieren schneller. Entfernen Sie Duplikate.
  5. Messen. Umschließen Sie den Lauf mit einem Tracker wie CodeCarbon und dokumentieren Sie den Energieverbrauch neben der Genauigkeit.

Häufige Fehler

  • Das größte verfügbare Modell feinabstimmen, bevor Sie ein kleineres getestet haben.
  • Lange Läufe ohne Early Stopping, die weiter Energie verbrauchen, nachdem die Qualität sich eingependelt hat.
  • Bei jeder Datenaktualisierung neu trainieren, statt einen Retrieval-Index zu aktualisieren.

Weitere Trainingstechniken finden Sie unter effizientes Training und effiziente Inferenz.

Quellen

  1. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
  2. QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
  3. Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
  4. CodeCarbon, CodeCarbon (2026)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz