Kurz gesagt
Beginnen Sie, wo möglich, mit einem vortrainierten Modell, wählen Sie die kleinste Architektur, die Ihre Anforderung erfüllen könnte, trainieren Sie mit gemischter Genauigkeit (Mixed Precision), hören Sie auf, wenn sich die Validierung nicht mehr verbessert, und nutzen Sie effiziente Hardware in einer CO₂-armen Region zu einer CO₂-armen Zeit. Patterson und Kollegen stellten fest, dass die Wahl von Modell, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann. Messen Sie jeden Lauf, damit die Abwägungen sichtbar werden.
Schritte
- Prüfen Sie, ob sich ein vortrainiertes Modell feintunen lässt, statt von Grund auf zu trainieren.
- Erproben Sie Ideen in kleinem Maßstab, bevor Sie einen vollständigen Lauf starten.
- Trainieren Sie mit gemischter Genauigkeit und stoppen Sie früh, wenn sich die Validierung nicht mehr verbessert.
- Nutzen Sie effiziente Beschleuniger in einer CO₂-armen Region, und legen Sie flexible Läufe in sauberere Stunden.
- Speichern Sie Checkpoints, damit Läufe pausieren, fortgesetzt werden und nicht von vorn beginnen müssen.
- Erfassen Sie Energie und Emissionen für jeden Lauf, auch für fehlgeschlagene.
Die Trainingsenergie wird überwiegend durch Entscheidungen bestimmt, die vor dem Start des Laufs fallen. Was Sie trainieren, worauf, wo und wann, zählt mehr als jede Feinjustierung während des Laufs.
Warum ist das wichtig?
Das Paper von Strubell, Ganesh und McCallum aus dem Jahr 2019 bezifferte die finanziellen und ökologischen Kosten des Trainings von Sprachmodellen und schlug Wege vor, sie zu senken. Patterson und Kollegen stellten später fest, dass die Wahl von Modellarchitektur, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann.
Was macht den größten Unterschied?
- Nicht von Grund auf trainieren. Ein vortrainiertes Modell oder einen Adapter darauf feinzutunen, kostet meist nur einen winzigen Bruchteil des Pre-Trainings. Siehe wie Sie Training von Grund auf vermeiden.
- Passende Größe. Eine kleinere Architektur, die die Anforderung erfüllt, ist besser als eine große, die sie übertrifft.
- Gemischte Genauigkeit. Training in halber Genauigkeit mit einer Masterkopie in voller Genauigkeit hat in der Arbeit von Micikevicius und Kollegen den Speicherbedarf nahezu halbiert, sodass größere Batches auf dieselbe Hardware passten.
- Frühes Stoppen. Beenden Sie Läufe, wenn der Validierungsverlust stagniert.
- Wo und wann. Wählen Sie effiziente Beschleuniger und eine CO₂-arme Region, und führen Sie flexible Jobs aus, wenn das Netz sauberer ist: siehe wie Sie Training zeitlich planen.
Häufige Fehler
- Nur den finalen Lauf zählen. Abstimmung und fehlgeschlagene Läufe kosten oft mehr; siehe wie Sie die Energie von Hyperparametersuchen senken.
- Keine Checkpoints, sodass eine Unterbrechung bedeutet, von vorn anzufangen.
- Keine Messung. Bauen Sie einen Tracker wie CodeCarbon in das Trainingsskript ein.
Den vollständigen Werkzeugkasten finden Sie unter effizientes Training und effiziente Inferenz.
Quellen
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
Verwandte Themen
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.
Wie vermeide ich es, ein KI-Modell von Grund auf zu trainieren?
Bestehende Modelle wiederverwenden statt selbst vorzutrainieren: Fine-Tuning, Anpassung mit LoRA, Zusammenführen feinjustierter Modelle oder Retrieval.
Wie plane ich KI-Training für Zeiten, in denen der Strom sauberer ist?
Training und Batch-Jobs laufen lassen, wenn die CO₂-Intensität im Netz niedrig ist: Prognosen nutzen, Jobs per Checkpoint pausierbar machen, Fristen fest einhalten.
Wie messe ich den CO₂-Fußabdruck beim Training eines Modells?
Erfassen Sie die Energie eines Trainingslaufs mit CodeCarbon, multiplizieren Sie mit der CO₂-Intensität des Netzes und geben Sie Hardware, Zeit und Ort an.