greenai.guide

Startseite › Wie kann ich …? › Wie senke ich den Energieverbrauch beim Training eines Modells?

Wie kann ich …?

Wie senke ich den Energieverbrauch beim Training eines Modells?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Beginnen Sie, wo möglich, mit einem vortrainierten Modell, wählen Sie die kleinste Architektur, die Ihre Anforderung erfüllen könnte, trainieren Sie mit gemischter Genauigkeit (Mixed Precision), hören Sie auf, wenn sich die Validierung nicht mehr verbessert, und nutzen Sie effiziente Hardware in einer CO₂-armen Region zu einer CO₂-armen Zeit. Patterson und Kollegen stellten fest, dass die Wahl von Modell, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann. Messen Sie jeden Lauf, damit die Abwägungen sichtbar werden.

Schritte

  1. Prüfen Sie, ob sich ein vortrainiertes Modell feintunen lässt, statt von Grund auf zu trainieren.
  2. Erproben Sie Ideen in kleinem Maßstab, bevor Sie einen vollständigen Lauf starten.
  3. Trainieren Sie mit gemischter Genauigkeit und stoppen Sie früh, wenn sich die Validierung nicht mehr verbessert.
  4. Nutzen Sie effiziente Beschleuniger in einer CO₂-armen Region, und legen Sie flexible Läufe in sauberere Stunden.
  5. Speichern Sie Checkpoints, damit Läufe pausieren, fortgesetzt werden und nicht von vorn beginnen müssen.
  6. Erfassen Sie Energie und Emissionen für jeden Lauf, auch für fehlgeschlagene.

Die Trainingsenergie wird überwiegend durch Entscheidungen bestimmt, die vor dem Start des Laufs fallen. Was Sie trainieren, worauf, wo und wann, zählt mehr als jede Feinjustierung während des Laufs.

Warum ist das wichtig?

Das Paper von Strubell, Ganesh und McCallum aus dem Jahr 2019 bezifferte die finanziellen und ökologischen Kosten des Trainings von Sprachmodellen und schlug Wege vor, sie zu senken. Patterson und Kollegen stellten später fest, dass die Wahl von Modellarchitektur, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann.

Was macht den größten Unterschied?

  1. Nicht von Grund auf trainieren. Ein vortrainiertes Modell oder einen Adapter darauf feinzutunen, kostet meist nur einen winzigen Bruchteil des Pre-Trainings. Siehe wie Sie Training von Grund auf vermeiden.
  2. Passende Größe. Eine kleinere Architektur, die die Anforderung erfüllt, ist besser als eine große, die sie übertrifft.
  3. Gemischte Genauigkeit. Training in halber Genauigkeit mit einer Masterkopie in voller Genauigkeit hat in der Arbeit von Micikevicius und Kollegen den Speicherbedarf nahezu halbiert, sodass größere Batches auf dieselbe Hardware passten.
  4. Frühes Stoppen. Beenden Sie Läufe, wenn der Validierungsverlust stagniert.
  5. Wo und wann. Wählen Sie effiziente Beschleuniger und eine CO₂-arme Region, und führen Sie flexible Jobs aus, wenn das Netz sauberer ist: siehe wie Sie Training zeitlich planen.

Häufige Fehler

  • Nur den finalen Lauf zählen. Abstimmung und fehlgeschlagene Läufe kosten oft mehr; siehe wie Sie die Energie von Hyperparametersuchen senken.
  • Keine Checkpoints, sodass eine Unterbrechung bedeutet, von vorn anzufangen.
  • Keine Messung. Bauen Sie einen Tracker wie CodeCarbon in das Trainingsskript ein.

Den vollständigen Werkzeugkasten finden Sie unter effizientes Training und effiziente Inferenz.

Quellen

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz