greenai.guide

Startseite › Wie kann ich …? › Wie senke ich den Energieverbrauch von Hyperparameter-Suchen?

Wie kann ich …?

Wie senke ich den Energieverbrauch von Hyperparameter-Suchen?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Ersetzen Sie große Rastersuchen durch zufällige oder adaptive Suche, brechen Sie schwache Versuche früh ab, machen Sie zuerst Pilotläufe mit wenigen Daten oder kleinen Modellen und starten Sie mit veröffentlichten Standardwerten für Ihre Architektur. Erfassen Sie die Energie jedes Versuchs, nicht nur des besten, und legen Sie vor dem Start ein Rechenbudget fest. Tuning-Läufe kosten oft mehr als der finale Trainingslauf und werden selten berichtet.

Schritte

  1. Legen Sie vor Beginn ein Rechenbudget für die Suche fest.
  2. Starten Sie mit veröffentlichten Standard-Hyperparametern für Ihre Modellfamilie.
  3. Nutzen Sie zufällige oder adaptive Suche statt eines vollständigen Rasters.
  4. Brechen Sie Versuche früh ab, wenn sie deutlich schlechter sind als der bisher beste.
  5. Machen Sie Pilotläufe mit einer Teilmenge der Daten oder einem kleineren Modell, bevor Sie hochskalieren.
  6. Erfassen Sie Energie und Emissionen jedes Versuchs zusammen mit der Genauigkeit.

Klüger tunen, nicht breiter. Ein vollständiges Raster über viele Hyperparameter vervielfacht die Trainingskosten mit der Zahl der Kombinationen, und die meisten dieser Läufe sind schon früh deutlich schlechter.

Warum ist das wichtig?

Die Studie von Strubell, Ganesh und McCallum aus dem Jahr 2019 bezifferte die Kosten der Entwicklung von Sprachmodellen einschließlich der Experimente drumherum, nicht nur eines einzelnen finalen Trainingslaufs. Schwartz und Kollegen argumentierten in „Green AI“, dass Forschende die Rechenkosten ihrer Ergebnisse angeben sollten, einschließlich der Experimente, die nötig waren, um sie zu erreichen, damit Effizienz neben Genauigkeit zählt.

Was bringt am meisten?

  • Frühes Abbrechen schwacher Versuche. Verfahren nach dem Prinzip des Successive Halving geben jedem Versuch ein kleines Budget und setzen nur die vielversprechenden fort. Die meisten Tuning-Bibliotheken unterstützen das.
  • Zufällige oder adaptive Suche. Statt jede Kombination auszuführen, ziehen Sie Einstellungen zufällig oder lassen ein adaptives Verfahren anhand früherer Ergebnisse den nächsten Versuch wählen.
  • Kleine Pilotläufe. Schließen Sie Ideen mit einer Teilmenge der Daten oder einem kleineren Modell aus.
  • Zuerst die Standardwerte. Gut getestete Standardwerte für gängige Architekturen liegen oft nahe am Optimum.
  • Jeden Versuch erfassen. Die Dokumentation von CodeCarbon zeigt, wie Sie jede Konfiguration erfassen und Genauigkeit mit Emissionen vergleichen.

Häufige Fehler

Mehr dazu im Leitfaden für Forschende.

Quellen

  1. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  2. Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
  3. Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz