Kurz gesagt
Ersetzen Sie große Rastersuchen durch zufällige oder adaptive Suche, brechen Sie schwache Versuche früh ab, machen Sie zuerst Pilotläufe mit wenigen Daten oder kleinen Modellen und starten Sie mit veröffentlichten Standardwerten für Ihre Architektur. Erfassen Sie die Energie jedes Versuchs, nicht nur des besten, und legen Sie vor dem Start ein Rechenbudget fest. Tuning-Läufe kosten oft mehr als der finale Trainingslauf und werden selten berichtet.
Schritte
- Legen Sie vor Beginn ein Rechenbudget für die Suche fest.
- Starten Sie mit veröffentlichten Standard-Hyperparametern für Ihre Modellfamilie.
- Nutzen Sie zufällige oder adaptive Suche statt eines vollständigen Rasters.
- Brechen Sie Versuche früh ab, wenn sie deutlich schlechter sind als der bisher beste.
- Machen Sie Pilotläufe mit einer Teilmenge der Daten oder einem kleineren Modell, bevor Sie hochskalieren.
- Erfassen Sie Energie und Emissionen jedes Versuchs zusammen mit der Genauigkeit.
Klüger tunen, nicht breiter. Ein vollständiges Raster über viele Hyperparameter vervielfacht die Trainingskosten mit der Zahl der Kombinationen, und die meisten dieser Läufe sind schon früh deutlich schlechter.
Warum ist das wichtig?
Die Studie von Strubell, Ganesh und McCallum aus dem Jahr 2019 bezifferte die Kosten der Entwicklung von Sprachmodellen einschließlich der Experimente drumherum, nicht nur eines einzelnen finalen Trainingslaufs. Schwartz und Kollegen argumentierten in „Green AI“, dass Forschende die Rechenkosten ihrer Ergebnisse angeben sollten, einschließlich der Experimente, die nötig waren, um sie zu erreichen, damit Effizienz neben Genauigkeit zählt.
Was bringt am meisten?
- Frühes Abbrechen schwacher Versuche. Verfahren nach dem Prinzip des Successive Halving geben jedem Versuch ein kleines Budget und setzen nur die vielversprechenden fort. Die meisten Tuning-Bibliotheken unterstützen das.
- Zufällige oder adaptive Suche. Statt jede Kombination auszuführen, ziehen Sie Einstellungen zufällig oder lassen ein adaptives Verfahren anhand früherer Ergebnisse den nächsten Versuch wählen.
- Kleine Pilotläufe. Schließen Sie Ideen mit einer Teilmenge der Daten oder einem kleineren Modell aus.
- Zuerst die Standardwerte. Gut getestete Standardwerte für gängige Architekturen liegen oft nahe am Optimum.
- Jeden Versuch erfassen. Die Dokumentation von CodeCarbon zeigt, wie Sie jede Konfiguration erfassen und Genauigkeit mit Emissionen vergleichen.
Häufige Fehler
- Nur den besten Lauf berichten. Nehmen Sie alle Versuche in Ihren gesamten Rechenaufwand auf; siehe den Energieverbrauch Ihrer Forschung berichten.
- Vom ersten Tag an mit dem vollständigen Datensatz tunen.
- Kein Budget. Ohne Budget wachsen Suchen, bis sie den ganzen Cluster füllen. Siehe ein Rechenbudget festlegen.
Mehr dazu im Leitfaden für Forschende.
Quellen
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
Verwandte Themen
Wie lege ich ein Rechenbudget für ein Forschungsprojekt fest?
Ein Rechenbudget für KI-Forschung festlegen und verfolgen: GPU-Stunden schätzen, klein erproben, schwache Läufe früh stoppen, Modelle wiederverwenden.
Wie senke ich den Energieverbrauch beim Training eines Modells?
Die wichtigsten Hebel gegen Trainingsenergie: vortrainiert starten, Größe anpassen, gemischte Genauigkeit, früh stoppen, saubere Orte und Zeiten, messen.
Wie berichte ich den Energieverbrauch meiner KI-Forschung?
Was zu Rechenaufwand und Energie in eine Veröffentlichung gehört: Hardware, GPU-Stunden aller Läufe, Energie, Standort, CO2, Inferenzkosten und Systemgrenze.
Grüne KI für Forschende
Ein Leitfaden für Forschende zu effizienten KI-Methoden, Energieangaben in Papers, Rechenbudgets, Förderung und dazu, wo Mathematik helfen kann.