Kurz gesagt
Schätzen Sie die GPU-Stunden, die Ihre Hauptexperimente brauchen, rechnen Sie einen Puffer für Exploration hinzu, und verfolgen Sie den Verbrauch gegen dieses Budget wie bei Geld. Erproben Sie Ideen in kleinem Maßstab, stoppen Sie schwache Läufe früh, verwenden Sie vortrainierte Modelle und Checkpoints wieder, und geben Sie Ergebnisse im Verhältnis zum dafür nötigen Rechenaufwand an. Ein Budget macht Abwägungen sichtbar und beendet endloses Abstimmen.
Schritte
- Schätzen Sie die GPU-Stunden für die Hauptexperimente und rechnen Sie einen ausdrücklich genannten Puffer für Exploration hinzu.
- Führen Sie Pilotversuche in kleinem Maßstab durch, um Ideen auszuschließen, bevor Sie hochskalieren.
- Verfolgen Sie GPU-Stunden und Energie pro Experiment gegen das Budget.
- Stoppen Sie schwache Läufe früh, statt große Rastersuchen durchzuführen.
- Verwenden Sie vortrainierte Modelle und Checkpoints wieder, wo sie passen.
- Geben Sie Ergebnisse im Verhältnis zum Rechenaufwand an, etwa Genauigkeit pro kWh.
Legen Sie im Voraus fest, wie viel Rechenleistung das Projekt nutzen darf, und verfolgen Sie sie. Ohne Budget fühlen sich zusätzliche Läufe kostenlos an, und die Energie für einen kleinen Genauigkeitsgewinn wird nie dagegen abgewogen.
Wie schätze ich das Budget?
Gehen Sie von den Experimenten in Ihrem Plan aus: Modellgröße, Datenmenge und Anzahl der Läufe ergeben ungefähre GPU-Stunden. Der Rechner Green Algorithms von Lannelongue, Grealey und Inouye macht aus Hardware, Laufzeit, Arbeitsspeicher und Standort eine Schätzung von Energie und CO₂, die Ihnen zeigt, was das Budget bedeutet. Rechnen Sie einen ausdrücklichen Puffer für Exploration hinzu, statt ihn offen zu lassen.
Was hält ein Projekt im Budget?
- Zuerst kleine Pilotversuche. Schließen Sie Ideen mit kleinen Modellen und Teildatensätzen aus.
- Effiziente Suchen. Stoppen Sie schwache Läufe früh; siehe die Energie von Hyperparametersuchen senken.
- Wiederverwendung. Beginnen Sie mit vortrainierten Modellen und gespeicherten Checkpoints; siehe Training von Grund auf vermeiden.
- Wählen Sie, wo und worauf Sie rechnen. Patterson und Kollegen stellten fest, dass die Wahl von Modell, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann.
Häufige Fehler
- Nur die finalen Läufe einplanen. Exploration macht meist den größten Teil des Rechenaufwands aus.
- Keine Checkpoints, sodass ein Fehler bedeutet, neu anzufangen.
- Nur die beste Genauigkeit angeben, was belohnt, mehr auszugeben.
Die GREENER-Prinzipien von Lannelongue und Kollegen bieten einen Rahmen für Gruppen und Einrichtungen. Siehe den Leitfaden für Forschende.
Quellen
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
Verwandte Themen
Wie senke ich den Energieverbrauch von Hyperparameter-Suchen?
Modelle mit weniger Rechenaufwand tunen: klügere Suche statt vollständiger Raster, frühes Abbrechen schwacher Versuche, kleine Pilotläufe, gute Defaults, Budget.
Wie berichte ich den Energieverbrauch meiner KI-Forschung?
Was zu Rechenaufwand und Energie in eine Veröffentlichung gehört: Hardware, GPU-Stunden aller Läufe, Energie, Standort, CO2, Inferenzkosten und Systemgrenze.
Wie senke ich den Fußabdruck von KI-Experimenten auf einem Forschungscluster?
Energie von KI-Experimenten im HPC senken: Slurm-Energiedaten lesen, nur Nötiges anfordern, klein testen, Checkpoints setzen, flexible Jobs planen.
Grüne KI für Forschende
Ein Leitfaden für Forschende zu effizienten KI-Methoden, Energieangaben in Papers, Rechenbudgets, Förderung und dazu, wo Mathematik helfen kann.