greenai.guide

Startseite › Wie kann ich …? › Wie lege ich ein Rechenbudget für ein Forschungsprojekt fest?

Wie kann ich …?

Wie lege ich ein Rechenbudget für ein Forschungsprojekt fest?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Schätzen Sie die GPU-Stunden, die Ihre Hauptexperimente brauchen, rechnen Sie einen Puffer für Exploration hinzu, und verfolgen Sie den Verbrauch gegen dieses Budget wie bei Geld. Erproben Sie Ideen in kleinem Maßstab, stoppen Sie schwache Läufe früh, verwenden Sie vortrainierte Modelle und Checkpoints wieder, und geben Sie Ergebnisse im Verhältnis zum dafür nötigen Rechenaufwand an. Ein Budget macht Abwägungen sichtbar und beendet endloses Abstimmen.

Schritte

  1. Schätzen Sie die GPU-Stunden für die Hauptexperimente und rechnen Sie einen ausdrücklich genannten Puffer für Exploration hinzu.
  2. Führen Sie Pilotversuche in kleinem Maßstab durch, um Ideen auszuschließen, bevor Sie hochskalieren.
  3. Verfolgen Sie GPU-Stunden und Energie pro Experiment gegen das Budget.
  4. Stoppen Sie schwache Läufe früh, statt große Rastersuchen durchzuführen.
  5. Verwenden Sie vortrainierte Modelle und Checkpoints wieder, wo sie passen.
  6. Geben Sie Ergebnisse im Verhältnis zum Rechenaufwand an, etwa Genauigkeit pro kWh.

Legen Sie im Voraus fest, wie viel Rechenleistung das Projekt nutzen darf, und verfolgen Sie sie. Ohne Budget fühlen sich zusätzliche Läufe kostenlos an, und die Energie für einen kleinen Genauigkeitsgewinn wird nie dagegen abgewogen.

Wie schätze ich das Budget?

Gehen Sie von den Experimenten in Ihrem Plan aus: Modellgröße, Datenmenge und Anzahl der Läufe ergeben ungefähre GPU-Stunden. Der Rechner Green Algorithms von Lannelongue, Grealey und Inouye macht aus Hardware, Laufzeit, Arbeitsspeicher und Standort eine Schätzung von Energie und CO₂, die Ihnen zeigt, was das Budget bedeutet. Rechnen Sie einen ausdrücklichen Puffer für Exploration hinzu, statt ihn offen zu lassen.

Was hält ein Projekt im Budget?

  • Zuerst kleine Pilotversuche. Schließen Sie Ideen mit kleinen Modellen und Teildatensätzen aus.
  • Effiziente Suchen. Stoppen Sie schwache Läufe früh; siehe die Energie von Hyperparametersuchen senken.
  • Wiederverwendung. Beginnen Sie mit vortrainierten Modellen und gespeicherten Checkpoints; siehe Training von Grund auf vermeiden.
  • Wählen Sie, wo und worauf Sie rechnen. Patterson und Kollegen stellten fest, dass die Wahl von Modell, Rechenzentrum und Prozessor den CO₂-Fußabdruck des Trainings um bis zu etwa das 100- bis 1.000-Fache senken kann.

Häufige Fehler

  • Nur die finalen Läufe einplanen. Exploration macht meist den größten Teil des Rechenaufwands aus.
  • Keine Checkpoints, sodass ein Fehler bedeutet, neu anzufangen.
  • Nur die beste Genauigkeit angeben, was belohnt, mehr auszugeben.

Die GREENER-Prinzipien von Lannelongue und Kollegen bieten einen Rahmen für Gruppen und Einrichtungen. Siehe den Leitfaden für Forschende.

Quellen

  1. GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
  2. Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
  3. Carbon emissions and large neural network training, Patterson et al. (2021)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz