Kurz gesagt
Speichern Sie Trainings- und Feature-Daten in einem spaltenorientierten Format, damit Jobs nur die Spalten und Partitionen lesen, die sie nutzen, und wandeln Sie Rohtext einmal in ein Binärformat um, statt ihn bei jedem Lauf oder jeder Epoche neu zu parsen. Messen Sie einen typischen Job vorher und nachher, um zu prüfen, ob sich die Umwandlung lohnt. Der Umgang mit Daten wird neben dem Modell leicht übersehen, läuft aber bei jedem Experiment mit.
Schritte
- Finden Sie die Pipelines, die Textdateien wie CSV oder JSON bei jedem Lauf vollständig lesen.
- Wandeln Sie sie einmal in ein spaltenorientiertes oder binäres Format um.
- Partitionieren Sie Daten nach Feldern, nach denen Sie filtern, etwa Datum oder Quelle.
- Verarbeiten und tokenisieren Sie einmal vor und verwenden Sie das Ergebnis über Läufe und Epochen hinweg wieder.
- Entfernen Sie doppelte und ungenutzte Daten vor dem Training.
- Messen Sie Laufzeit und Energie eines typischen Jobs vor und nach der Änderung.
Sorgen Sie dafür, dass jeder Job nur liest, was er nutzt, und es nur einmal parst. Trainingsdaten liegen oft in Textdateien, die jedes Mal vollständig gelesen und geparst werden, auch wenn das Modell nur eine Handvoll Spalten braucht.
Warum ist das wichtig?
Daten zu lesen und zu parsen kostet bei jedem Lauf, jeder Epoche und jedem Experiment CPU-Zeit, Arbeitsspeicher und Speicherverkehr. In Forschung und Entwicklung, wo derselbe Datensatz hunderte Male verarbeitet wird, summiert sich das. Das Pattern der Green Software Foundation zu Datenspeicherformaten für KI empfiehlt spaltenorientierte Formate, damit Jobs nur die benötigten Spalten und Partitionen lesen, und Daten einmal in ein Binärformat umzuwandeln, statt Text immer wieder neu zu parsen.
Was sollte ich ändern?
- Spaltenorientierte Formate wie Parquet speichern jede Spalte getrennt. Ein Job, der fünf von fünfzig Spalten nutzt, liest so ungefähr ein Zehntel der Daten.
- Partitionierung nach Datum, Quelle oder Label lässt einen Job ganze Dateien überspringen, die er nicht braucht.
- Vortokenisierte Datensätze ersparen es, in jeder Epoche dieselbe Textverarbeitung zu wiederholen.
- Deduplizierung verkleinert den Datensatz und damit auch den Trainingslauf.
Häufige Fehler
- Daten umwandeln, die nur einmal gelesen werden. Auch die Umwandlung kostet etwas; sie lohnt sich bei Daten, die wiederholt gelesen werden.
- Jede Zwischenkopie behalten. Alte vorverarbeitete Versionen füllen Speicher, der seinen eigenen Fußabdruck hat.
- Nicht messen. Umschließen Sie einen typischen Job vorher und nachher mit einem Tracker wie CodeCarbon oder messen Sie zumindest die Laufzeit.
Für Einsparungen auf der Modellseite siehe den Energieverbrauch beim Training eines Modells senken.
Quellen
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
Verwandte Themen
Wie senke ich den Energieverbrauch beim Training eines Modells?
Die wichtigsten Hebel gegen Trainingsenergie: vortrainiert starten, Größe anpassen, gemischte Genauigkeit, früh stoppen, saubere Orte und Zeiten, messen.
Wie mache ich Vektorsuche und RAG effizienter?
So senken Sie den Rechenaufwand von Retrieval-Augmented Generation: approximative Indizes, weniger und kürzere Passagen, inkrementelle Indizierung, kleinere Modelle.
Effizientes KI-Training und effiziente Inferenz
Techniken, mit denen Entwickler und Forschende KI-Energie sparen: Pruning, Sparsity, Quantisierung, Destillation, KV-Cache, Batching, Mixed Precision, Scheduling.
Wie messe ich den Energieverbrauch von KI auf meinem eigenen Computer oder meiner GPU?
Lokalen KI-Energieverbrauch messen: mit Hardwarezählern, GPU-Telemetrie oder Steckdosen-Messgerät, über den ganzen Job, abzüglich des Leerlaufwerts.