# Wie speichere ich KI-Trainingsdaten so, dass Pipelines weniger lesen müssen?

> Wie spaltenorientierte und binäre Formate, Partitionierung und einmalige Vorverarbeitung die Energie senken, die KI-Pipelines für das Lesen von Trainingsdaten brauchen.

Source: https://greenai.guide/de/wie/wie-speichere-ich-ki-trainingsdaten-so-dass-pipelines-weniger-lesen/  
Updated: 2026-11-19

## Kurz gesagt

Speichern Sie Trainings- und Feature-Daten in einem spaltenorientierten Format, damit Jobs nur die Spalten und Partitionen lesen, die sie nutzen, und wandeln Sie Rohtext einmal in ein Binärformat um, statt ihn bei jedem Lauf oder jeder Epoche neu zu parsen. Messen Sie einen typischen Job vorher und nachher, um zu prüfen, ob sich die Umwandlung lohnt. Der Umgang mit Daten wird neben dem Modell leicht übersehen, läuft aber bei jedem Experiment mit.

## Steps

1. Finden Sie die Pipelines, die Textdateien wie CSV oder JSON bei jedem Lauf vollständig lesen.
2. Wandeln Sie sie einmal in ein spaltenorientiertes oder binäres Format um.
3. Partitionieren Sie Daten nach Feldern, nach denen Sie filtern, etwa Datum oder Quelle.
4. Verarbeiten und tokenisieren Sie einmal vor und verwenden Sie das Ergebnis über Läufe und Epochen hinweg wieder.
5. Entfernen Sie doppelte und ungenutzte Daten vor dem Training.
6. Messen Sie Laufzeit und Energie eines typischen Jobs vor und nach der Änderung.

**Sorgen Sie dafür, dass jeder Job nur liest, was er nutzt, und es nur einmal parst.** Trainingsdaten liegen oft in
Textdateien, die jedes Mal vollständig gelesen und geparst werden, auch wenn das Modell nur eine Handvoll Spalten
braucht.

## Warum ist das wichtig? {#why-does-it-matter}

Daten zu lesen und zu parsen kostet bei jedem Lauf, jeder Epoche und jedem Experiment CPU-Zeit, Arbeitsspeicher und
Speicherverkehr. In Forschung und Entwicklung, wo derselbe Datensatz hunderte Male verarbeitet wird, summiert sich
das. Das Pattern der Green Software Foundation zu Datenspeicherformaten für KI empfiehlt spaltenorientierte Formate,
damit Jobs nur die benötigten Spalten und Partitionen lesen, und Daten einmal in ein Binärformat umzuwandeln, statt
Text immer wieder neu zu parsen.

## Was sollte ich ändern? {#what-should-i-change}

- **Spaltenorientierte Formate** wie Parquet speichern jede Spalte getrennt. Ein Job, der fünf von fünfzig Spalten
  nutzt, liest so ungefähr ein Zehntel der Daten.
- **Partitionierung** nach Datum, Quelle oder Label lässt einen Job ganze Dateien überspringen, die er nicht braucht.
- **Vortokenisierte Datensätze** ersparen es, in jeder Epoche dieselbe Textverarbeitung zu wiederholen.
- **Deduplizierung** verkleinert den Datensatz und damit auch den Trainingslauf.

## Häufige Fehler {#common-mistakes}

- **Daten umwandeln, die nur einmal gelesen werden.** Auch die Umwandlung kostet etwas; sie lohnt sich bei Daten, die
  wiederholt gelesen werden.
- **Jede Zwischenkopie behalten.** Alte vorverarbeitete Versionen füllen Speicher, der seinen eigenen Fußabdruck hat.
- **Nicht messen.** Umschließen Sie einen typischen Job vorher und nachher mit einem Tracker wie CodeCarbon oder
  messen Sie zumindest die Laufzeit.

Für Einsparungen auf der Modellseite siehe
[den Energieverbrauch beim Training eines Modells senken](/de/wie/wie-senke-ich-den-energieverbrauch-beim-training-eines-modells/).

## Quellen

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
