# Hoe sla ik trainingsdata voor AI op zodat pipelines minder hoeven te lezen?

> Hoe kolomgebaseerde en binaire formaten, partitionering en eenmalige voorbewerking de energie verlagen die AI-pipelines besteden aan het lezen van trainingsdata.

Source: https://greenai.guide/nl/hoe/hoe-sla-ik-trainingsdata-voor-ai-op-zodat-pipelines-minder-hoeven-te/  
Updated: 2026-11-19

## In het kort

Sla trainings- en featuredata op in een kolomgebaseerd formaat, zodat taken alleen de kolommen en partities lezen die ze gebruiken, en zet ruwe tekst één keer om naar een binair formaat in plaats van die bij elke run of epoch opnieuw te parsen. Meet een typische taak vooraf en achteraf om te controleren of de omzetting zich terugbetaalt. Gegevensverwerking wordt naast het model gemakkelijk over het hoofd gezien, maar draait bij elk experiment mee.

## Steps

1. Zoek de pipelines die bij elke run tekstbestanden zoals CSV of JSON volledig inlezen.
2. Zet die één keer om naar een kolomgebaseerd of binair formaat.
3. Partitioneer gegevens op velden waarop u filtert, zoals datum of bron.
4. Bewerk en tokeniseer één keer vooraf en hergebruik het resultaat over runs en epochs heen.
5. Verwijder dubbele en ongebruikte gegevens vóór het trainen.
6. Meet de tijd en het verbruik van een typische taak vóór en na de wijziging.

**Laat elke taak alleen lezen wat ze gebruikt, en parse het maar één keer.** Trainingsdata staat vaak in
tekstbestanden die elke keer volledig worden ingelezen en geparset, ook als het model maar een handvol kolommen nodig
heeft.

## Waarom doet het ertoe? {#why-does-it-matter}

Gegevens lezen en parsen kost bij elke run, elke epoch en elk experiment CPU-tijd, geheugen en opslagverkeer. In
onderzoek en ontwikkeling, waar dezelfde dataset honderden keren wordt verwerkt, loopt dat op. Het patroon van de
Green Software Foundation voor opslagformaten voor AI raadt kolomgebaseerde formaten aan, zodat taken alleen de
kolommen en partities lezen die ze nodig hebben, en om gegevens één keer naar een binair formaat om te zetten in
plaats van tekst steeds opnieuw te parsen.

## Wat moet ik veranderen? {#what-should-i-change}

- **Kolomgebaseerde formaten** zoals Parquet slaan elke kolom apart op, zodat een taak die vijf van de vijftig
  kolommen gebruikt ongeveer een tiende van de gegevens leest.
- **Partitioneren** op datum, bron of label laat een taak hele bestanden overslaan die ze niet nodig heeft.
- **Vooraf getokeniseerde datasets** besparen het herhalen van dezelfde tekstverwerking in elke epoch.
- **Ontdubbelen** maakt de dataset kleiner, en daarmee ook de trainingsrun.

## Veelgemaakte fouten {#common-mistakes}

- **Gegevens omzetten die maar één keer worden gelezen.** De omzetting kost ook iets; ze betaalt zich terug bij
  gegevens die herhaaldelijk worden gelezen.
- **Elke tussenkopie bewaren.** Oude voorbewerkte versies vullen opslag die zelf ook een voetafdruk heeft.
- **Niet meten.** Draai een typische taak vooraf en achteraf met een tracker zoals CodeCarbon, of meet op zijn minst
  de tijd.

Zie voor besparingen aan de kant van het model [hoe u de energie van het trainen van een model verlaagt](/nl/hoe/hoe-verminder-ik-het-energieverbruik-van-het-trainen-van-een-model/).

## Bronnen

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
