In het kort
Sla trainings- en featuredata op in een kolomgebaseerd formaat, zodat taken alleen de kolommen en partities lezen die ze gebruiken, en zet ruwe tekst één keer om naar een binair formaat in plaats van die bij elke run of epoch opnieuw te parsen. Meet een typische taak vooraf en achteraf om te controleren of de omzetting zich terugbetaalt. Gegevensverwerking wordt naast het model gemakkelijk over het hoofd gezien, maar draait bij elk experiment mee.
Stappen
- Zoek de pipelines die bij elke run tekstbestanden zoals CSV of JSON volledig inlezen.
- Zet die één keer om naar een kolomgebaseerd of binair formaat.
- Partitioneer gegevens op velden waarop u filtert, zoals datum of bron.
- Bewerk en tokeniseer één keer vooraf en hergebruik het resultaat over runs en epochs heen.
- Verwijder dubbele en ongebruikte gegevens vóór het trainen.
- Meet de tijd en het verbruik van een typische taak vóór en na de wijziging.
Laat elke taak alleen lezen wat ze gebruikt, en parse het maar één keer. Trainingsdata staat vaak in tekstbestanden die elke keer volledig worden ingelezen en geparset, ook als het model maar een handvol kolommen nodig heeft.
Waarom doet het ertoe?
Gegevens lezen en parsen kost bij elke run, elke epoch en elk experiment CPU-tijd, geheugen en opslagverkeer. In onderzoek en ontwikkeling, waar dezelfde dataset honderden keren wordt verwerkt, loopt dat op. Het patroon van de Green Software Foundation voor opslagformaten voor AI raadt kolomgebaseerde formaten aan, zodat taken alleen de kolommen en partities lezen die ze nodig hebben, en om gegevens één keer naar een binair formaat om te zetten in plaats van tekst steeds opnieuw te parsen.
Wat moet ik veranderen?
- Kolomgebaseerde formaten zoals Parquet slaan elke kolom apart op, zodat een taak die vijf van de vijftig kolommen gebruikt ongeveer een tiende van de gegevens leest.
- Partitioneren op datum, bron of label laat een taak hele bestanden overslaan die ze niet nodig heeft.
- Vooraf getokeniseerde datasets besparen het herhalen van dezelfde tekstverwerking in elke epoch.
- Ontdubbelen maakt de dataset kleiner, en daarmee ook de trainingsrun.
Veelgemaakte fouten
- Gegevens omzetten die maar één keer worden gelezen. De omzetting kost ook iets; ze betaalt zich terug bij gegevens die herhaaldelijk worden gelezen.
- Elke tussenkopie bewaren. Oude voorbewerkte versies vullen opslag die zelf ook een voetafdruk heeft.
- Niet meten. Draai een typische taak vooraf en achteraf met een tracker zoals CodeCarbon, of meet op zijn minst de tijd.
Zie voor besparingen aan de kant van het model hoe u de energie van het trainen van een model verlaagt.
Bronnen
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
Gerelateerd
Hoe verminder ik het energieverbruik van het trainen van een model?
De belangrijkste knoppen om trainingsenergie te verlagen: begin voorgetraind, kies de juiste omvang, gemengde precisie, stop vroeg, kies schone plek en tijd, meet.
Hoe maak ik vectorzoeken en RAG efficiënter?
Manieren om het rekenwerk van retrieval-augmented generation te verminderen: benaderende indexen, minder en kortere passages, incrementeel indexeren, kleinere modellen.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.
Hoe meet ik hoeveel energie AI verbruikt op mijn eigen computer of GPU?
Meet het lokale energieverbruik van AI met hardwaretellers, GPU-telemetrie of een meetstekker, meet de hele taak en trek het stationair verbruik af.