# Jak przechowywać dane treningowe AI, aby potoki danych mniej czytały?

> Jak formaty kolumnowe i binarne, partycjonowanie i jednorazowe przetwarzanie wstępne zmniejszają energię, którą potoki AI zużywają na czytanie danych.

Source: https://greenai.guide/pl/jak/jak-przechowywac-dane-treningowe-ai-aby-potoki-danych-mniej-czytaly/  
Updated: 2026-11-19

## W skrócie

Dane treningowe i dane cech należy przechowywać w formacie kolumnowym, tak aby zadania czytały tylko potrzebne kolumny i partycje. Surowy tekst warto raz przekonwertować do formatu binarnego, zamiast parsować go od nowa przy każdym przebiegu lub epoce. Należy zmierzyć typowe zadanie przed zmianą i po niej, aby sprawdzić, czy konwersja się zwraca. Obsługę danych łatwo przeoczyć obok modelu, ale działa ona przy każdym eksperymencie.

## Steps

1. Znaleźć potoki, które przy każdym przebiegu czytają w całości pliki tekstowe, np. CSV lub JSON.
2. Przekonwertować je raz do formatu kolumnowego lub binarnego.
3. Partycjonować dane według pól, po których się filtruje, np. daty lub źródła.
4. Przetwarzać wstępnie i tokenizować raz, a wynik wykorzystywać ponownie we wszystkich przebiegach i epokach.
5. Przed trenowaniem usunąć zduplikowane i nieużywane dane.
6. Zmierzyć czas i zużycie typowego zadania przed zmianą i po niej.

**Każde zadanie powinno czytać tylko to, czego używa, i parsować to tylko raz.** Dane treningowe często są
przechowywane w plikach tekstowych, które za każdym razem są czytane i parsowane w całości, nawet gdy model
potrzebuje kilku kolumn.

## Dlaczego to ważne? {#why-does-it-matter}

Czytanie i parsowanie danych kosztuje czas procesora, pamięć i ruch w systemie przechowywania przy każdym przebiegu,
każdej epoce i każdym eksperymencie. W badaniach i rozwoju, gdzie ten sam zbiór danych przetwarza się setki razy,
to się sumuje. Wzorzec Green Software Foundation dotyczący formatów przechowywania danych dla AI zaleca formaty
kolumnowe, tak aby zadania czytały tylko potrzebne kolumny i partycje, oraz jednorazową konwersję danych do formatu
binarnego zamiast ponownego parsowania tekstu.

## Co zmienić? {#what-should-i-change}

- **Formaty kolumnowe**, takie jak Parquet, przechowują każdą kolumnę osobno, więc zadanie korzystające z pięciu
  kolumn z pięćdziesięciu czyta mniej więcej jedną dziesiątą danych.
- **Partycjonowanie** według daty, źródła lub etykiety pozwala zadaniu pomijać całe niepotrzebne pliki.
- **Wstępnie stokenizowane zbiory danych** oszczędzają powtarzania tego samego przetwarzania tekstu w każdej epoce.
- **Deduplikacja** zmniejsza zbiór danych, a wraz z nim przebieg trenowania.

## Częste błędy {#common-mistakes}

- **Konwertowanie danych czytanych tylko raz.** Konwersja też ma swój koszt; opłaca się przy danych czytanych
  wielokrotnie.
- **Przechowywanie każdej kopii pośredniej.** Stare wersje przetworzonych danych zajmują miejsce, które ma własny
  ślad.
- **Brak pomiarów.** Typowe zadanie należy przed zmianą i po niej objąć narzędziem do śledzenia, takim jak
  CodeCarbon, albo przynajmniej zmierzyć jego czas.

Oszczędności po stronie modelu: zob.
[jak zmniejszyć energię trenowania modelu](/pl/jak/jak-zmniejszyc-zuzycie-energii-podczas-trenowania-modelu/).

## Źródła

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
