greenai.guide

Strona główna › Jak…? › Jak przechowywać dane treningowe AI, aby potoki danych mniej czytały?

Jak…?

Jak przechowywać dane treningowe AI, aby potoki danych mniej czytały?

Aktualizacja · Czas czytania: 1 min

W skrócie

Dane treningowe i dane cech należy przechowywać w formacie kolumnowym, tak aby zadania czytały tylko potrzebne kolumny i partycje. Surowy tekst warto raz przekonwertować do formatu binarnego, zamiast parsować go od nowa przy każdym przebiegu lub epoce. Należy zmierzyć typowe zadanie przed zmianą i po niej, aby sprawdzić, czy konwersja się zwraca. Obsługę danych łatwo przeoczyć obok modelu, ale działa ona przy każdym eksperymencie.

Kroki

  1. Znaleźć potoki, które przy każdym przebiegu czytają w całości pliki tekstowe, np. CSV lub JSON.
  2. Przekonwertować je raz do formatu kolumnowego lub binarnego.
  3. Partycjonować dane według pól, po których się filtruje, np. daty lub źródła.
  4. Przetwarzać wstępnie i tokenizować raz, a wynik wykorzystywać ponownie we wszystkich przebiegach i epokach.
  5. Przed trenowaniem usunąć zduplikowane i nieużywane dane.
  6. Zmierzyć czas i zużycie typowego zadania przed zmianą i po niej.

Każde zadanie powinno czytać tylko to, czego używa, i parsować to tylko raz. Dane treningowe często są przechowywane w plikach tekstowych, które za każdym razem są czytane i parsowane w całości, nawet gdy model potrzebuje kilku kolumn.

Dlaczego to ważne?

Czytanie i parsowanie danych kosztuje czas procesora, pamięć i ruch w systemie przechowywania przy każdym przebiegu, każdej epoce i każdym eksperymencie. W badaniach i rozwoju, gdzie ten sam zbiór danych przetwarza się setki razy, to się sumuje. Wzorzec Green Software Foundation dotyczący formatów przechowywania danych dla AI zaleca formaty kolumnowe, tak aby zadania czytały tylko potrzebne kolumny i partycje, oraz jednorazową konwersję danych do formatu binarnego zamiast ponownego parsowania tekstu.

Co zmienić?

  • Formaty kolumnowe, takie jak Parquet, przechowują każdą kolumnę osobno, więc zadanie korzystające z pięciu kolumn z pięćdziesięciu czyta mniej więcej jedną dziesiątą danych.
  • Partycjonowanie według daty, źródła lub etykiety pozwala zadaniu pomijać całe niepotrzebne pliki.
  • Wstępnie stokenizowane zbiory danych oszczędzają powtarzania tego samego przetwarzania tekstu w każdej epoce.
  • Deduplikacja zmniejsza zbiór danych, a wraz z nim przebieg trenowania.

Częste błędy

  • Konwertowanie danych czytanych tylko raz. Konwersja też ma swój koszt; opłaca się przy danych czytanych wielokrotnie.
  • Przechowywanie każdej kopii pośredniej. Stare wersje przetworzonych danych zajmują miejsce, które ma własny ślad.
  • Brak pomiarów. Typowe zadanie należy przed zmianą i po niej objąć narzędziem do śledzenia, takim jak CodeCarbon, albo przynajmniej zmierzyć jego czas.

Oszczędności po stronie modelu: zob. jak zmniejszyć energię trenowania modelu.

Źródła

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)

Dołącz do nas

Pomóżmy zmniejszyć wpływ AI na planetę

Nowe przewodniki, nabory wniosków i wpisy w katalogach e-mailem, mniej więcej raz w miesiącu. Można też dodać do katalogów swój produkt, kurs, ofertę studiów doktoranckich lub badania.

Bez śledzenia. Rezygnacja jednym kliknięciem. Inne sposoby dołączenia · Prywatność