greenai.guide

Home › Come faccio a…? › Come conservo i dati di addestramento dell'IA perché le pipeline leggano meno?

Come faccio a…?

Come conservo i dati di addestramento dell'IA perché le pipeline leggano meno?

Aggiornato · 1 min di lettura

In breve

Conservi i dati di addestramento e le feature in un formato colonnare, così i job leggono solo le colonne e le partizioni che usano, e converta una sola volta il testo grezzo in un formato binario invece di rianalizzarlo a ogni esecuzione o epoca. Misuri un job tipico prima e dopo per verificare che la conversione si ripaghi. La gestione dei dati passa facilmente in secondo piano rispetto al modello, ma interviene in ogni esperimento.

Passaggi

  1. Individui le pipeline che leggono per intero file di testo come CSV o JSON a ogni esecuzione.
  2. Li converta una sola volta in un formato colonnare o binario.
  3. Partizioni i dati in base ai campi su cui filtra, come la data o la fonte.
  4. Pre-elabori e suddivida in token una sola volta, e riutilizzi il risultato tra esecuzioni ed epoche.
  5. Elimini i dati duplicati e inutilizzati prima dell'addestramento.
  6. Cronometri e misuri un job tipico prima e dopo la modifica.

Faccia in modo che ogni job legga solo ciò che usa, e lo analizzi una sola volta. I dati di addestramento spesso risiedono in file di testo che vengono letti e analizzati per intero ogni volta, anche quando al modello servono poche colonne.

Perché è importante?

Leggere e analizzare i dati costa tempo di CPU, memoria e traffico verso lo storage a ogni esecuzione, a ogni epoca e in ogni esperimento. Nella ricerca e nello sviluppo, dove lo stesso dataset viene elaborato centinaia di volte, il conto sale. Il pattern della Green Software Foundation sui formati di archiviazione dei dati per l'IA raccomanda formati colonnari, così i job leggono solo le colonne e le partizioni che servono, e di convertire i dati una sola volta in un formato binario invece di rianalizzare il testo.

Che cosa dovrei cambiare?

  • I formati colonnari come Parquet conservano ogni colonna separatamente, quindi un job che usa cinque colonne su cinquanta legge all'incirca un decimo dei dati.
  • Il partizionamento per data, fonte o etichetta permette a un job di saltare interi file che non gli servono.
  • I dataset già suddivisi in token evitano di ripetere la stessa elaborazione del testo a ogni epoca.
  • La deduplicazione riduce il dataset, e con esso l'addestramento.

Errori comuni

  • Convertire dati che si leggono una sola volta. Anche la conversione ha un costo; conviene per i dati letti ripetutamente.
  • Conservare ogni copia intermedia. Le vecchie versioni pre-elaborate occupano uno storage che ha una propria impronta.
  • Non misurare. Avvolga un job tipico in uno strumento di tracciamento come CodeCarbon, o almeno lo cronometri, prima e dopo.

Per i risparmi sul lato del modello, veda come ridurre l'energia dell'addestramento di un modello.

Fonti

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)

Si unisca a noi

Aiuti a ridurre l'impatto dell'IA sul pianeta

Riceva per email nuove guide, bandi di finanziamento e schede delle directory, circa una volta al mese. Oppure aggiunga il suo prodotto, corso, dottorato o ricerca alle directory.

Nessun tracciamento. Disiscrizione con un clic. Altri modi per partecipare · Privacy