# Come conservo i dati di addestramento dell'IA perché le pipeline leggano meno?

> Come formati colonnari e binari, partizionamento e pre-elaborazione una tantum riducono l'energia che le pipeline di IA spendono a leggere i dati.

Source: https://greenai.guide/it/come/come-conservo-i-dati-di-addestramento-dell-ia-perche-le-pipeline/  
Updated: 2026-11-19

## In breve

Conservi i dati di addestramento e le feature in un formato colonnare, così i job leggono solo le colonne e le partizioni che usano, e converta una sola volta il testo grezzo in un formato binario invece di rianalizzarlo a ogni esecuzione o epoca. Misuri un job tipico prima e dopo per verificare che la conversione si ripaghi. La gestione dei dati passa facilmente in secondo piano rispetto al modello, ma interviene in ogni esperimento.

## Steps

1. Individui le pipeline che leggono per intero file di testo come CSV o JSON a ogni esecuzione.
2. Li converta una sola volta in un formato colonnare o binario.
3. Partizioni i dati in base ai campi su cui filtra, come la data o la fonte.
4. Pre-elabori e suddivida in token una sola volta, e riutilizzi il risultato tra esecuzioni ed epoche.
5. Elimini i dati duplicati e inutilizzati prima dell'addestramento.
6. Cronometri e misuri un job tipico prima e dopo la modifica.

**Faccia in modo che ogni job legga solo ciò che usa, e lo analizzi una sola volta.** I dati di addestramento spesso
risiedono in file di testo che vengono letti e analizzati per intero ogni volta, anche quando al modello servono
poche colonne.

## Perché è importante? {#why-does-it-matter}

Leggere e analizzare i dati costa tempo di CPU, memoria e traffico verso lo storage a ogni esecuzione, a ogni epoca
e in ogni esperimento. Nella ricerca e nello sviluppo, dove lo stesso dataset viene elaborato centinaia di volte, il
conto sale. Il pattern della Green Software Foundation sui formati di archiviazione dei dati per l'IA raccomanda
formati colonnari, così i job leggono solo le colonne e le partizioni che servono, e di convertire i dati una sola
volta in un formato binario invece di rianalizzare il testo.

## Che cosa dovrei cambiare? {#what-should-i-change}

- **I formati colonnari** come Parquet conservano ogni colonna separatamente, quindi un job che usa cinque colonne
  su cinquanta legge all'incirca un decimo dei dati.
- **Il partizionamento** per data, fonte o etichetta permette a un job di saltare interi file che non gli servono.
- **I dataset già suddivisi in token** evitano di ripetere la stessa elaborazione del testo a ogni epoca.
- **La deduplicazione** riduce il dataset, e con esso l'addestramento.

## Errori comuni {#common-mistakes}

- **Convertire dati che si leggono una sola volta.** Anche la conversione ha un costo; conviene per i dati letti
  ripetutamente.
- **Conservare ogni copia intermedia.** Le vecchie versioni pre-elaborate occupano uno storage che ha una propria
  impronta.
- **Non misurare.** Avvolga un job tipico in uno strumento di tracciamento come CodeCarbon, o almeno lo cronometri,
  prima e dopo.

Per i risparmi sul lato del modello, veda [come ridurre l'energia dell'addestramento di un modello](/it/come/come-riduco-l-energia-necessaria-per-addestrare-un-modello/).

## Fonti

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
