greenai.guide

Accueil › Comment faire… ? › Comment stocker les données d'entraînement pour que les pipelines lisent moins ?

Comment faire… ?

Comment stocker les données d'entraînement pour que les pipelines lisent moins ?

Mis à jour · 1 min de lecture

En bref

Stockez les données d'entraînement et de caractéristiques dans un format colonnaire pour que les tâches ne lisent que les colonnes et les partitions qu'elles utilisent, et convertissez une seule fois le texte brut en format binaire au lieu de le réanalyser à chaque exécution ou à chaque époque. Mesurez une tâche type avant et après pour vérifier que la conversion est rentable. Le traitement des données passe facilement inaperçu à côté du modèle, mais il s'exécute à chaque expérience.

Étapes

  1. Repérez les pipelines qui lisent entièrement des fichiers texte comme CSV ou JSON à chaque exécution.
  2. Convertissez-les une fois pour toutes dans un format colonnaire ou binaire.
  3. Partitionnez les données selon les champs sur lesquels vous filtrez, comme la date ou la source.
  4. Prétraitez et tokenisez une seule fois, et réutilisez le résultat d'une exécution et d'une époque à l'autre.
  5. Supprimez les données en double et inutilisées avant l'entraînement.
  6. Chronométrez et mesurez une tâche type avant et après le changement.

Faites en sorte que chaque tâche ne lise que ce qu'elle utilise, et ne l'analyse qu'une fois. Les données d'entraînement se trouvent souvent dans des fichiers texte lus et analysés entièrement à chaque fois, même quand le modèle n'a besoin que de quelques colonnes.

Pourquoi est-ce important ?

Lire et analyser des données coûte du temps CPU, de la mémoire et du trafic de stockage à chaque exécution, à chaque époque et à chaque expérience. En recherche et développement, où le même jeu de données est traité des centaines de fois, cela s'additionne. Le pattern de la Green Software Foundation sur les formats de stockage des données pour l'IA recommande des formats colonnaires, pour que les tâches ne lisent que les colonnes et les partitions dont elles ont besoin, et une conversion unique des données en format binaire plutôt qu'une réanalyse du texte.

Que dois-je changer ?

  • Les formats colonnaires comme Parquet stockent chaque colonne séparément : une tâche qui utilise cinq colonnes sur cinquante lit donc environ un dixième des données.
  • Le partitionnement par date, source ou étiquette permet à une tâche d'ignorer des fichiers entiers dont elle n'a pas besoin.
  • Les jeux de données prétokenisés évitent de répéter le même traitement du texte à chaque époque.
  • La déduplication réduit le jeu de données, et l'exécution d'entraînement avec lui.

Erreurs fréquentes

  • Convertir des données lues une seule fois. La conversion a aussi un coût ; elle est rentable pour des données lues de manière répétée.
  • Garder toutes les copies intermédiaires. Les anciennes versions prétraitées remplissent un stockage qui a sa propre empreinte.
  • Ne pas mesurer. Encadrez une tâche type avec un outil de suivi comme CodeCarbon, ou au moins chronométrez-la, avant et après.

Pour les économies côté modèle, consultez comment réduire l'énergie de l'entraînement d'un modèle.

Sources

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)

Rejoignez-nous

Aidez à réduire l’impact de l’IA sur la planète

Recevez par e-mail, environ une fois par mois, les nouveaux guides, appels à financement et fiches des annuaires. Ou ajoutez votre produit, cours, thèse ou recherche aux annuaires.

Aucun suivi. Désinscription en un clic. Autres façons de participer · Confidentialité