# 如何存储 AI 训练数据，让数据管道少读一些数据？

> 列式和二进制格式、数据分区以及一次性预处理，如何减少 AI 数据管道在读取和解析训练数据上耗费的能源。

Source: https://greenai.guide/zh/如何/如何存储-ai-训练数据-让数据管道少读一些数据/  
Updated: 2026-11-19

## 简而言之

用列式格式存储训练数据和特征数据，让作业只读取它用到的列和分区；把原始文本一次性转换为二进制格式，而不是每次运行或每个 epoch 都重新解析。转换前后各测量一次典型作业，确认转换的收益超过成本。与模型相比，数据处理很容易被忽视，但每一次实验都要运行它。

## Steps

1. 找出每次运行都要完整读取 CSV、JSON 等文本文件的数据管道。
2. 把这些数据一次性转换为列式或二进制格式。
3. 按您常用于筛选的字段（例如日期或来源）对数据分区。
4. 只做一次预处理和分词，并在多次运行和多个 epoch 之间重复使用结果。
5. 训练前删除重复数据和用不到的数据。
6. 在改动前后，为一个典型作业计时并测量能耗。

**让每个作业只读取它用到的数据，并且只解析一次。** 训练数据常常存放在文本文件中，每次都被完整读取和解析，即使模型只需要其中几列。

## 为什么这很重要？ {#why-does-it-matter}

读取和解析数据，每次运行、每个 epoch、每次实验都要消耗 CPU 时间、内存和存储流量。在研发工作中，同一个数据集往往要处理数百次，累积起来相当可观。Green Software Foundation 关于数据存储格式的 AI 模式建议使用列式格式，让作业只读取所需的列和分区，并把数据一次性转换为二进制格式，而不是反复解析文本。

## 我应该改什么？ {#what-should-i-change}

- **列式格式**（例如 Parquet）把每一列单独存储，因此一个只用到五十列中五列的作业，大约只需读取十分之一的数据。
- **分区**：按日期、来源或标签分区，作业就能跳过整份不需要的文件。
- **预先分词的数据集**：省去在每个 epoch 中重复相同的文本处理。
- **去重**：缩小数据集，训练运行也随之缩短。

## 常见错误 {#common-mistakes}

- **转换只读取一次的数据。** 转换本身也有成本；只有反复读取的数据，转换才划算。
- **保留每一份中间副本。** 旧的预处理版本会占满存储，而存储本身也有足迹。
- **不做测量。** 在改动前后，用 CodeCarbon 等追踪工具包裹一个典型作业，或者至少为它计时。

关于模型方面的节能，请参阅[如何降低模型训练的能耗](/zh/如何/如何降低训练模型的能耗/)。

## 来源

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
