greenai.guide

首页 › 我该如何……? › 如何存储 AI 训练数据,让数据管道少读一些数据?

我该如何……?

如何存储 AI 训练数据,让数据管道少读一些数据?

更新于 · 阅读约需 1 分钟

简而言之

用列式格式存储训练数据和特征数据,让作业只读取它用到的列和分区;把原始文本一次性转换为二进制格式,而不是每次运行或每个 epoch 都重新解析。转换前后各测量一次典型作业,确认转换的收益超过成本。与模型相比,数据处理很容易被忽视,但每一次实验都要运行它。

步骤

  1. 找出每次运行都要完整读取 CSV、JSON 等文本文件的数据管道。
  2. 把这些数据一次性转换为列式或二进制格式。
  3. 按您常用于筛选的字段(例如日期或来源)对数据分区。
  4. 只做一次预处理和分词,并在多次运行和多个 epoch 之间重复使用结果。
  5. 训练前删除重复数据和用不到的数据。
  6. 在改动前后,为一个典型作业计时并测量能耗。

让每个作业只读取它用到的数据,并且只解析一次。 训练数据常常存放在文本文件中,每次都被完整读取和解析,即使模型只需要其中几列。

为什么这很重要?

读取和解析数据,每次运行、每个 epoch、每次实验都要消耗 CPU 时间、内存和存储流量。在研发工作中,同一个数据集往往要处理数百次,累积起来相当可观。Green Software Foundation 关于数据存储格式的 AI 模式建议使用列式格式,让作业只读取所需的列和分区,并把数据一次性转换为二进制格式,而不是反复解析文本。

我应该改什么?

  • 列式格式(例如 Parquet)把每一列单独存储,因此一个只用到五十列中五列的作业,大约只需读取十分之一的数据。
  • 分区:按日期、来源或标签分区,作业就能跳过整份不需要的文件。
  • 预先分词的数据集:省去在每个 epoch 中重复相同的文本处理。
  • 去重:缩小数据集,训练运行也随之缩短。

常见错误

  • 转换只读取一次的数据。 转换本身也有成本;只有反复读取的数据,转换才划算。
  • 保留每一份中间副本。 旧的预处理版本会占满存储,而存储本身也有足迹。
  • 不做测量。 在改动前后,用 CodeCarbon 等追踪工具包裹一个典型作业,或者至少为它计时。

关于模型方面的节能,请参阅如何降低模型训练的能耗。

来源

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私