简而言之
用列式格式存储训练数据和特征数据,让作业只读取它用到的列和分区;把原始文本一次性转换为二进制格式,而不是每次运行或每个 epoch 都重新解析。转换前后各测量一次典型作业,确认转换的收益超过成本。与模型相比,数据处理很容易被忽视,但每一次实验都要运行它。
步骤
- 找出每次运行都要完整读取 CSV、JSON 等文本文件的数据管道。
- 把这些数据一次性转换为列式或二进制格式。
- 按您常用于筛选的字段(例如日期或来源)对数据分区。
- 只做一次预处理和分词,并在多次运行和多个 epoch 之间重复使用结果。
- 训练前删除重复数据和用不到的数据。
- 在改动前后,为一个典型作业计时并测量能耗。
让每个作业只读取它用到的数据,并且只解析一次。 训练数据常常存放在文本文件中,每次都被完整读取和解析,即使模型只需要其中几列。
为什么这很重要?
读取和解析数据,每次运行、每个 epoch、每次实验都要消耗 CPU 时间、内存和存储流量。在研发工作中,同一个数据集往往要处理数百次,累积起来相当可观。Green Software Foundation 关于数据存储格式的 AI 模式建议使用列式格式,让作业只读取所需的列和分区,并把数据一次性转换为二进制格式,而不是反复解析文本。
我应该改什么?
- 列式格式(例如 Parquet)把每一列单独存储,因此一个只用到五十列中五列的作业,大约只需读取十分之一的数据。
- 分区:按日期、来源或标签分区,作业就能跳过整份不需要的文件。
- 预先分词的数据集:省去在每个 epoch 中重复相同的文本处理。
- 去重:缩小数据集,训练运行也随之缩短。
常见错误
- 转换只读取一次的数据。 转换本身也有成本;只有反复读取的数据,转换才划算。
- 保留每一份中间副本。 旧的预处理版本会占满存储,而存储本身也有足迹。
- 不做测量。 在改动前后,用 CodeCarbon 等追踪工具包裹一个典型作业,或者至少为它计时。
关于模型方面的节能,请参阅如何降低模型训练的能耗。
来源
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
相关内容
我该如何……?
如何降低训练模型的能耗?
降低训练能耗的主要手段:从预训练模型出发,选择合适规模,使用混合精度,提前停止,选择清洁的地点和时段,并做好测量。
我该如何……?
如何让向量搜索和 RAG 更高效?
降低检索增强生成算力消耗的方法:使用近似索引,检索更少、更短的段落,增量建立索引,并使用更小的模型。
良好实践
高效的 AI 训练与推理
开发者和研究人员降低 AI 能耗的技术:剪枝、稀疏化、量化、蒸馏、KV 缓存、批处理、混合精度和调度。
我该如何……?
如何测量 AI 在我自己电脑或 GPU 上的能耗?
用硬件计数器、GPU 遥测数据或插座式电表测量本地 AI 能耗,在整个作业期间持续采样,并减去空闲时的基准功耗。