# パイプラインの読み込みを減らすには AI の学習データをどう保存すればいい？

> 列指向やバイナリの形式、パーティション分割、一度きりの前処理で、AI パイプラインが学習データの読み込みと解析に使うエネルギーを減らす方法です。

Source: https://greenai.guide/ja/ハウツー/パイプラインの読み込みを減らすには-ai-の学習データをどう保存すればいい/  
Updated: 2026-11-19

## 要点

学習データや特徴量データは列指向の形式で保存し、処理が使う列とパーティションだけを読むようにしましょう。生のテキストは、実行やエポックのたびに解析し直すのではなく、一度だけバイナリ形式に変換します。変換が元を取れるか確かめるために、代表的な処理を変更の前後で測りましょう。データの扱いはモデルに比べて見落とされがちですが、すべての実験で毎回動いています。

## Steps

1. CSV や JSON などのテキストファイルを、実行のたびに丸ごと読んでいるパイプラインを探します。
2. それらを一度だけ、列指向またはバイナリの形式に変換します。
3. 日付や出典など、絞り込みに使う項目でデータをパーティション分割します。
4. 前処理とトークン化は一度だけ行い、その結果を実行やエポックをまたいで再利用します。
5. 学習の前に、重複したデータや使わないデータを取り除きます。
6. 変更の前後で、代表的な処理の時間と消費を測ります。

**各処理が使うものだけを読み、解析は一度だけにしましょう。** 学習データは、モデルが必要とするのがわずかな列だけでも、毎回丸ごと読み込んで解析されるテキストファイルに入っていることがよくあります。

## なぜ重要なのですか？ {#why-does-it-matter}

データの読み込みと解析は、実行のたび、エポックのたび、実験のたびに、CPU 時間、メモリ、ストレージの通信を使います。同じデータセットが何百回も処理される研究開発では、それが積み重なります。Green Software Foundation の AI 向けデータ保存形式に関するパターンは、処理が必要な列とパーティションだけを読めるよう列指向の形式を使い、テキストを解析し直すのではなくデータを一度だけバイナリ形式に変換するよう勧めています。

## 何を変えればよいですか？ {#what-should-i-change}

- **列指向の形式。** Parquet などは列ごとに分けて保存するので、50 列のうち 5 列を使う処理は、データのおよそ 10 分の 1 だけを読みます。
- **パーティション分割。** 日付、出典、ラベルで分けておけば、処理は不要なファイルを丸ごと飛ばせます。
- **トークン化済みのデータセット。** エポックのたびに同じテキスト処理を繰り返さずに済みます。
- **重複の除去。** データセットが小さくなり、それとともに学習も小さくなります。

## よくある間違い {#common-mistakes}

- **一度しか読まないデータを変換すること。** 変換にもコストがかかります。元が取れるのは、繰り返し読むデータです。
- **途中のコピーをすべて残すこと。** 古い前処理済みのデータがストレージを埋め、そのストレージにも独自のフットプリントがあります。
- **測らないこと。** 代表的な処理を CodeCarbon などのトラッカーで包むか、少なくとも時間を測って、前後を比べましょう。

モデル側の節約については、[モデルの学習のエネルギーを減らす方法](/ja/ハウツー/モデルの学習にかかるエネルギーを減らすには/)をご覧ください。

## 出典

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
