要点
学習データや特徴量データは列指向の形式で保存し、処理が使う列とパーティションだけを読むようにしましょう。生のテキストは、実行やエポックのたびに解析し直すのではなく、一度だけバイナリ形式に変換します。変換が元を取れるか確かめるために、代表的な処理を変更の前後で測りましょう。データの扱いはモデルに比べて見落とされがちですが、すべての実験で毎回動いています。
手順
- CSV や JSON などのテキストファイルを、実行のたびに丸ごと読んでいるパイプラインを探します。
- それらを一度だけ、列指向またはバイナリの形式に変換します。
- 日付や出典など、絞り込みに使う項目でデータをパーティション分割します。
- 前処理とトークン化は一度だけ行い、その結果を実行やエポックをまたいで再利用します。
- 学習の前に、重複したデータや使わないデータを取り除きます。
- 変更の前後で、代表的な処理の時間と消費を測ります。
各処理が使うものだけを読み、解析は一度だけにしましょう。 学習データは、モデルが必要とするのがわずかな列だけでも、毎回丸ごと読み込んで解析されるテキストファイルに入っていることがよくあります。
なぜ重要なのですか?
データの読み込みと解析は、実行のたび、エポックのたび、実験のたびに、CPU 時間、メモリ、ストレージの通信を使います。同じデータセットが何百回も処理される研究開発では、それが積み重なります。Green Software Foundation の AI 向けデータ保存形式に関するパターンは、処理が必要な列とパーティションだけを読めるよう列指向の形式を使い、テキストを解析し直すのではなくデータを一度だけバイナリ形式に変換するよう勧めています。
何を変えればよいですか?
- 列指向の形式。 Parquet などは列ごとに分けて保存するので、50 列のうち 5 列を使う処理は、データのおよそ 10 分の 1 だけを読みます。
- パーティション分割。 日付、出典、ラベルで分けておけば、処理は不要なファイルを丸ごと飛ばせます。
- トークン化済みのデータセット。 エポックのたびに同じテキスト処理を繰り返さずに済みます。
- 重複の除去。 データセットが小さくなり、それとともに学習も小さくなります。
よくある間違い
- 一度しか読まないデータを変換すること。 変換にもコストがかかります。元が取れるのは、繰り返し読むデータです。
- 途中のコピーをすべて残すこと。 古い前処理済みのデータがストレージを埋め、そのストレージにも独自のフットプリントがあります。
- 測らないこと。 代表的な処理を CodeCarbon などのトラッカーで包むか、少なくとも時間を測って、前後を比べましょう。
モデル側の節約については、モデルの学習のエネルギーを減らす方法をご覧ください。
出典
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
関連
モデルの学習にかかるエネルギーを減らすには?
学習のエネルギーを減らす主な方法:事前学習済みモデルから始め、規模を適正化し、混合精度を使い、早期終了し、クリーンな場所と時間を選び、測定します。
ベクトル検索や RAG をもっと効率的にするには?
検索拡張生成(RAG)の計算を減らす方法です。近似インデックス、少なく短い文章、差分のインデックス作成、小さなモデルを使います。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。
自分のパソコンや GPU で AI が使うエネルギーはどう測る?
ハードウェアのカウンター、GPU のテレメトリー、電力計で手元の AI のエネルギーを測り、処理全体でサンプリングし、待機時の電力を差し引きます。