# 파이프라인이 덜 읽도록 AI 학습 데이터를 저장하려면 어떻게 해야 하나요?

> 열 기반·바이너리 형식, 파티셔닝, 한 번만 하는 전처리로 AI 파이프라인이 학습 데이터를 읽고 파싱하는 데 쓰는 에너지를 줄이는 방법입니다.

Source: https://greenai.guide/ko/방법/파이프라인이-덜-읽도록-ai-학습-데이터를-저장하려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

학습 데이터와 피처 데이터를 열 기반(columnar) 형식으로 저장해 작업이 쓰는 열과 파티션만 읽게 하고, 원본 텍스트는 실행이나 에포크마다 다시 파싱하지 말고 한 번만 바이너리 형식으로 변환하십시오. 변환이 비용만큼 효과가 있는지 확인하려면 일반적인 작업을 변환 전후로 측정하십시오. 데이터 처리는 모델에 가려 간과하기 쉽지만, 모든 실험에서 실행됩니다.

## Steps

1. CSV나 JSON 같은 텍스트 파일을 실행할 때마다 통째로 읽는 파이프라인을 찾습니다.
2. 이를 한 번만 열 기반 또는 바이너리 형식으로 변환합니다.
3. 날짜나 출처처럼 필터에 쓰는 필드로 데이터를 파티셔닝합니다.
4. 전처리와 토큰화는 한 번만 하고, 그 결과를 여러 실행과 에포크에 재사용합니다.
5. 학습 전에 중복 데이터와 쓰지 않는 데이터를 제거합니다.
6. 변경 전후로 일반적인 작업의 시간과 에너지를 측정합니다.

**각 작업이 쓰는 것만 읽고, 한 번만 파싱하게 하십시오.** 학습 데이터는 흔히 텍스트 파일에 담겨 있어, 모델에 필요한 열이 몇 개뿐이어도 매번 통째로 읽고 파싱됩니다.

## 왜 중요한가요? {#why-does-it-matter}

데이터를 읽고 파싱하는 데는 실행마다, 에포크마다, 실험마다 CPU 시간, 메모리, 저장소 트래픽이 듭니다. 같은 데이터셋을 수백 번 처리하는 연구 개발에서는 이것이 쌓입니다. Green Software Foundation의 AI 데이터 저장 형식 패턴은 작업이 필요한 열과 파티션만 읽도록 열 기반 형식을 쓰고, 텍스트를 다시 파싱하는 대신 데이터를 한 번만 바이너리 형식으로 변환하라고 권합니다.

## 무엇을 바꿔야 하나요? {#what-should-i-change}

- Parquet 같은 **열 기반 형식**은 각 열을 따로 저장하므로, 50개 열 중 5개를 쓰는 작업은 데이터의 약 10분의 1만 읽습니다.
- 날짜, 출처, 레이블별 **파티셔닝**을 하면 작업이 필요 없는 파일 전체를 건너뛸 수 있습니다.
- **미리 토큰화한 데이터셋**을 쓰면 에포크마다 같은 텍스트 처리를 반복하지 않아도 됩니다.
- **중복 제거**는 데이터셋과 함께 학습 실행도 줄여 줍니다.

## 흔한 실수 {#common-mistakes}

- **한 번만 읽는 데이터를 변환하는 것.** 변환에도 비용이 듭니다. 반복해서 읽는 데이터에서 효과가 납니다.
- **중간 사본을 모두 보관하는 것.** 오래된 전처리 버전이 저장소를 채우며, 저장소에도 자체 발자국이 있습니다.
- **측정하지 않는 것.** 변경 전후로 일반적인 작업을 CodeCarbon 같은 추적기로 감싸거나, 적어도 시간을 재십시오.

모델 쪽 절감은 [모델 학습 에너지를 줄이는 방법](/ko/방법/모델-학습에-드는-에너지를-줄이려면-어떻게-해야-하나요/)을 참고하십시오.

## 출처

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
