greenai.guide

홈 › 어떻게 하나요? › 파이프라인이 덜 읽도록 AI 학습 데이터를 저장하려면 어떻게 해야 하나요?

어떻게 하나요?

파이프라인이 덜 읽도록 AI 학습 데이터를 저장하려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

학습 데이터와 피처 데이터를 열 기반(columnar) 형식으로 저장해 작업이 쓰는 열과 파티션만 읽게 하고, 원본 텍스트는 실행이나 에포크마다 다시 파싱하지 말고 한 번만 바이너리 형식으로 변환하십시오. 변환이 비용만큼 효과가 있는지 확인하려면 일반적인 작업을 변환 전후로 측정하십시오. 데이터 처리는 모델에 가려 간과하기 쉽지만, 모든 실험에서 실행됩니다.

단계

  1. CSV나 JSON 같은 텍스트 파일을 실행할 때마다 통째로 읽는 파이프라인을 찾습니다.
  2. 이를 한 번만 열 기반 또는 바이너리 형식으로 변환합니다.
  3. 날짜나 출처처럼 필터에 쓰는 필드로 데이터를 파티셔닝합니다.
  4. 전처리와 토큰화는 한 번만 하고, 그 결과를 여러 실행과 에포크에 재사용합니다.
  5. 학습 전에 중복 데이터와 쓰지 않는 데이터를 제거합니다.
  6. 변경 전후로 일반적인 작업의 시간과 에너지를 측정합니다.

각 작업이 쓰는 것만 읽고, 한 번만 파싱하게 하십시오. 학습 데이터는 흔히 텍스트 파일에 담겨 있어, 모델에 필요한 열이 몇 개뿐이어도 매번 통째로 읽고 파싱됩니다.

왜 중요한가요?

데이터를 읽고 파싱하는 데는 실행마다, 에포크마다, 실험마다 CPU 시간, 메모리, 저장소 트래픽이 듭니다. 같은 데이터셋을 수백 번 처리하는 연구 개발에서는 이것이 쌓입니다. Green Software Foundation의 AI 데이터 저장 형식 패턴은 작업이 필요한 열과 파티션만 읽도록 열 기반 형식을 쓰고, 텍스트를 다시 파싱하는 대신 데이터를 한 번만 바이너리 형식으로 변환하라고 권합니다.

무엇을 바꿔야 하나요?

  • Parquet 같은 열 기반 형식은 각 열을 따로 저장하므로, 50개 열 중 5개를 쓰는 작업은 데이터의 약 10분의 1만 읽습니다.
  • 날짜, 출처, 레이블별 파티셔닝을 하면 작업이 필요 없는 파일 전체를 건너뛸 수 있습니다.
  • 미리 토큰화한 데이터셋을 쓰면 에포크마다 같은 텍스트 처리를 반복하지 않아도 됩니다.
  • 중복 제거는 데이터셋과 함께 학습 실행도 줄여 줍니다.

흔한 실수

  • 한 번만 읽는 데이터를 변환하는 것. 변환에도 비용이 듭니다. 반복해서 읽는 데이터에서 효과가 납니다.
  • 중간 사본을 모두 보관하는 것. 오래된 전처리 버전이 저장소를 채우며, 저장소에도 자체 발자국이 있습니다.
  • 측정하지 않는 것. 변경 전후로 일반적인 작업을 CodeCarbon 같은 추적기로 감싸거나, 적어도 시간을 재십시오.

모델 쪽 절감은 모델 학습 에너지를 줄이는 방법을 참고하십시오.

출처

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호