# 모델 학습에 드는 에너지를 줄이려면 어떻게 해야 하나요?

> 학습 에너지를 줄이는 주요 수단은 사전 학습 모델에서 시작, 크기 맞추기, 혼합 정밀도, 조기 종료, 깨끗한 장소와 시간 선택, 측정입니다.

Source: https://greenai.guide/ko/방법/모델-학습에-드는-에너지를-줄이려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

가능하면 사전 학습된 모델에서 시작하고, 기준을 충족할 수 있는 가장 작은 아키텍처를 고르고, 혼합 정밀도로 학습하고, 검증 성능이 더 나아지지 않으면 멈추고, 효율적인 하드웨어로 저탄소 지역과 시간에 실행하십시오. Patterson과 동료들은 모델, 데이터센터, 프로세서 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배 줄일 수 있음을 발견했습니다. 맞바꿈이 보이도록 모든 실행을 측정하십시오.

## Steps

1. 처음부터 학습하는 대신 사전 학습된 모델을 파인튜닝할 수 있는지 확인하십시오.
2. 전체 실행을 시작하기 전에 작은 규모로 아이디어를 시험해 보십시오.
3. 혼합 정밀도로 학습하고, 검증 성능이 더 나아지지 않으면 일찍 멈추십시오.
4. 저탄소 지역의 효율적인 가속기에서 실행하고, 유연한 실행은 더 깨끗한 시간대로 예약하십시오.
5. 실행을 멈췄다가 다시 시작해 처음부터 다시 하지 않도록 체크포인트를 저장하십시오.
6. 실패한 실행을 포함해 모든 실행의 에너지와 배출량을 추적하십시오.

**학습 에너지는 대부분 실행을 시작하기 전에 내린 결정으로 정해집니다.** 무엇을, 무엇으로, 어디서, 언제 학습하는지가 실행 중의 어떤 조정보다 중요합니다.

## 왜 중요한가요? {#why-does-it-matter}

Strubell, Ganesh, McCallum의 2019년 논문은 언어 모델 학습의 재정적·환경적 비용을 정량화하고 이를 줄일 방법을 제안했습니다. 이후 Patterson과 동료들은 모델 아키텍처, 데이터센터, 프로세서 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배 줄일 수 있음을 발견했습니다.

## 무엇이 가장 큰 차이를 만드나요? {#what-makes-the-biggest-difference}

1. **처음부터 학습하지 않기.** 사전 학습된 모델이나 그 위의 어댑터를 파인튜닝하는 비용은 대개 사전 학습의 극히 일부입니다. [처음부터 학습하지 않는 방법](/ko/방법/모델을-처음부터-학습시키지-않으려면-어떻게-해야-하나요/)을 참고하십시오.
2. **크기 맞추기.** 기준을 충족하는 더 작은 아키텍처가 기준을 넘어서는 큰 아키텍처보다 낫습니다.
3. **혼합 정밀도.** Micikevicius와 동료들의 연구에서 원래 정밀도의 마스터 사본을 두고 반정밀도로 학습하자 메모리 사용량이 거의 절반으로 줄어, 같은 하드웨어에 더 큰 배치를 올릴 수 있었습니다.
4. **조기 종료.** 검증 손실이 정체되면 실행을 끝내십시오.
5. **장소와 시간.** 효율적인 가속기와 저탄소 지역을 고르고, 유연한 작업은 전력망이 더 깨끗할 때 실행하십시오. [학습 일정 잡는 방법](/ko/방법/전력망이-더-깨끗할-때-학습을-실행하도록-일정을-잡으려면-어떻게-하나요/)을 참고하십시오.

## 흔한 실수 {#common-mistakes}

- **최종 실행만 세는 것.** 튜닝과 실패한 실행이 비용이 더 드는 경우가 많습니다. [하이퍼파라미터 탐색의 에너지를 줄이는 방법](/ko/방법/하이퍼파라미터-탐색에-드는-에너지를-줄이려면-어떻게-해야-하나요/)을 참고하십시오.
- **체크포인트를 저장하지 않아** 중단되면 처음부터 다시 시작해야 하는 것.
- **측정하지 않는 것.** 학습 스크립트에 CodeCarbon 같은 추적기를 넣으십시오.

전체 도구 모음은 [효율적인 학습과 추론](/ko/모범-사례/효율적인-ai-훈련과-추론/)을 읽어 보십시오.

## 출처

- [Carbon emissions and large neural network training](https://arxiv.org/abs/2104.10350), Patterson et al. (2021)
- [Mixed Precision Training](https://arxiv.org/abs/1710.03740), Micikevicius et al. (arXiv 1710.03740) (2017)
- [Energy and policy considerations for deep learning in NLP](https://arxiv.org/abs/1906.02243), Strubell, Ganesh and McCallum, ACL (2019)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
