요약
가능하면 사전 학습된 모델에서 시작하고, 기준을 충족할 수 있는 가장 작은 아키텍처를 고르고, 혼합 정밀도로 학습하고, 검증 성능이 더 나아지지 않으면 멈추고, 효율적인 하드웨어로 저탄소 지역과 시간에 실행하십시오. Patterson과 동료들은 모델, 데이터센터, 프로세서 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배 줄일 수 있음을 발견했습니다. 맞바꿈이 보이도록 모든 실행을 측정하십시오.
단계
- 처음부터 학습하는 대신 사전 학습된 모델을 파인튜닝할 수 있는지 확인하십시오.
- 전체 실행을 시작하기 전에 작은 규모로 아이디어를 시험해 보십시오.
- 혼합 정밀도로 학습하고, 검증 성능이 더 나아지지 않으면 일찍 멈추십시오.
- 저탄소 지역의 효율적인 가속기에서 실행하고, 유연한 실행은 더 깨끗한 시간대로 예약하십시오.
- 실행을 멈췄다가 다시 시작해 처음부터 다시 하지 않도록 체크포인트를 저장하십시오.
- 실패한 실행을 포함해 모든 실행의 에너지와 배출량을 추적하십시오.
학습 에너지는 대부분 실행을 시작하기 전에 내린 결정으로 정해집니다. 무엇을, 무엇으로, 어디서, 언제 학습하는지가 실행 중의 어떤 조정보다 중요합니다.
왜 중요한가요?
Strubell, Ganesh, McCallum의 2019년 논문은 언어 모델 학습의 재정적·환경적 비용을 정량화하고 이를 줄일 방법을 제안했습니다. 이후 Patterson과 동료들은 모델 아키텍처, 데이터센터, 프로세서 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배 줄일 수 있음을 발견했습니다.
무엇이 가장 큰 차이를 만드나요?
- 처음부터 학습하지 않기. 사전 학습된 모델이나 그 위의 어댑터를 파인튜닝하는 비용은 대개 사전 학습의 극히 일부입니다. 처음부터 학습하지 않는 방법을 참고하십시오.
- 크기 맞추기. 기준을 충족하는 더 작은 아키텍처가 기준을 넘어서는 큰 아키텍처보다 낫습니다.
- 혼합 정밀도. Micikevicius와 동료들의 연구에서 원래 정밀도의 마스터 사본을 두고 반정밀도로 학습하자 메모리 사용량이 거의 절반으로 줄어, 같은 하드웨어에 더 큰 배치를 올릴 수 있었습니다.
- 조기 종료. 검증 손실이 정체되면 실행을 끝내십시오.
- 장소와 시간. 효율적인 가속기와 저탄소 지역을 고르고, 유연한 작업은 전력망이 더 깨끗할 때 실행하십시오. 학습 일정 잡는 방법을 참고하십시오.
흔한 실수
- 최종 실행만 세는 것. 튜닝과 실패한 실행이 비용이 더 드는 경우가 많습니다. 하이퍼파라미터 탐색의 에너지를 줄이는 방법을 참고하십시오.
- 체크포인트를 저장하지 않아 중단되면 처음부터 다시 시작해야 하는 것.
- 측정하지 않는 것. 학습 스크립트에 CodeCarbon 같은 추적기를 넣으십시오.
전체 도구 모음은 효율적인 학습과 추론을 읽어 보십시오.
출처
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- CodeCarbon, CodeCarbon (2026)
관련 내용
효율적인 AI 훈련과 추론
개발자와 연구자가 AI 에너지를 줄이는 기법: 가지치기, 희소성, 양자화, 증류, KV 캐시, 배칭, 혼합 정밀도, 스케줄링을 다룹니다.
모델을 처음부터 학습시키지 않으려면 어떻게 해야 하나요?
직접 사전 학습하는 대신 기존 모델을 재사용하는 방법입니다. 파인튜닝, LoRA 적응, 모델 병합, 검색 기반 지식 추가를 활용합니다.
전력망이 더 깨끗할 때 학습을 실행하도록 일정을 잡으려면 어떻게 하나요?
전력망 탄소 집약도가 낮을 때 학습과 배치 AI 작업을 실행하는 방법입니다. 예보를 쓰고, 체크포인트로 일시 중지가 가능하게 하며, 마감은 엄격히 지킵니다.
모델 학습의 탄소 발자국은 어떻게 측정하나요?
CodeCarbon 같은 도구로 학습 실행의 에너지를 추적하고, 지역 전력망 탄소 집약도를 곱하고, 하드웨어·시간·위치를 함께 보고하십시오.