greenai.guide

홈 › 어떻게 하나요? › 모델 학습에 드는 에너지를 줄이려면 어떻게 해야 하나요?

어떻게 하나요?

모델 학습에 드는 에너지를 줄이려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

가능하면 사전 학습된 모델에서 시작하고, 기준을 충족할 수 있는 가장 작은 아키텍처를 고르고, 혼합 정밀도로 학습하고, 검증 성능이 더 나아지지 않으면 멈추고, 효율적인 하드웨어로 저탄소 지역과 시간에 실행하십시오. Patterson과 동료들은 모델, 데이터센터, 프로세서 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배 줄일 수 있음을 발견했습니다. 맞바꿈이 보이도록 모든 실행을 측정하십시오.

단계

  1. 처음부터 학습하는 대신 사전 학습된 모델을 파인튜닝할 수 있는지 확인하십시오.
  2. 전체 실행을 시작하기 전에 작은 규모로 아이디어를 시험해 보십시오.
  3. 혼합 정밀도로 학습하고, 검증 성능이 더 나아지지 않으면 일찍 멈추십시오.
  4. 저탄소 지역의 효율적인 가속기에서 실행하고, 유연한 실행은 더 깨끗한 시간대로 예약하십시오.
  5. 실행을 멈췄다가 다시 시작해 처음부터 다시 하지 않도록 체크포인트를 저장하십시오.
  6. 실패한 실행을 포함해 모든 실행의 에너지와 배출량을 추적하십시오.

학습 에너지는 대부분 실행을 시작하기 전에 내린 결정으로 정해집니다. 무엇을, 무엇으로, 어디서, 언제 학습하는지가 실행 중의 어떤 조정보다 중요합니다.

왜 중요한가요?

Strubell, Ganesh, McCallum의 2019년 논문은 언어 모델 학습의 재정적·환경적 비용을 정량화하고 이를 줄일 방법을 제안했습니다. 이후 Patterson과 동료들은 모델 아키텍처, 데이터센터, 프로세서 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배 줄일 수 있음을 발견했습니다.

무엇이 가장 큰 차이를 만드나요?

  1. 처음부터 학습하지 않기. 사전 학습된 모델이나 그 위의 어댑터를 파인튜닝하는 비용은 대개 사전 학습의 극히 일부입니다. 처음부터 학습하지 않는 방법을 참고하십시오.
  2. 크기 맞추기. 기준을 충족하는 더 작은 아키텍처가 기준을 넘어서는 큰 아키텍처보다 낫습니다.
  3. 혼합 정밀도. Micikevicius와 동료들의 연구에서 원래 정밀도의 마스터 사본을 두고 반정밀도로 학습하자 메모리 사용량이 거의 절반으로 줄어, 같은 하드웨어에 더 큰 배치를 올릴 수 있었습니다.
  4. 조기 종료. 검증 손실이 정체되면 실행을 끝내십시오.
  5. 장소와 시간. 효율적인 가속기와 저탄소 지역을 고르고, 유연한 작업은 전력망이 더 깨끗할 때 실행하십시오. 학습 일정 잡는 방법을 참고하십시오.

흔한 실수

  • 최종 실행만 세는 것. 튜닝과 실패한 실행이 비용이 더 드는 경우가 많습니다. 하이퍼파라미터 탐색의 에너지를 줄이는 방법을 참고하십시오.
  • 체크포인트를 저장하지 않아 중단되면 처음부터 다시 시작해야 하는 것.
  • 측정하지 않는 것. 학습 스크립트에 CodeCarbon 같은 추적기를 넣으십시오.

전체 도구 모음은 효율적인 학습과 추론을 읽어 보십시오.

출처

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호