greenai.guide

홈 › 어떻게 하나요? › 하이퍼파라미터 탐색에 드는 에너지를 줄이려면 어떻게 해야 하나요?

어떻게 하나요?

하이퍼파라미터 탐색에 드는 에너지를 줄이려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

큰 그리드 탐색을 무작위 탐색이나 적응형 탐색으로 바꾸고, 부진한 시도는 일찍 중단하고, 먼저 작은 데이터나 작은 모델로 시험해 보고, 해당 아키텍처에 대해 공개된 기본값에서 시작하십시오. 최종 승자만이 아니라 모든 시도의 에너지를 기록하고, 시작하기 전에 연산 예산을 정하십시오. 튜닝 실행은 최종 학습보다 비용이 더 드는 경우가 많지만 보고되는 일은 드뭅니다.

단계

  1. 시작하기 전에 탐색에 쓸 연산 예산을 정합니다.
  2. 해당 모델 계열에 대해 공개된 기본 하이퍼파라미터에서 시작합니다.
  3. 전체 그리드 대신 무작위 탐색이나 적응형 탐색을 씁니다.
  4. 지금까지의 최선보다 분명히 나쁜 시도는 일찍 중단합니다.
  5. 규모를 키우기 전에 데이터 일부나 더 작은 모델로 시험합니다.
  6. 모든 시도의 에너지와 배출량을 정확도와 함께 기록합니다.

넓게가 아니라 똑똑하게 튜닝하십시오. 여러 하이퍼파라미터에 대한 전체 그리드는 학습 비용을 조합 수만큼 곱하며, 그 실행 대부분은 초반부터 분명히 성능이 떨어집니다.

왜 중요한가요?

Strubell, Ganesh, McCallum의 2019년 논문은 최종 학습 한 번만이 아니라 그 주변의 실험까지 포함해 언어 모델 개발 비용을 정량화했습니다. Schwartz와 동료들의 "Green AI"는 효율이 정확도와 함께 평가받을 수 있도록, 연구자가 결과에 이르기까지 걸린 실험을 포함해 결과의 연산 비용을 보고해야 한다고 주장했습니다.

무엇이 가장 큰 차이를 만드나요?

  • 부진한 시도의 조기 중단. 연속 반감(successive halving) 방식은 모든 시도에 작은 예산을 주고 유망한 것만 계속합니다. 대부분의 튜닝 라이브러리가 이를 지원합니다.
  • 무작위 또는 적응형 탐색. 모든 조합을 실행하는 대신 설정을 무작위로 뽑거나, 적응형 방법이 이전 결과를 바탕으로 다음 시도를 고르게 합니다.
  • 소규모 시험. 데이터 일부나 더 작은 모델로 아이디어를 걸러 냅니다.
  • 기본값부터. 일반적인 아키텍처에 대해 잘 검증된 기본값은 최적에 가까운 경우가 많습니다.
  • 모든 시도를 기록. CodeCarbon 문서는 각 설정을 추적하고 정확도와 배출량을 비교하는 방법을 보여 줍니다.

흔한 실수

더 알아보려면 연구자를 위한 가이드를 읽어 보십시오.

출처

  1. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  2. Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
  3. Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호