greenai.guide

홈 › 어떻게 하나요? › 에너지 효율이 좋은 AI 하드웨어는 어떻게 고르나요?

어떻게 하나요?

에너지 효율이 좋은 AI 하드웨어는 어떻게 고르나요?

업데이트 · 1분 분량

요약

실제 모델을 두세 가지 하드웨어와 런타임 조합에서 벤치마크하고, 현실적인 배치 크기에서 요청당 또는 학습 1회당 에너지를 지연 시간, 비용과 함께 비교하십시오. Patterson과 동료들은 모델, 데이터센터, 프로세서를 함께 잘 고르면 학습의 탄소를 최대 약 100~1,000배까지 줄일 수 있음을 발견했습니다. 새 장비를 만드는 데도 탄소가 들므로, 좋은 하드웨어는 계속 바쁘게, 오래 사용하십시오.

단계

  1. 자체 모델을 두세 가지 가속기와 인스턴스 옵션에서 벤치마크합니다.
  2. 실제 배치 크기에서 요청당 또는 실행당 에너지를 지연 시간과 함께 측정합니다.
  3. 각 옵션에서 추론 런타임을 두 가지 이상 시험합니다.
  4. 지연 시간과 품질 요구를 충족하면서 에너지가 가장 적은 옵션을 고릅니다.
  5. 새 하드웨어의 내재 탄소를 예상 절감량과 비교합니다.
  6. 모델이나 트래픽이 바뀌면 다시 시험합니다.

최대 사양이 아니라 자기 작업에서 측정한 에너지로 하드웨어를 고르십시오. 같은 모델도 가속기, 인스턴스 유형, 런타임에 따라 에너지 사용이 크게 달라지며, 최선의 선택은 배치 크기와 트래픽에 따라 다릅니다.

선택지를 공정하게 비교하려면 어떻게 하나요?

Green Software Foundation의 패턴은 효율적인 가속기와 인스턴스 유형, 효율적인 프레임워크와 추론 런타임을 증거에 따라 선택하라고 권합니다. 실제로는 다음과 같습니다.

  • 각 후보에서 같은 모델, 입력, 설정으로 실행합니다.
  • 최선의 경우만이 아니라 실제로 쓸 배치 크기에서 요청당(또는 실행당) 에너지를 측정합니다.
  • 에너지와 함께 지연 시간과 품질을 기록합니다.
  • 런타임도 포함합니다. 같은 칩에서도 서빙 엔진이 다르면 결과가 달라질 수 있습니다.

Patterson과 동료들은 모델 아키텍처, 데이터센터, 프로세서의 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배까지 줄일 수 있음을 발견했습니다. 따라서 하드웨어 선택은 이런 다른 결정과 함께 이루어져야 합니다.

새 하드웨어를 사야 하나요?

무조건 그렇지는 않습니다. Meta의 Wu와 동료들은 하드웨어 제조에서 나오는 내재 탄소가 Meta 대규모 머신러닝 발자국의 약 30%였다고 보고했습니다. 새 가속기는 수명 동안 제조 비용을 상쇄할 만큼 에너지를 절약해야 합니다. 내재 탄소 산정하기를 참고하십시오.

흔한 실수

  • 큰 가속기를 충분히 활용하지 않는 것. 활용률이 낮은 대형 GPU는 바쁘게 돌아가는 작은 GPU보다 답변당 에너지를 더 쓸 수 있습니다. AI 요청 일괄 처리를 참고하십시오.
  • 한 번만 벤치마크하는 것. 모델, 런타임, 트래픽이 바뀌면 다시 시험하십시오.

효율적인 학습과 추론을 참고하십시오.

출처

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호