# 에너지 효율이 좋은 AI 하드웨어는 어떻게 고르나요?

> 실제 배치 크기에서 측정한 작업당 에너지로 AI 하드웨어를 고르고, 런타임과 가속기를 비교하며, 새 장비와 내재 탄소를 함께 따져 봅니다.

Source: https://greenai.guide/ko/방법/에너지-효율이-좋은-ai-하드웨어는-어떻게-고르나요/  
Updated: 2026-11-19

## 요약

실제 모델을 두세 가지 하드웨어와 런타임 조합에서 벤치마크하고, 현실적인 배치 크기에서 요청당 또는 학습 1회당 에너지를 지연 시간, 비용과 함께 비교하십시오. Patterson과 동료들은 모델, 데이터센터, 프로세서를 함께 잘 고르면 학습의 탄소를 최대 약 100~1,000배까지 줄일 수 있음을 발견했습니다. 새 장비를 만드는 데도 탄소가 들므로, 좋은 하드웨어는 계속 바쁘게, 오래 사용하십시오.

## Steps

1. 자체 모델을 두세 가지 가속기와 인스턴스 옵션에서 벤치마크합니다.
2. 실제 배치 크기에서 요청당 또는 실행당 에너지를 지연 시간과 함께 측정합니다.
3. 각 옵션에서 추론 런타임을 두 가지 이상 시험합니다.
4. 지연 시간과 품질 요구를 충족하면서 에너지가 가장 적은 옵션을 고릅니다.
5. 새 하드웨어의 내재 탄소를 예상 절감량과 비교합니다.
6. 모델이나 트래픽이 바뀌면 다시 시험합니다.

**최대 사양이 아니라 자기 작업에서 측정한 에너지로 하드웨어를 고르십시오.** 같은 모델도 가속기, 인스턴스 유형, 런타임에 따라 에너지 사용이 크게 달라지며, 최선의 선택은 배치 크기와 트래픽에 따라 다릅니다.

## 선택지를 공정하게 비교하려면 어떻게 하나요? {#how-do-i-compare-options-fairly}

Green Software Foundation의 패턴은 효율적인 가속기와 인스턴스 유형, 효율적인 프레임워크와 추론 런타임을 증거에 따라 선택하라고 권합니다. 실제로는 다음과 같습니다.

- 각 후보에서 같은 모델, 입력, 설정으로 실행합니다.
- 최선의 경우만이 아니라 실제로 쓸 배치 크기에서 요청당(또는 실행당) 에너지를 측정합니다.
- 에너지와 함께 지연 시간과 품질을 기록합니다.
- 런타임도 포함합니다. 같은 칩에서도 서빙 엔진이 다르면 결과가 달라질 수 있습니다.

Patterson과 동료들은 모델 아키텍처, 데이터센터, 프로세서의 선택으로 학습의 탄소 발자국을 최대 약 100~1,000배까지 줄일 수 있음을 발견했습니다. 따라서 하드웨어 선택은 이런 다른 결정과 함께 이루어져야 합니다.

## 새 하드웨어를 사야 하나요? {#should-i-buy-new-hardware}

무조건 그렇지는 않습니다. Meta의 Wu와 동료들은 하드웨어 제조에서 나오는 내재 탄소가 Meta 대규모 머신러닝 발자국의 약 30%였다고 보고했습니다. 새 가속기는 수명 동안 제조 비용을 상쇄할 만큼 에너지를 절약해야 합니다. [내재 탄소 산정하기](/ko/방법/ai-하드웨어의-내재-탄소는-어떻게-계산에-넣어야-하나요/)를 참고하십시오.

## 흔한 실수 {#common-mistakes}

- **큰 가속기를 충분히 활용하지 않는 것.** 활용률이 낮은 대형 GPU는 바쁘게 돌아가는 작은 GPU보다 답변당 에너지를 더 쓸 수 있습니다. [AI 요청 일괄 처리](/ko/방법/에너지를-아끼려면-ai-요청을-어떻게-일괄-처리해야-하나요/)를 참고하십시오.
- **한 번만 벤치마크하는 것.** 모델, 런타임, 트래픽이 바뀌면 다시 시험하십시오.

[효율적인 학습과 추론](/ko/모범-사례/효율적인-ai-훈련과-추론/)을 참고하십시오.

## 출처

- [Carbon emissions and large neural network training](https://arxiv.org/abs/2104.10350), Patterson et al. (2021)
- [Select efficient accelerators and instance types for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/efficient-hardware-ai-workloads.md), Green Software Foundation, Green Software Patterns (2025)
- [Select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation, Green Software Patterns (2025)
- [Sustainable AI: environmental implications, challenges and opportunities](https://proceedings.mlsys.org/paper_files/paper/2022/hash/462211f67c7d858f663355eff93b745e-Abstract.html), Wu et al., MLSys (2022)
