# 운영 환경에서 모델 서빙 에너지를 줄이려면 어떻게 해야 하나요?

> 효율적인 런타임, 배칭, 반정밀도, 컴파일 캐시, 검증한 하드웨어로 자체 호스팅 모델의 요청당 에너지를 줄이는 방법입니다.

Source: https://greenai.guide/ko/방법/운영-환경에서-모델-서빙-에너지를-줄이려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

품질 기준을 충족하는 가장 작은 모델을, 추론용으로 만든 런타임에서, 배칭을 켜고, 가중치를 반정밀도나 양자화 형식으로 올리고, 라이브러리의 최적화된 어텐션과 캐시 경로를 켠 상태로 서빙하십시오. 그런 다음 실제 트래픽에서 런타임과 하드웨어 두세 가지를 벤치마크하고, 지연 시간뿐 아니라 요청당 에너지로 고르십시오.

## Steps

1. 모델이 품질 기준을 충족하는 가장 작은 모델인지 확인합니다.
2. 연속 배칭을 지원하는 추론 엔진으로 서빙합니다.
3. 가중치를 반정밀도나 검증한 양자화 형식으로 불러옵니다.
4. 라이브러리가 지원하면 효율적인 어텐션과 정적 키-값 캐시를 켭니다.
5. 실제 배치 크기에서 런타임과 GPU 종류 두세 가지를 벤치마크합니다.
6. 트래픽이 적을 때는 규모를 줄이거나 0으로 낮춥니다.

**모델이 평생 쓰는 에너지의 대부분은 서빙에 들어가므로, 서빙 설정이 중요합니다.** 기본값이 가장 효율적인 경우는 드물고, 최적화된 경로는 대개 직접 켜야 합니다.

## 가장 큰 차이를 만드는 것은 무엇인가요? {#what-makes-the-biggest-difference}

1. **배칭.** 한 번에 요청 하나만 처리하는 가속기는 충분히 활용되지 않지만 여전히 전력을 씁니다. Kwon과 동료들은 페이지 방식 키-값 캐시 관리를 쓰는 vLLM이 같은 지연 시간에서 이전 시스템의 2~4배 처리량을 냈다고 보고했습니다. [AI 요청을 일괄 처리하는 방법](/ko/방법/에너지를-아끼려면-ai-요청을-어떻게-일괄-처리해야-하나요/)을 참고하십시오.
2. **정밀도.** 반정밀도나 검증한 [양자화](/ko/방법/모델을-양자화하려면-어떻게-해야-하나요/) 모델은 메모리를 덜 쓰고, GPU 수도 줄어드는 경우가 많습니다.
3. **최적화된 코드 경로.** Hugging Face는 효율적인 어텐션 구현과, `torch.compile`과 결합한 정적 키-값 캐시를 문서화하며, 이를 통해 최대 4배까지 빨라질 수 있다고 말합니다.
4. **근거에 따라 고른 런타임과 하드웨어.** Green Software Foundation은 효율적인 프레임워크와 추론 런타임을 고르라고 권장합니다. 모델을 훈련한 도구를 그대로 쓰지 말고 벤치마크하십시오.

## 흔한 실수 {#common-mistakes}

- **속도를 에너지로 여기는 것.** llama.cpp를 연구한 GreenCode 연구진은 GPU 에너지를 4.7% 줄였지만 속도는 3%만 올랐습니다. 두 지표는 서로 다른 이야기를 합니다. 둘 다 측정하십시오.
- **운영 환경은 훨씬 높은 동시성으로 돌아가는데 배치 크기 1로 벤치마크하는 것.** 반대의 경우도 마찬가지입니다.
- **없는 트래픽을 위해 밤새 복제본을 켜 두는 것.** [GPU가 놀지 않게 하는 방법](/ko/방법/gpu와-노트북-환경이-놀고-있지-않게-하려면-어떻게-해야-하나요/)을 참고하십시오.
- **측정 전에 컴파일된 모델을 예열하지 않는 것.** 수치가 왜곡됩니다.

전체 도구 모음은 [효율적인 훈련과 추론](/ko/모범-사례/효율적인-ai-훈련과-추론/)을 읽어 보십시오.

## 출처

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
