greenai.guide

홈 › 어떻게 하나요? › 운영 환경에서 모델 서빙 에너지를 줄이려면 어떻게 해야 하나요?

어떻게 하나요?

운영 환경에서 모델 서빙 에너지를 줄이려면 어떻게 해야 하나요?

업데이트 · 1분 분량

요약

품질 기준을 충족하는 가장 작은 모델을, 추론용으로 만든 런타임에서, 배칭을 켜고, 가중치를 반정밀도나 양자화 형식으로 올리고, 라이브러리의 최적화된 어텐션과 캐시 경로를 켠 상태로 서빙하십시오. 그런 다음 실제 트래픽에서 런타임과 하드웨어 두세 가지를 벤치마크하고, 지연 시간뿐 아니라 요청당 에너지로 고르십시오.

단계

  1. 모델이 품질 기준을 충족하는 가장 작은 모델인지 확인합니다.
  2. 연속 배칭을 지원하는 추론 엔진으로 서빙합니다.
  3. 가중치를 반정밀도나 검증한 양자화 형식으로 불러옵니다.
  4. 라이브러리가 지원하면 효율적인 어텐션과 정적 키-값 캐시를 켭니다.
  5. 실제 배치 크기에서 런타임과 GPU 종류 두세 가지를 벤치마크합니다.
  6. 트래픽이 적을 때는 규모를 줄이거나 0으로 낮춥니다.

모델이 평생 쓰는 에너지의 대부분은 서빙에 들어가므로, 서빙 설정이 중요합니다. 기본값이 가장 효율적인 경우는 드물고, 최적화된 경로는 대개 직접 켜야 합니다.

가장 큰 차이를 만드는 것은 무엇인가요?

  1. 배칭. 한 번에 요청 하나만 처리하는 가속기는 충분히 활용되지 않지만 여전히 전력을 씁니다. Kwon과 동료들은 페이지 방식 키-값 캐시 관리를 쓰는 vLLM이 같은 지연 시간에서 이전 시스템의 2~4배 처리량을 냈다고 보고했습니다. AI 요청을 일괄 처리하는 방법을 참고하십시오.
  2. 정밀도. 반정밀도나 검증한 양자화 모델은 메모리를 덜 쓰고, GPU 수도 줄어드는 경우가 많습니다.
  3. 최적화된 코드 경로. Hugging Face는 효율적인 어텐션 구현과, torch.compile과 결합한 정적 키-값 캐시를 문서화하며, 이를 통해 최대 4배까지 빨라질 수 있다고 말합니다.
  4. 근거에 따라 고른 런타임과 하드웨어. Green Software Foundation은 효율적인 프레임워크와 추론 런타임을 고르라고 권장합니다. 모델을 훈련한 도구를 그대로 쓰지 말고 벤치마크하십시오.

흔한 실수

  • 속도를 에너지로 여기는 것. llama.cpp를 연구한 GreenCode 연구진은 GPU 에너지를 4.7% 줄였지만 속도는 3%만 올랐습니다. 두 지표는 서로 다른 이야기를 합니다. 둘 다 측정하십시오.
  • 운영 환경은 훨씬 높은 동시성으로 돌아가는데 배치 크기 1로 벤치마크하는 것. 반대의 경우도 마찬가지입니다.
  • 없는 트래픽을 위해 밤새 복제본을 켜 두는 것. GPU가 놀지 않게 하는 방법을 참고하십시오.
  • 측정 전에 컴파일된 모델을 예열하지 않는 것. 수치가 왜곡됩니다.

전체 도구 모음은 효율적인 훈련과 추론을 읽어 보십시오.

출처

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)

함께하기

AI가 지구에 미치는 영향을 함께 줄여 주세요

새 가이드, 지원 공모, 디렉터리 등록 소식을 한 달에 한 번 정도 이메일로 받아 보세요. 또는 제품, 강좌, 박사 과정, 연구를 디렉터리에 추가하세요.

추적하지 않습니다. 클릭 한 번으로 구독을 해지할 수 있습니다. 다른 참여 방법 · 개인정보 보호