요약
실시간 트래픽은 연속 배칭(continuous batching)을 쓰는 추론 엔진으로 처리해 동시 요청들이 가속기를 함께 쓰게 하십시오. 밤사이 문서 처리처럼 즉시 답이 필요 없는 작업은 대기열에 모아 큰 배치로 실행하고, 가능하면 전력망이 더 깨끗할 때 실행하십시오. 한 번에 요청 하나만 처리하는 가속기는 충분히 활용되지 않지만 여전히 상당한 전력을 씁니다.
단계
- 대화형 요청과 몇 분 또는 몇 시간 기다려도 되는 작업을 구분합니다.
- 대화형 트래픽은 연속 배칭을 지원하는 엔진으로 처리합니다.
- 급하지 않은 작업은 대기열에 넣어 배치로 처리합니다.
- 호스팅 모델에 배치 인터페이스가 있다면 제공업체의 배치 인터페이스를 씁니다.
- 실제 배치 크기에서 요청당 에너지를 지연 시간과 함께 측정합니다.
일괄 처리(배칭)를 하면 하드웨어가 한 번 연산할 때 많은 요청을 처리할 수 있습니다. 답변당 에너지는 가속기가 얼마나 바쁘게 일하는지에 크게 좌우됩니다.
왜 중요한가요?
GPU는 부하가 적을 때도 상당한 전력을 쓰므로, 요청을 하나씩 처리하면 그 전력이 아주 적은 답변에 나뉩니다. Kwon과 동료들은 연속 배칭과 페이지 방식 키-값 캐시 관리를 쓰는 vLLM이 이전 시스템보다 같은 지연 시간에서 처리량을 2~4배 높였다고 보고했습니다. Hugging Face의 추론 문서도 연속 배칭을 다룹니다.
두 가지 일괄 처리
- 실시간 트래픽을 위한 연속 배칭. 서빙 엔진은 다른 요청이 끝나는 대로 새 요청을 실행 중인 배치에 추가하므로, 사용자는 배치가 찰 때까지 기다리지 않습니다. 호출마다 요청 하나를 처리하는 단순한 반복문 대신 연속 배칭을 지원하는 엔진을 쓰십시오.
- 기다려도 되는 작업을 위한 오프라인 배치. 어제 문서 요약, 아카이브 태깅, 데이터셋 점수 매기기에는 즉각적인 답이 필요 없습니다. 대기열에 넣어 한꺼번에 처리하십시오. Green Software Foundation은 지연 시간이 덜 중요한 배치 AI 작업을 저탄소 지역과 시간대에 실행하라고 권장합니다. 전력망이 더 깨끗할 때 작업을 예약하는 방법을 참고하십시오.
흔한 실수
- 대화형 사용자의 지연 시간을 해칠 만큼 큰 배치. 실제 트래픽에서 조정하십시오.
- 패딩 낭비. 아주 짧은 입력과 아주 긴 입력을 함께 묶으면 일부 엔진에서는 연산이 낭비됩니다.
- 작업 사이에 배치 서버를 켜 두는 것. GPU가 놀지 않게 하는 방법을 참고하십시오.
효율적인 훈련과 추론에서 더 읽어 보십시오.
출처
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
관련 내용
운영 환경에서 모델 서빙 에너지를 줄이려면 어떻게 해야 하나요?
효율적인 런타임, 배칭, 반정밀도, 컴파일 캐시, 검증한 하드웨어로 자체 호스팅 모델의 요청당 에너지를 줄이는 방법입니다.
전력망이 더 깨끗할 때 학습을 실행하도록 일정을 잡으려면 어떻게 하나요?
전력망 탄소 집약도가 낮을 때 학습과 배치 AI 작업을 실행하는 방법입니다. 예보를 쓰고, 체크포인트로 일시 중지가 가능하게 하며, 마감은 엄격히 지킵니다.
효율적인 AI 훈련과 추론
개발자와 연구자가 AI 에너지를 줄이는 기법: 가지치기, 희소성, 양자화, 증류, KV 캐시, 배칭, 혼합 정밀도, 스케줄링을 다룹니다.
GPU와 노트북 환경이 놀고 있지 않게 하려면 어떻게 해야 하나요?
유휴 AI 하드웨어의 에너지 낭비를 막는 법입니다. 필요할 때 켜고, 유휴 노트북을 자동 종료하고, 업무 외 시간엔 0으로 줄이고, 유휴 GPU 시간을 보고하십시오.