요약
온디맨드를 기본으로 하십시오. 파이프라인과 훈련 작업은 실행될 때 자원을 켜고 끝나면 반납해야 합니다. 유휴 노트북과 개발용 GPU는 정해진 시간이 지나면 자동으로 끄고, 운영 외 환경은 업무 시간 밖에 0으로 줄이고, 팀별 유휴 GPU 시간을 비용과 나란히 보고해 낭비가 보이게 하십시오.
단계
- 파이프라인과 훈련 작업이 실행될 때 자원을 켜고 끝나면 반납하게 합니다.
- 노트북 환경과 개발용 GPU가 일정 시간 사용하지 않으면 자동으로 꺼지게 설정합니다.
- 운영 외 환경은 업무 시간 밖에 0으로 줄입니다.
- 임시 환경에는 자동 삭제 날짜를 둡니다.
- 팀별 유휴 GPU 시간을 비용과 함께 보고합니다.
놀고 있는 GPU도 전력을 쓰고, 만드는 데 에너지가 든 하드웨어를 계속 붙잡아 둡니다. 실험 하나를 위해 만든 노트북 환경, 클러스터, 테스트 환경은 실험 사이에 켜 둔 채로 두거나 잊어버리기 쉽습니다.
무엇을 온디맨드로 해야 하나요?
Green Software Foundation의 AI 및 에이전트 워크로드 패턴은 인프라를 일하는 동안에만 실행하라고 권장합니다. 모델 개발, 파이프라인, 에이전트에 서버리스나 온디맨드 실행을 써서, 자원이 실행될 때 켜지고 끝나면 꺼지게 하는 것입니다.
개발과 테스트 환경은 어떤가요?
Microsoft의 Azure Well-Architected 지침은 "사용하지 않을 때는 운영 외 환경을 종료하라"고 말합니다. Kubernetes에서는 KEDA의 cron scaler로 정해진 시간대에는 워크로드를 늘리고 그 밖에는 0으로 줄일 수 있습니다. 정말로 계속 켜져 있어야 하는 공유 서비스만 제외하고, 그 이유를 적어 두십시오.
가장 큰 차이를 만드는 것
- 노트북 환경 자동 종료. 가장 흔히 잊히는 GPU 사용처입니다.
- 가시성. 유휴 GPU 시간을 지출과 같은 보고서에 넣으십시오. 팀은 볼 수 있는 것에 대응합니다.
- 공유. 공유 풀이나 대기열은 보통 한 사람당 한 대씩보다 GPU를 더 바쁘게 유지합니다.
흔한 실수
- 일주일에 한 번 실행되는 작업을 위해 큰 GPU를 "혹시 몰라서" 예약해 두는 것.
- 하루에 몇 번 쓰는 내부 도구를 위해 모델을 메모리에 계속 올려 두는 것.
호스팅과 데이터센터와 효율적인 훈련과 추론을 참고하십시오.
출처
- Serverless architecture for AI/ML workload processes, Green Software Foundation, Green Software Patterns (2025)
- Use on-demand execution for AI and agent workloads, Green Software Foundation, Green Software Patterns (2025)
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Cron scaler, KEDA (CNCF) (2025)
관련 내용
남는 클라우드 용량으로 AI 작업을 돌리려면 어떻게 해야 하나요?
중단해도 되는 AI 작업을 스팟·선점형 용량에서 실행하십시오. 체크포인트와 재시도를 갖추고, 중단되면 안 되는 작업은 따로 두는 방법입니다.
에너지를 아끼려면 AI 요청을 어떻게 일괄 처리해야 하나요?
일괄 처리는 가속기 활용률을 높이고 답변당 에너지를 줄입니다. 실시간 트래픽에는 연속 배칭, 오프라인 작업에는 대기열 배치를 쓰십시오.
연구용 클러스터에서 AI 실험의 발자국을 줄이려면 어떻게 해야 하나요?
HPC에서 AI 실험 에너지를 줄이는 법입니다. Slurm 에너지 기록을 읽고, 쓸 만큼만 요청하고, 작게 시험하고, 체크포인트와 예약을 활용하십시오.
그린 AI 호스팅과 데이터센터
AI를 어디서 실행할지 고르는 법: 전력망 탄소 집약도, PUE와 WUE, 재생에너지 주장, 물 사용과 입지, 호스팅 업체에 물어볼 질문을 다룹니다.