요약
클라우드 제공업체는 짧은 예고로 회수할 수 있다는 조건으로 남는 용량을 스팟 또는 선점형 인스턴스로 싸게 팝니다. 학습, 평가, 배치 추론, 데이터 처리는 체크포인트를 저장하고 깔끔하게 재시도할 수 있다면 이 용량을 쓸 수 있습니다. 중단이 불안정을 더할 수 있으므로, Microsoft의 지침은 중단을 견딜 수 있는 작업에만 쓰라는 것입니다.
단계
- 학습, 평가, 배치 추론처럼 멈췄다가 다시 시작할 수 있는 AI 작업을 나열하십시오.
- 그런 작업에 정기적인 체크포인트와 깔끔한 재시도 로직을 추가하십시오.
- 여러 인스턴스 유형에 걸쳐 스팟 또는 선점형 용량에서 실행하십시오.
- 대화형 작업이나 마감이 중요한 작업은 표준 용량에 두십시오.
- 중단으로 잃는 작업량을 측정하고 체크포인트 간격을 조정하십시오.
남는 용량은 이미 만들어져 전원이 들어와 있는 하드웨어입니다. 유연한 작업에 쓰면 그 하드웨어를 더 잘 활용하게 됩니다. 대개 훨씬 저렴하기도 해서, 그렇게 할 근거가 더 강해집니다.
어떤 AI 작업이 알맞나요?
- 정기적으로 체크포인트를 저장하는 학습과 파인튜닝 실행
- 시도 하나하나가 독립적인 하이퍼파라미터 탐색
- 평가와 벤치마크 실행
- 문서나 이미지 대기열에 대한 배치 추론
- 데이터 준비
Microsoft의 Azure Well-Architected 지속가능성 지침은 "스팟 VM은 중단을 견딜 수 있는 작업에만 사용하라"고 하며, 스팟 VM이 인프라 낭비를 줄일 수 있지만 불안정을 불러올 수도 있다고 지적합니다.
작업이 중단에 견디게 하려면 어떻게 하나요?
- 옵티마이저 상태를 포함해 적절한 간격으로 체크포인트를 저장하십시오.
- 다시 시작하면 작업이 마지막 체크포인트에서 자동으로 이어지게 하십시오.
- 스케줄러가 끌어올 수 있는 남는 용량이 많아지도록 여러 인스턴스 유형을 허용하십시오.
- 끝난 작업을 잃지 않도록 출력을 조금씩 쓰십시오.
Green Software Foundation의 AI 작업 패턴이 제안하듯, 체크포인트가 있으면 전력망이 탁할 때 작업을 멈출 수도 있습니다. 전력망이 더 깨끗할 때 학습 일정 잡기를 참고하십시오.
흔한 실수
- 체크포인트가 없어서 중단되면 몇 시간의 작업을 버리고 에너지가 낭비되는 것.
- 체크포인트를 너무 자주 저장해서 저장 비용이 보호 효과보다 커지는 것.
- 사용자 대상 서비스를 스팟 용량에 두는 것.
호스팅과 데이터센터를 참고하십시오.
출처
- Reliability recommendations for sustainable workloads on Azure, Microsoft Azure Well-Architected Framework (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
관련 내용
GPU와 노트북 환경이 놀고 있지 않게 하려면 어떻게 해야 하나요?
유휴 AI 하드웨어의 에너지 낭비를 막는 법입니다. 필요할 때 켜고, 유휴 노트북을 자동 종료하고, 업무 외 시간엔 0으로 줄이고, 유휴 GPU 시간을 보고하십시오.
전력망이 더 깨끗할 때 학습을 실행하도록 일정을 잡으려면 어떻게 하나요?
전력망 탄소 집약도가 낮을 때 학습과 배치 AI 작업을 실행하는 방법입니다. 예보를 쓰고, 체크포인트로 일시 중지가 가능하게 하며, 마감은 엄격히 지킵니다.
에너지를 아끼려면 AI 요청을 어떻게 일괄 처리해야 하나요?
일괄 처리는 가속기 활용률을 높이고 답변당 에너지를 줄입니다. 실시간 트래픽에는 연속 배칭, 오프라인 작업에는 대기열 배치를 쓰십시오.
그린 AI 호스팅과 데이터센터
AI를 어디서 실행할지 고르는 법: 전력망 탄소 집약도, PUE와 WUE, 재생에너지 주장, 물 사용과 입지, 호스팅 업체에 물어볼 질문을 다룹니다.