요약
품질 기준을 충족할 수 있는 가장 작은 모델에서 시작한 다음, 증류, 양자화, 가지치기로 더 줄이면서 단계마다 대상 기기에서 시험하십시오. 실제 하드웨어에서 추론당 에너지, 지연 시간, 정확도를 함께 측정하고, 배터리가 부족하거나 기기가 뜨거울 때는 모델이 한 단계 낮은 수준으로 전환되게 하십시오.
단계
- 대상 기기에 대한 품질 기준과 메모리, 지연 시간, 에너지 예산을 정합니다.
- 큰 범용 모델을 줄이기보다 작거나 증류된 모델에서 시작합니다.
- 가중치를 8비트나 4비트로 양자화하고 자체 테스트 사례로 정확도를 확인합니다.
- 기여도가 낮은 가중치를 가지치기한 다음 기기에서 다시 시험합니다.
- 실제 하드웨어에서 추론당 에너지, 지연 시간, 정확도를 함께 측정합니다.
- 배터리가 부족하거나 기기가 뜨거우면 더 작은 모델이나 더 낮은 실행 빈도로 전환합니다.
작은 출발 모델에 증류, 양자화, 가지치기를 결합하고, 모든 단계를 기기 자체에서 판단하십시오. 엣지 기기는 메모리가 적고 배터리로 돌아가는 경우가 많아, 너무 큰 모델은 들어가지 않거나 배터리를 소모시키고 성능 제한(스로틀링)을 일으킵니다. 크기를 제대로 맞추면 데이터를 클라우드로 보낼 필요도 없습니다.
어떤 기법이 모델을 가장 많이 줄이나요?
- 증류(distillation)는 작은 "학생" 모델이 큰 "교사" 모델을 따라 하도록 학습시킵니다. DistilBERT는 BERT보다 40% 작고 60% 빠르면서 언어 이해 능력의 97%를 유지했습니다.
- 양자화(quantisation)는 가중치를 더 적은 비트로 저장합니다. Hugging Face 문서는 80억 파라미터 모델의 가중치가 16비트 정밀도에서 약 16 GB, 8비트에서 약 8 GB, 4비트에서 약 4–5 GB가 필요하며, 대신 정확도가 어느 정도 떨어진다는 예를 듭니다. 모델을 양자화하는 방법을 참고하십시오.
- 가지치기(pruning)는 출력에 거의 영향을 주지 않는 가중치를 제거합니다. 신경망을 가지치기하는 방법을 참고하십시오.
모델은 기기에서 어떻게 동작해야 하나요?
Green Software Foundation의 엣지 AI 패턴은 추론당 에너지, 지연 시간, 정확도를 함께 추적하고 상황에 맞춰 조정하라고 권합니다. 배터리가 부족하거나 기기가 뜨거울 때는 더 작은 모델이나 더 낮은 추론 빈도를 쓰는 식입니다.
흔한 실수
- 노트북에서만 시험하는 것. 가속기, 메모리, 발열 한계가 다르므로 대상 하드웨어에서 측정하십시오.
- 품질 기준 아래로 줄이는 것. 실패해서 대체 수단으로 클라우드를 호출해야 하는 모델은 절약하는 것보다 비용이 더 들 수 있습니다.
- 추론을 계속 실행하는 것. 가능하면 매 프레임이나 매초가 아니라 이벤트가 있을 때 실행하십시오.
엣지와 클라우드 중 어느 쪽이 더 친환경적인지는 경우에 따라 다릅니다. 엣지 또는 클라우드와 엣지의 AI를 참고하십시오.
출처
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
관련 내용
모델을 양자화하려면 어떻게 해야 하나요?
AI 모델을 8비트나 4비트로 양자화하는 방법, 쓸 도구, 품질 테스트 방법, 양자화가 에너지를 아낄 때와 그렇지 않을 때를 설명합니다.
큰 모델을 작은 모델로 증류하려면 어떻게 해야 하나요?
지식 증류의 원리입니다. 큰 교사 모델로 작은 학생 모델을 과제에 맞게 훈련하고, 시험한 뒤 큰 모델은 대비책으로 남겨 두십시오.
AI를 내 기기에서 돌릴지 클라우드에서 돌릴지 어떻게 정하나요?
기기(엣지) AI와 클라우드 AI를 에너지, 개인정보, 품질 면에서 비교하는 방법과 각각에 맞는 작업을 근거의 한계와 함께 설명합니다.
엣지냐 클라우드냐: AI는 어디에서 실행해야 할까요?
기기·엣지 AI와 중앙 데이터센터를 에너지, 네트워크, 하드웨어, 개인정보, 회복력 면에서 비교하고 단계별로 결정하는 방법을 안내합니다.