요약
작고 자주 하며 개인적이거나 지연에 민감한 작업은 기기에서 실행하고, 큰 모델이 필요한 크거나 가끔 하는 작업은 효율적인 클라우드 서비스로 보내십시오. 일부 연구는 적합한 모델을 기기에서 돌릴 때 에너지를 크게 아낀다고 보고하지만, 잘 운영되는 데이터센터는 넘기 어려운 기준이므로 가능하면 직접 측정하십시오.
단계
- 모델 크기, 실행 빈도, 개인정보, 오프라인 작동 필요 여부 등 작업의 요구 사항을 적습니다.
- 작은 모델, 잦은 사용, 개인 데이터, 오프라인 필요에는 기기를 우선합니다.
- 큰 모델, 가끔 하는 무거운 작업, 일괄 처리할 수 있는 작업에는 클라우드를 우선합니다.
- 측정할 수 있다면 네트워크를 포함해 두 방식의 작업당 에너지를 비교합니다.
- 배터리 수명과 하드웨어 연식도 기기 쪽 비용으로 고려합니다.
작고 자주 하는 작업은 기기에, 크고 가끔 하는 작업은 클라우드에 맞습니다. 어느 쪽도 모든 경우에 더 친환경적이지는 않습니다. 답은 모델, 실행 빈도, 그리고 각 쪽의 효율에 달려 있습니다.
근거는 무엇을 말하나요?
엇갈립니다. Li, Islam, Ren은 여러 생성형 모델을 엣지에 배포하면 발자국이 줄어들며, 최신 휴대전화에서 시험했을 때 에너지를 90% 넘게 아꼈다고 보고했습니다. 하지만 비교 기준으로 삼은 클라우드는 완전히 최적화된 상용 서비스가 아니었고, 효율적인 데이터센터에서 배치를 잘 묶어 돌리는 서버는 이기기가 더 어렵습니다. 수학자, 컴퓨터 과학자, 업계가 참여한 2026년 영국 그린 AI 샌드핏(집중 토론 워크숍)은 수백만 대의 기기에 퍼진 AI의 순 에너지 효과를 아직 풀리지 않은 문제로 꼽았습니다.
어떻게 선택하나요?
| 기기가 유리한 경우 | 클라우드가 유리한 경우 |
|---|---|
| Apple의 약 30억 매개변수 온디바이스 모델 같은 작은 모델 | 로컬에 들어가지 않는 큰 모델 |
| 사진마다, 키 입력마다처럼 자주 실행 | 가끔 실행 |
| 개인적이거나 민감한 데이터 | 일괄 처리하거나 예약할 수 있는 작업 |
| 오프라인이나 즉시 작동해야 함 | 가장 최신의, 가장 성능 좋은 모델이 필요함 |
Green Software Foundation은 엣지에서 AI 모델 실행하기를 그린 소프트웨어 패턴의 하나로 꼽지만, 규칙이 아니라 적합한 모델을 위한 선택지로 제시합니다.
흔한 실수
- 로컬은 공짜라고 생각하는 것. 배터리를 쓰고, 새 하드웨어를 사게 만들 수도 있습니다.
- 네트워크를 무시하는 것. 큰 파일을 클라우드로 보내는 데도 비용이 듭니다.
- 기기에 비해 너무 큰 모델을 돌리는 것. 느리고 전력을 많이 소모합니다.
더 자세한 판단 가이드는 엣지냐 클라우드냐와 엣지의 AI를 참고하십시오.
출처
- A case study of environmental footprints for generative AI inference: cloud versus edge, Li, Islam and Ren, ACM SIGMETRICS Performance Evaluation Review (2025)
- Apple Intelligence Foundation Language Models: Tech Report 2025, Apple (2025)
- Green Software Patterns: run AI models at the edge, Green Software Foundation (2025)
관련 내용
엣지냐 클라우드냐: AI는 어디에서 실행해야 할까요?
기기·엣지 AI와 중앙 데이터센터를 에너지, 네트워크, 하드웨어, 개인정보, 회복력 면에서 비교하고 단계별로 결정하는 방법을 안내합니다.
엣지 AI: 더 친환경적일까, 아니면 덜 보일 뿐일까?
온디바이스·엣지 AI는 네트워크와 데이터 센터 에너지를 아낄 수 있지만, 아무도 측정하지 않는 수십억 기기에 계산을 흩어 놓습니다. 아는 것과 모르는 것을 정리합니다.
AI 모델을 내 컴퓨터에서 직접 실행하려면 어떻게 해야 하나요?
Ollama나 llama.cpp로 노트북이나 서버에서 오픈 AI 모델을 실행하고, 메모리에 맞는 양자화 모델을 고르고, 에너지를 측정하는 방법입니다.
엣지 기기에서 돌아갈 만큼 모델을 작게 만들려면 어떻게 해야 하나요?
휴대전화, 센서, 임베디드 보드용으로 모델을 줄이는 방법입니다. 작게 시작해 증류, 양자화, 가지치기를 하고 실제 기기에서 정확도와 에너지를 시험합니다.