요약
Ollama나 llama.cpp 같은 로컬 실행 도구를 설치하고, GGUF 같은 양자화 형식의 작은 오픈 웨이트 모델을 내려받아 자신의 컴퓨터에서 실행하십시오. 작업을 해내는 가장 작은 모델을 고르십시오. 양자화 버전은 메모리가 훨씬 적게 필요하므로, 16비트 형식으로 약 16 GB가 필요한 80억 매개변수 모델이 4비트로는 약 4~5 GB에 들어갑니다.
단계
- 컴퓨터의 메모리와 쓸 수 있는 GPU나 Apple silicon이 있는지 확인합니다.
- Ollama나 llama.cpp 같은 로컬 실행 도구를 설치합니다.
- 메모리에 맞는 양자화 형식의 작은 오픈 웨이트 모델을 내려받습니다.
- 실제 작업으로 시험하고, 부족할 때만 한 단계 큰 크기로 올립니다.
- 플러그형 전력계나 CodeCarbon 같은 도구로 에너지를 측정합니다.
- 쓰지 않을 때는 모델을 닫아 메모리와 전력을 차지하지 않게 합니다.
모델을 로컬에서 실행한다는 것은 실행 도구와 메모리에 맞는 모델을 고르고, 그다음 측정한다는 뜻입니다. 데이터가 내 기기에 남고, 호스팅 서비스가 결코 보여 주지 않는 AI의 에너지 비용을 정확히 볼 수 있습니다.
무엇이 필요한가요?
- 실행 도구. Ollama는 자신의 컴퓨터에서 오픈 모델을 쓰는 인기 있는 방법입니다. llama.cpp는 다양한 하드웨어에서 최소한의 설정으로 모델을 실행하는 것을 목표로 하는 더 저수준의 C/C++ 엔진입니다.
- 모델 파일. GGUF는 빠른 로딩과 효율적인 추론에 최적화된 바이너리 형식으로, 가중치당 2비트 미만부터 8비트까지의 양자화 버전이 있습니다.
- 충분한 메모리. Hugging Face 문서는 경험칙을 제시합니다. 80억 매개변수 모델의 가중치에는 16비트 형식으로 약 16 GB, 8비트로 약 8 GB, 4비트로 약 4~5 GB가 필요합니다. 비트 수가 적으면 정확도가 조금 떨어집니다.
클라우드보다 더 친환경적인가요?
저절로 그렇지는 않습니다. 요청을 한 번에 하나씩 처리하는 노트북은 바쁘게 돌아가며 배치 처리를 잘하는 데이터센터 서버보다 답변당 효율이 낮을 수 있습니다. 모델이 작거나, 작업이 잦거나, 큰 데이터를 네트워크로 보내지 않아도 될 때 로컬이 유리합니다. 기기냐 클라우드냐를 참고하십시오.
흔한 실수
- 기기에 들어가는 가장 큰 모델을 내려받는 것. 작게 시작하십시오. 더 작은 AI 모델 고르기를 참고하십시오.
- 전력을 많이 쓰는 GPU가 달린 데스크톱에 모델을 하루 종일 올려 두는 것.
- 양자화 모델을 써 보기 전에 새 GPU를 사는 것. 모델 양자화하는 법을 참고하십시오.
에너지를 확인하려면 내 컴퓨터에서 AI가 쓰는 에너지 측정하기에 설명한 대로 플러그형 전력계나 CodeCarbon을 쓰십시오. 장단점은 엣지냐 클라우드냐를 읽어 보십시오.
출처
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
관련 내용
모델을 양자화하려면 어떻게 해야 하나요?
AI 모델을 8비트나 4비트로 양자화하는 방법, 쓸 도구, 품질 테스트 방법, 양자화가 에너지를 아낄 때와 그렇지 않을 때를 설명합니다.
AI를 내 기기에서 돌릴지 클라우드에서 돌릴지 어떻게 정하나요?
기기(엣지) AI와 클라우드 AI를 에너지, 개인정보, 품질 면에서 비교하는 방법과 각각에 맞는 작업을 근거의 한계와 함께 설명합니다.
내 컴퓨터나 GPU에서 AI가 쓰는 에너지는 어떻게 측정하나요?
하드웨어 카운터, GPU 원격 측정, 플러그형 전력계로 로컬 AI 에너지를 재고, 작업 전체를 샘플링해 유휴 기준값을 빼는 방법입니다.
엣지냐 클라우드냐: AI는 어디에서 실행해야 할까요?
기기·엣지 AI와 중앙 데이터센터를 에너지, 네트워크, 하드웨어, 개인정보, 회복력 면에서 비교하고 단계별로 결정하는 방법을 안내합니다.