# AI 모델을 내 컴퓨터에서 직접 실행하려면 어떻게 해야 하나요?

> Ollama나 llama.cpp로 노트북이나 서버에서 오픈 AI 모델을 실행하고, 메모리에 맞는 양자화 모델을 고르고, 에너지를 측정하는 방법입니다.

Source: https://greenai.guide/ko/방법/ai-모델을-내-컴퓨터에서-직접-실행하려면-어떻게-해야-하나요/  
Updated: 2026-11-19

## 요약

Ollama나 llama.cpp 같은 로컬 실행 도구를 설치하고, GGUF 같은 양자화 형식의 작은 오픈 웨이트 모델을 내려받아 자신의 컴퓨터에서 실행하십시오. 작업을 해내는 가장 작은 모델을 고르십시오. 양자화 버전은 메모리가 훨씬 적게 필요하므로, 16비트 형식으로 약 16 GB가 필요한 80억 매개변수 모델이 4비트로는 약 4~5 GB에 들어갑니다.

## Steps

1. 컴퓨터의 메모리와 쓸 수 있는 GPU나 Apple silicon이 있는지 확인합니다.
2. Ollama나 llama.cpp 같은 로컬 실행 도구를 설치합니다.
3. 메모리에 맞는 양자화 형식의 작은 오픈 웨이트 모델을 내려받습니다.
4. 실제 작업으로 시험하고, 부족할 때만 한 단계 큰 크기로 올립니다.
5. 플러그형 전력계나 CodeCarbon 같은 도구로 에너지를 측정합니다.
6. 쓰지 않을 때는 모델을 닫아 메모리와 전력을 차지하지 않게 합니다.

**모델을 로컬에서 실행한다는 것은 실행 도구와 메모리에 맞는 모델을 고르고, 그다음 측정한다는 뜻입니다.** 데이터가 내 기기에 남고, 호스팅 서비스가 결코 보여 주지 않는 AI의 에너지 비용을 정확히 볼 수 있습니다.

## 무엇이 필요한가요? {#what-do-i-need}

- **실행 도구.** Ollama는 자신의 컴퓨터에서 오픈 모델을 쓰는 인기 있는 방법입니다. llama.cpp는 다양한 하드웨어에서 최소한의 설정으로 모델을 실행하는 것을 목표로 하는 더 저수준의 C/C++ 엔진입니다.
- **모델 파일.** GGUF는 빠른 로딩과 효율적인 추론에 최적화된 바이너리 형식으로, 가중치당 2비트 미만부터 8비트까지의 양자화 버전이 있습니다.
- **충분한 메모리.** Hugging Face 문서는 경험칙을 제시합니다. 80억 매개변수 모델의 가중치에는 16비트 형식으로 약 16 GB, 8비트로 약 8 GB, 4비트로 약 4~5 GB가 필요합니다. 비트 수가 적으면 정확도가 조금 떨어집니다.

## 클라우드보다 더 친환경적인가요? {#is-it-greener-than-the-cloud}

**저절로 그렇지는 않습니다.** 요청을 한 번에 하나씩 처리하는 노트북은 바쁘게 돌아가며 배치 처리를 잘하는 데이터센터 서버보다 답변당 효율이 낮을 수 있습니다. 모델이 작거나, 작업이 잦거나, 큰 데이터를 네트워크로 보내지 않아도 될 때 로컬이 유리합니다. [기기냐 클라우드냐](/ko/방법/ai를-내-기기에서-돌릴지-클라우드에서-돌릴지-어떻게-정하나요/)를 참고하십시오.

## 흔한 실수 {#common-mistakes}

- **기기에 들어가는 가장 큰 모델을 내려받는 것.** 작게 시작하십시오.
  [더 작은 AI 모델 고르기](/ko/방법/더-작은-ai-모델은-어떻게-골라야-하나요/)를 참고하십시오.
- **전력을 많이 쓰는 GPU가 달린 데스크톱에 모델을 하루 종일 올려 두는 것.**
- **양자화 모델을 써 보기 전에 새 GPU를 사는 것.** [모델 양자화하는 법](/ko/방법/모델을-양자화하려면-어떻게-해야-하나요/)을 참고하십시오.

에너지를 확인하려면
[내 컴퓨터에서 AI가 쓰는 에너지 측정하기](/ko/방법/내-컴퓨터나-gpu에서-ai가-쓰는-에너지는-어떻게-측정하나요/)에 설명한 대로 플러그형 전력계나 CodeCarbon을 쓰십시오. 장단점은
[엣지냐 클라우드냐](/ko/모범-사례/엣지냐-클라우드냐-ai는-어디에서-실행해야-할까요/)를 읽어 보십시오.

## 출처

- [Ollama documentation](https://docs.ollama.com), Ollama (2026)
- [llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp), ggml-org (GitHub) (2026)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
