# 如何在本地运行 AI 模型？

> 如何用 Ollama 或 llama.cpp 等工具在自己的笔记本电脑或服务器上运行开放 AI 模型，选择能装得下的量化模型，并测量其能耗。

Source: https://greenai.guide/zh/如何/如何在本地运行-ai-模型/  
Updated: 2026-11-19

## 简而言之

安装 Ollama 或 llama.cpp 之类的本地运行工具，下载一个 GGUF 等量化格式的小型开放权重模型，然后在您自己的电脑上运行。选择能完成任务的最小模型：量化版本所需内存少得多，一个 16 位形式下约需 16 GB 的 80 亿参数模型，在 4 位下约 4–5 GB 就能装下。

## Steps

1. 查看您电脑的内存，以及是否有可用的 GPU 或 Apple 芯片。
2. 安装 Ollama 或 llama.cpp 之类的本地运行工具。
3. 下载一个量化格式、能放进您内存的小型开放权重模型。
4. 用您的实际任务测试它，只有在效果不够时才换用更大的规格。
5. 用插座电能表或 CodeCarbon 之类的工具测量其能耗。
6. 不用时关闭模型，以免它占用内存或耗电。

**在本地运行模型，就是选一个运行工具、选一个装得下的模型，然后进行测量。** 这样数据留在您自己的电脑上，您还能清楚看到 AI 究竟耗费了多少能源，而托管服务从不向您展示这些。

## 我需要什么？ {#what-do-i-need}

- **一个运行工具。** Ollama 是在自己电脑上使用开放模型的热门方式。llama.cpp 是一个更底层的 C/C++ 引擎，旨在以最少的设置在各种硬件上运行模型。
- **一个模型文件。** GGUF 是一种为快速加载和高效推理而优化的二进制格式，提供从每个权重不到 2 位到 8 位的各种量化版本。
- **足够的内存。** Hugging Face 的文档给出了一个经验法则：一个 80 亿参数的模型，其权重在 16 位形式下约需 16 GB，8 位下约 8 GB，4 位下约 4–5 GB。位数越少，准确率会有所损失。

## 它比云端更环保吗？ {#is-it-greener-than-the-cloud}

**不一定。** 一台一次只处理一个请求的笔记本电脑，按每个回答计算，可能不如一台繁忙且批处理良好的数据中心服务器高效。当模型较小、任务频繁，或者可以省去通过网络发送大量数据时，本地运行更有优势。请参阅[设备端还是云端](/zh/如何/ai-应该在我的设备上运行-还是在云端运行/)。

## 常见错误 {#common-mistakes}

- **下载您电脑能装下的最大模型。** 从小模型开始；请参阅[选择更小的 AI 模型](/zh/如何/如何选择更小的-ai-模型/)。
- **在装有高功耗 GPU 的台式机上让模型整天保持加载。**
- **还没试过量化模型就买新 GPU**；请参阅[如何量化模型](/zh/如何/如何对模型进行量化/)。

要检查能耗，可以使用插座电能表或 CodeCarbon，具体方法见[测量 AI 在您自己电脑上的能耗](/zh/如何/如何测量-ai-在我自己电脑或-gpu-上的能耗/)。关于其中的取舍，请阅读[边缘还是云端](/zh/良好实践/边缘还是云端-ai-应该在哪里运行/)。

## 来源

- [Ollama documentation](https://docs.ollama.com), Ollama (2026)
- [llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp), ggml-org (GitHub) (2026)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
