简而言之
安装 Ollama 或 llama.cpp 之类的本地运行工具,下载一个 GGUF 等量化格式的小型开放权重模型,然后在您自己的电脑上运行。选择能完成任务的最小模型:量化版本所需内存少得多,一个 16 位形式下约需 16 GB 的 80 亿参数模型,在 4 位下约 4–5 GB 就能装下。
步骤
- 查看您电脑的内存,以及是否有可用的 GPU 或 Apple 芯片。
- 安装 Ollama 或 llama.cpp 之类的本地运行工具。
- 下载一个量化格式、能放进您内存的小型开放权重模型。
- 用您的实际任务测试它,只有在效果不够时才换用更大的规格。
- 用插座电能表或 CodeCarbon 之类的工具测量其能耗。
- 不用时关闭模型,以免它占用内存或耗电。
在本地运行模型,就是选一个运行工具、选一个装得下的模型,然后进行测量。 这样数据留在您自己的电脑上,您还能清楚看到 AI 究竟耗费了多少能源,而托管服务从不向您展示这些。
我需要什么?
- 一个运行工具。 Ollama 是在自己电脑上使用开放模型的热门方式。llama.cpp 是一个更底层的 C/C++ 引擎,旨在以最少的设置在各种硬件上运行模型。
- 一个模型文件。 GGUF 是一种为快速加载和高效推理而优化的二进制格式,提供从每个权重不到 2 位到 8 位的各种量化版本。
- 足够的内存。 Hugging Face 的文档给出了一个经验法则:一个 80 亿参数的模型,其权重在 16 位形式下约需 16 GB,8 位下约 8 GB,4 位下约 4–5 GB。位数越少,准确率会有所损失。
它比云端更环保吗?
不一定。 一台一次只处理一个请求的笔记本电脑,按每个回答计算,可能不如一台繁忙且批处理良好的数据中心服务器高效。当模型较小、任务频繁,或者可以省去通过网络发送大量数据时,本地运行更有优势。请参阅设备端还是云端。
常见错误
- 下载您电脑能装下的最大模型。 从小模型开始;请参阅选择更小的 AI 模型。
- 在装有高功耗 GPU 的台式机上让模型整天保持加载。
- 还没试过量化模型就买新 GPU;请参阅如何量化模型。
要检查能耗,可以使用插座电能表或 CodeCarbon,具体方法见测量 AI 在您自己电脑上的能耗。关于其中的取舍,请阅读边缘还是云端。
来源
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
相关内容
如何对模型进行量化?
如何把 AI 模型量化到 8 位或 4 位:使用哪些工具,如何测试质量,以及量化在什么情况下节能、什么情况下不节能。
AI 应该在我的设备上运行,还是在云端运行?
从能耗、隐私和质量的角度权衡设备端(边缘)AI 与云端 AI,说明各自适合哪些任务,并如实指出现有证据的局限。
如何测量 AI 在我自己电脑或 GPU 上的能耗?
用硬件计数器、GPU 遥测数据或插座式电表测量本地 AI 能耗,在整个作业期间持续采样,并减去空闲时的基准功耗。
边缘还是云端:AI 应该在哪里运行?
如何权衡设备端和边缘 AI 与集中式数据中心:能耗、网络、硬件、隐私和韧性,并附逐步决策方法。