greenai.guide

首页 › 我该如何……? › 如何在本地运行 AI 模型?

我该如何……?

如何在本地运行 AI 模型?

更新于 · 阅读约需 1 分钟

简而言之

安装 Ollama 或 llama.cpp 之类的本地运行工具,下载一个 GGUF 等量化格式的小型开放权重模型,然后在您自己的电脑上运行。选择能完成任务的最小模型:量化版本所需内存少得多,一个 16 位形式下约需 16 GB 的 80 亿参数模型,在 4 位下约 4–5 GB 就能装下。

步骤

  1. 查看您电脑的内存,以及是否有可用的 GPU 或 Apple 芯片。
  2. 安装 Ollama 或 llama.cpp 之类的本地运行工具。
  3. 下载一个量化格式、能放进您内存的小型开放权重模型。
  4. 用您的实际任务测试它,只有在效果不够时才换用更大的规格。
  5. 用插座电能表或 CodeCarbon 之类的工具测量其能耗。
  6. 不用时关闭模型,以免它占用内存或耗电。

在本地运行模型,就是选一个运行工具、选一个装得下的模型,然后进行测量。 这样数据留在您自己的电脑上,您还能清楚看到 AI 究竟耗费了多少能源,而托管服务从不向您展示这些。

我需要什么?

  • 一个运行工具。 Ollama 是在自己电脑上使用开放模型的热门方式。llama.cpp 是一个更底层的 C/C++ 引擎,旨在以最少的设置在各种硬件上运行模型。
  • 一个模型文件。 GGUF 是一种为快速加载和高效推理而优化的二进制格式,提供从每个权重不到 2 位到 8 位的各种量化版本。
  • 足够的内存。 Hugging Face 的文档给出了一个经验法则:一个 80 亿参数的模型,其权重在 16 位形式下约需 16 GB,8 位下约 8 GB,4 位下约 4–5 GB。位数越少,准确率会有所损失。

它比云端更环保吗?

不一定。 一台一次只处理一个请求的笔记本电脑,按每个回答计算,可能不如一台繁忙且批处理良好的数据中心服务器高效。当模型较小、任务频繁,或者可以省去通过网络发送大量数据时,本地运行更有优势。请参阅设备端还是云端。

常见错误

  • 下载您电脑能装下的最大模型。 从小模型开始;请参阅选择更小的 AI 模型。
  • 在装有高功耗 GPU 的台式机上让模型整天保持加载。
  • 还没试过量化模型就买新 GPU;请参阅如何量化模型。

要检查能耗,可以使用插座电能表或 CodeCarbon,具体方法见测量 AI 在您自己电脑上的能耗。关于其中的取舍,请阅读边缘还是云端。

来源

  1. Ollama documentation, Ollama (2026)
  2. llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
  3. GGUF, Hugging Face Hub documentation (2026)
  4. Quantization overview, Hugging Face Transformers documentation (2026)
  5. CodeCarbon, CodeCarbon (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私