greenai.guide

首页 › 我该如何……? › 如何对模型进行量化?

我该如何……?

如何对模型进行量化?

更新于 · 阅读约需 1 分钟

简而言之

量化是用更少的位数存储模型权重,通常用 8 位或 4 位代替 16 位或 32 位,因此所需内存更少,每次回答的能耗也往往更低。加载现成的量化版本,或用您所用库的内置方法进行量化,然后用您自己的示例与全精度模型对比测试。如果质量保持不变、每次请求的能耗下降,就保留它。

步骤

  1. 查看您的模型是否已有现成的量化版本。
  2. 如果没有,就用库中支持的方法进行量化,从 8 位开始。
  3. 在同一评估集上运行量化模型和原始模型。
  4. 如果 8 位的质量保持良好,而您还需要节省更多内存,可以尝试 4 位。
  5. 切换之前,按您实际的批量大小测量每次请求的能耗和延迟。

对于您自己运行的模型,量化往往是最快见效的提效手段。 它能缩减内存,让模型在更少或更小的 GPU 上运行,还能降低每次回答的能耗。

为什么这很重要?

Hugging Face 的文档给出了一个量级参考:一个 80 亿参数的模型,其权重在 16 位精度下约需 16 GB,8 位下约需 8 GB,4 位下约需 4 到 5 GB。Dettmers 及其同事通过 LLM.int8() 表明,对于最多 1750 亿参数的模型,8 位推理可以把所需内存减半,同时保持全精度的性能。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)报告称,量化等压缩方法最多可节省 44% 的能耗。

具体怎么做?

  • 下载量化版本。 许多开放模型都以量化格式发布。llama.cpp 使用的 GGUF 格式提供从每个权重约 1.5 位到 8 位的多种量化类型。
  • 加载时量化。 Hugging Face Transformers 等库支持 20 多种量化方法,其中有几种会在模型加载时量化权重。
  • 必要时进行校准。 有些方法会用您的一小部分数据来决定如何取整,这样在 4 位时往往能更好地保持质量。

常见错误

  • 跳过质量测试。 位数越少,准确率会有所损失,而且每种方法在内存、速度和准确率之间的取舍各不相同。请用您自己的用例测试。
  • 以为它总是更快。 Hugging Face 指出,如果您并不受 GPU 内存限制,量化可能会因额外的量化和反量化步骤而略微增加延迟。请测量能耗,而不只是速度。
  • 止步于量化。 把它与更小的模型或蒸馏结合起来。

更多内容请阅读高效的训练与推理。

来源

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私