简而言之
量化是用更少的位数存储模型权重,通常用 8 位或 4 位代替 16 位或 32 位,因此所需内存更少,每次回答的能耗也往往更低。加载现成的量化版本,或用您所用库的内置方法进行量化,然后用您自己的示例与全精度模型对比测试。如果质量保持不变、每次请求的能耗下降,就保留它。
步骤
- 查看您的模型是否已有现成的量化版本。
- 如果没有,就用库中支持的方法进行量化,从 8 位开始。
- 在同一评估集上运行量化模型和原始模型。
- 如果 8 位的质量保持良好,而您还需要节省更多内存,可以尝试 4 位。
- 切换之前,按您实际的批量大小测量每次请求的能耗和延迟。
对于您自己运行的模型,量化往往是最快见效的提效手段。 它能缩减内存,让模型在更少或更小的 GPU 上运行,还能降低每次回答的能耗。
为什么这很重要?
Hugging Face 的文档给出了一个量级参考:一个 80 亿参数的模型,其权重在 16 位精度下约需 16 GB,8 位下约需 8 GB,4 位下约需 4 到 5 GB。Dettmers 及其同事通过 LLM.int8() 表明,对于最多 1750 亿参数的模型,8 位推理可以把所需内存减半,同时保持全精度的性能。联合国教科文组织(UNESCO)和伦敦大学学院(UCL)报告称,量化等压缩方法最多可节省 44% 的能耗。
具体怎么做?
- 下载量化版本。 许多开放模型都以量化格式发布。llama.cpp 使用的 GGUF 格式提供从每个权重约 1.5 位到 8 位的多种量化类型。
- 加载时量化。 Hugging Face Transformers 等库支持 20 多种量化方法,其中有几种会在模型加载时量化权重。
- 必要时进行校准。 有些方法会用您的一小部分数据来决定如何取整,这样在 4 位时往往能更好地保持质量。
常见错误
- 跳过质量测试。 位数越少,准确率会有所损失,而且每种方法在内存、速度和准确率之间的取舍各不相同。请用您自己的用例测试。
- 以为它总是更快。 Hugging Face 指出,如果您并不受 GPU 内存限制,量化可能会因额外的量化和反量化步骤而略微增加延迟。请测量能耗,而不只是速度。
- 止步于量化。 把它与更小的模型或蒸馏结合起来。
更多内容请阅读高效的训练与推理。
来源
- Quantization overview, Hugging Face Transformers documentation (2026)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- GGUF, Hugging Face Hub documentation (2026)
相关内容
高效的 AI 训练与推理
开发者和研究人员降低 AI 能耗的技术:剪枝、稀疏化、量化、蒸馏、KV 缓存、批处理、混合精度和调度。
如何在本地运行 AI 模型?
如何用 Ollama 或 llama.cpp 等工具在自己的笔记本电脑或服务器上运行开放 AI 模型,选择能装得下的量化模型,并测量其能耗。
如何降低生产环境中模型服务的能耗?
如何以更低的单次请求能耗提供自托管模型服务:高效运行时、批处理、半精度、编译缓存,以及经过测试的硬件。
如何对神经网络进行剪枝?
如何对训练好的神经网络剪枝,去除贡献很小的权重,测试准确率还能保留多少,并核实硬件上是否真的节省了资源。