# 如何对模型进行量化？

> 如何把 AI 模型量化到 8 位或 4 位：使用哪些工具，如何测试质量，以及量化在什么情况下节能、什么情况下不节能。

Source: https://greenai.guide/zh/如何/如何对模型进行量化/  
Updated: 2026-11-19

## 简而言之

量化是用更少的位数存储模型权重，通常用 8 位或 4 位代替 16 位或 32 位，因此所需内存更少，每次回答的能耗也往往更低。加载现成的量化版本，或用您所用库的内置方法进行量化，然后用您自己的示例与全精度模型对比测试。如果质量保持不变、每次请求的能耗下降，就保留它。

## Steps

1. 查看您的模型是否已有现成的量化版本。
2. 如果没有，就用库中支持的方法进行量化，从 8 位开始。
3. 在同一评估集上运行量化模型和原始模型。
4. 如果 8 位的质量保持良好，而您还需要节省更多内存，可以尝试 4 位。
5. 切换之前，按您实际的批量大小测量每次请求的能耗和延迟。

**对于您自己运行的模型，量化往往是最快见效的提效手段。** 它能缩减内存，让模型在更少或更小的 GPU 上运行，还能降低每次回答的能耗。

## 为什么这很重要？ {#why-does-it-matter}

Hugging Face 的文档给出了一个量级参考：一个 80 亿参数的模型，其权重在 16 位精度下约需 16 GB，8 位下约需 8 GB，4 位下约需 4 到 5 GB。Dettmers 及其同事通过 LLM.int8() 表明，对于最多 1750 亿参数的模型，8 位推理可以把所需内存减半，同时保持全精度的性能。联合国教科文组织（UNESCO）和伦敦大学学院（UCL）报告称，量化等压缩方法最多可节省 44% 的能耗。

## 具体怎么做？ {#how-do-i-do-it}

- **下载量化版本。** 许多开放模型都以量化格式发布。llama.cpp 使用的 GGUF 格式提供从每个权重约 1.5 位到 8 位的多种量化类型。
- **加载时量化。** Hugging Face Transformers 等库支持 20 多种量化方法，其中有几种会在模型加载时量化权重。
- **必要时进行校准。** 有些方法会用您的一小部分数据来决定如何取整，这样在 4 位时往往能更好地保持质量。

## 常见错误 {#common-mistakes}

- **跳过质量测试。** 位数越少，准确率会有所损失，而且每种方法在内存、速度和准确率之间的取舍各不相同。请用您自己的用例测试。
- **以为它总是更快。** Hugging Face 指出，如果您并不受 GPU 内存限制，量化可能会因额外的量化和反量化步骤而略微增加延迟。请测量能耗，而不只是速度。
- **止步于量化。** 把它与更小的模型或[蒸馏](/zh/如何/如何把大模型蒸馏成小模型/)结合起来。

更多内容请阅读[高效的训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [LLM.int8(): 8-bit matrix multiplication for transformers at scale](https://arxiv.org/abs/2208.07339), Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- [Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO and University College London (2025)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
