简而言之
使用能达到质量要求的最小模型,在专为推理构建的运行时上提供服务,开启批处理,以半精度或量化格式加载权重,并启用库中经过优化的注意力和缓存路径。然后在真实流量下对两三种运行时和硬件方案做基准测试,在比较延迟的同时,也按单次请求能耗来做选择。
步骤
- 确认该模型是能达到质量要求的最小模型。
- 使用支持连续批处理的推理引擎提供服务。
- 以半精度或经过测试的量化格式加载权重。
- 在您的库支持的情况下,开启高效注意力和静态键值缓存。
- 在真实批量大小下,对两三种运行时和 GPU 类型做基准测试。
- 流量较低时缩减规模,或缩减到零。
模型一生中的大部分能耗都花在提供服务上,所以服务设置很重要。 默认设置很少是最高效的选择,经过优化的路径通常需要手动开启。
什么影响最大?
- 批处理。 一次只处理一个请求的加速器利用率很低,却仍在耗电。Kwon 等人报告称,采用分页键值缓存管理的 vLLM 在相同延迟下,吞吐量是早期系统的 2 到 4 倍。请参阅如何批量处理 AI 请求。
- 精度。 半精度或经过测试的量化模型需要的内存更少,往往也需要更少的 GPU。
- 经过优化的代码路径。 Hugging Face 的文档介绍了高效注意力实现,以及与
torch.compile结合使用的静态键值缓存,并称这最多可带来 4 倍的提速。 - 依据证据选择运行时和硬件。 Green Software Foundation 建议选择高效的框架和推理运行时;请对它们做基准测试,而不是沿用训练模型时所用的工具。
常见错误
- 把速度等同于能耗。 GreenCode 的研究人员在 llama.cpp 上将 GPU 能耗降低了 4.7%,而速度只提高了 3%:两者反映的情况并不相同。请同时测量两者。
- 以批量大小 1 做基准测试,而生产环境的并发量要高得多,或者情况相反。
- 整夜保持副本运行,而那段时间并没有流量。请参阅如何避免 GPU 闲置。
- 测量前没有预热已编译的模型,导致数据失真。
如需完整的工具集,请阅读高效训练与推理。
来源
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)