# 如何降低生产环境中模型服务的能耗？

> 如何以更低的单次请求能耗提供自托管模型服务：高效运行时、批处理、半精度、编译缓存，以及经过测试的硬件。

Source: https://greenai.guide/zh/如何/如何降低生产环境中模型服务的能耗/  
Updated: 2026-11-19

## 简而言之

使用能达到质量要求的最小模型，在专为推理构建的运行时上提供服务，开启批处理，以半精度或量化格式加载权重，并启用库中经过优化的注意力和缓存路径。然后在真实流量下对两三种运行时和硬件方案做基准测试，在比较延迟的同时，也按单次请求能耗来做选择。

## Steps

1. 确认该模型是能达到质量要求的最小模型。
2. 使用支持连续批处理的推理引擎提供服务。
3. 以半精度或经过测试的量化格式加载权重。
4. 在您的库支持的情况下，开启高效注意力和静态键值缓存。
5. 在真实批量大小下，对两三种运行时和 GPU 类型做基准测试。
6. 流量较低时缩减规模，或缩减到零。

**模型一生中的大部分能耗都花在提供服务上，所以服务设置很重要。** 默认设置很少是最高效的选择，经过优化的路径通常需要手动开启。

## 什么影响最大？ {#what-makes-the-biggest-difference}

1. **批处理。** 一次只处理一个请求的加速器利用率很低，却仍在耗电。Kwon 等人报告称，采用分页键值缓存管理的 vLLM 在相同延迟下，吞吐量是早期系统的 2 到 4 倍。请参阅[如何批量处理 AI 请求](/zh/如何/如何批量处理-ai-请求以节省能源/)。
2. **精度。** 半精度或经过测试的[量化](/zh/如何/如何对模型进行量化/)模型需要的内存更少，往往也需要更少的 GPU。
3. **经过优化的代码路径。** Hugging Face 的文档介绍了高效注意力实现，以及与 `torch.compile` 结合使用的静态键值缓存，并称这最多可带来 4 倍的提速。
4. **依据证据选择运行时和硬件。** Green Software Foundation 建议选择高效的框架和推理运行时；请对它们做基准测试，而不是沿用训练模型时所用的工具。

## 常见错误 {#common-mistakes}

- **把速度等同于能耗。** GreenCode 的研究人员在 llama.cpp 上将 GPU 能耗降低了 4.7%，而速度只提高了 3%：两者反映的情况并不相同。请同时测量两者。
- **以批量大小 1 做基准测试**，而生产环境的并发量要高得多，或者情况相反。
- **整夜保持副本运行**，而那段时间并没有流量。请参阅[如何避免 GPU 闲置](/zh/如何/如何避免-gpu-和笔记本环境闲置/)。
- **测量前没有预热已编译的模型**，导致数据失真。

如需完整的工具集，请阅读[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
