简而言之
用支持连续批处理的推理引擎来处理实时流量,让并发请求共享加速器。不需要即时回答的工作,例如夜间文档处理,可以先排队,再以大批量运行,最好安排在电网更清洁的时段。一次只处理一个请求的加速器利用率很低,却仍然消耗大量电力。
步骤
- 把交互式请求与可以等待几分钟或几小时的工作区分开。
- 用支持连续批处理的引擎处理交互式流量。
- 把不紧急的工作排入队列,分批处理。
- 对于托管模型,如果服务商提供批处理接口,就使用它。
- 在真实的批量规模下测量每个请求的能耗,同时测量延迟。
批处理让硬件的一次运算服务许多请求。 每个回答的能耗在很大程度上取决于加速器有多忙。
为什么这很重要?
GPU 即使在低负载时也消耗大量电力,因此逐个处理请求,会把这些电力分摊到极少的回答上。Kwon 及其同事报告称,采用连续批处理和分页键值缓存管理的 vLLM,在相同延迟下的吞吐量是早期系统的 2 到 4 倍。Hugging Face 的推理文档也介绍了连续批处理。
两种批处理
- 实时流量用连续批处理。 服务引擎会在其他请求完成时,把新请求加入正在运行的批次,因此用户不必等待批次填满。请使用支持这一功能的引擎,而不是简单的“每次调用处理一个请求”的循环。
- 可以等待的工作用离线批处理。 汇总昨天的文档、给档案打标签或给数据集评分,都不需要即时回答。把它们排入队列,集中处理。绿色软件基金会(Green Software Foundation)建议,在延迟不太关键的情况下,把批量 AI 工作负载放在低碳地区和低碳时段运行;请参阅如何在电网更清洁时安排工作。
常见错误
- 批次过大,影响了交互式用户的延迟。 请根据真实流量进行调优。
- 填充浪费。 在某些引擎中,把很短和很长的输入放在一起,会浪费计算。
- 在两次任务之间让批处理服务器一直运行;请参阅如何避免 GPU 闲置。
更多内容请阅读高效训练与推理。
来源
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
相关内容
我该如何……?
如何降低生产环境中模型服务的能耗?
如何以更低的单次请求能耗提供自托管模型服务:高效运行时、批处理、半精度、编译缓存,以及经过测试的硬件。
我该如何……?
如何在电网更清洁的时候安排模型训练?
在电网碳强度低时运行训练和批量 AI 作业:使用预测数据,用检查点让作业可以暂停,并把截止时间作为硬性限制。
良好实践
高效的 AI 训练与推理
开发者和研究人员降低 AI 能耗的技术:剪枝、稀疏化、量化、蒸馏、KV 缓存、批处理、混合精度和调度。
我该如何……?
如何避免 GPU 和笔记本环境闲置?
避免闲置的 AI 硬件浪费能源:按需启动资源,自动停止闲置的笔记本环境,非工作时间缩减到零,并报告闲置的 GPU 小时数。