greenai.guide

首页 › 我该如何……? › 如何批量处理 AI 请求以节省能源?

我该如何……?

如何批量处理 AI 请求以节省能源?

更新于 · 阅读约需 1 分钟

简而言之

用支持连续批处理的推理引擎来处理实时流量,让并发请求共享加速器。不需要即时回答的工作,例如夜间文档处理,可以先排队,再以大批量运行,最好安排在电网更清洁的时段。一次只处理一个请求的加速器利用率很低,却仍然消耗大量电力。

步骤

  1. 把交互式请求与可以等待几分钟或几小时的工作区分开。
  2. 用支持连续批处理的引擎处理交互式流量。
  3. 把不紧急的工作排入队列,分批处理。
  4. 对于托管模型,如果服务商提供批处理接口,就使用它。
  5. 在真实的批量规模下测量每个请求的能耗,同时测量延迟。

批处理让硬件的一次运算服务许多请求。 每个回答的能耗在很大程度上取决于加速器有多忙。

为什么这很重要?

GPU 即使在低负载时也消耗大量电力,因此逐个处理请求,会把这些电力分摊到极少的回答上。Kwon 及其同事报告称,采用连续批处理和分页键值缓存管理的 vLLM,在相同延迟下的吞吐量是早期系统的 2 到 4 倍。Hugging Face 的推理文档也介绍了连续批处理。

两种批处理

  • 实时流量用连续批处理。 服务引擎会在其他请求完成时,把新请求加入正在运行的批次,因此用户不必等待批次填满。请使用支持这一功能的引擎,而不是简单的“每次调用处理一个请求”的循环。
  • 可以等待的工作用离线批处理。 汇总昨天的文档、给档案打标签或给数据集评分,都不需要即时回答。把它们排入队列,集中处理。绿色软件基金会(Green Software Foundation)建议,在延迟不太关键的情况下,把批量 AI 工作负载放在低碳地区和低碳时段运行;请参阅如何在电网更清洁时安排工作。

常见错误

  • 批次过大,影响了交互式用户的延迟。 请根据真实流量进行调优。
  • 填充浪费。 在某些引擎中,把很短和很长的输入放在一起,会浪费计算。
  • 在两次任务之间让批处理服务器一直运行;请参阅如何避免 GPU 闲置。

更多内容请阅读高效训练与推理。

来源

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私