# 如何批量处理 AI 请求以节省能源？

> 批处理如何提高加速器利用率、降低每个回答的能耗：实时流量用连续批处理，离线工作用排队批处理。

Source: https://greenai.guide/zh/如何/如何批量处理-ai-请求以节省能源/  
Updated: 2026-11-19

## 简而言之

用支持连续批处理的推理引擎来处理实时流量，让并发请求共享加速器。不需要即时回答的工作，例如夜间文档处理，可以先排队，再以大批量运行，最好安排在电网更清洁的时段。一次只处理一个请求的加速器利用率很低，却仍然消耗大量电力。

## Steps

1. 把交互式请求与可以等待几分钟或几小时的工作区分开。
2. 用支持连续批处理的引擎处理交互式流量。
3. 把不紧急的工作排入队列，分批处理。
4. 对于托管模型，如果服务商提供批处理接口，就使用它。
5. 在真实的批量规模下测量每个请求的能耗，同时测量延迟。

**批处理让硬件的一次运算服务许多请求。** 每个回答的能耗在很大程度上取决于加速器有多忙。

## 为什么这很重要？ {#why-does-it-matter}

GPU 即使在低负载时也消耗大量电力，因此逐个处理请求，会把这些电力分摊到极少的回答上。Kwon 及其同事报告称，采用连续批处理和分页键值缓存管理的 vLLM，在相同延迟下的吞吐量是早期系统的 2 到 4 倍。Hugging Face 的推理文档也介绍了连续批处理。

## 两种批处理 {#two-kinds-of-batching}

- **实时流量用连续批处理。** 服务引擎会在其他请求完成时，把新请求加入正在运行的批次，因此用户不必等待批次填满。请使用支持这一功能的引擎，而不是简单的“每次调用处理一个请求”的循环。
- **可以等待的工作用离线批处理。** 汇总昨天的文档、给档案打标签或给数据集评分，都不需要即时回答。把它们排入队列，集中处理。绿色软件基金会（Green Software Foundation）建议，在延迟不太关键的情况下，把批量 AI 工作负载放在低碳地区和低碳时段运行；请参阅[如何在电网更清洁时安排工作](/zh/如何/如何在电网更清洁的时候安排模型训练/)。

## 常见错误 {#common-mistakes}

- **批次过大，影响了交互式用户的延迟。** 请根据真实流量进行调优。
- **填充浪费。** 在某些引擎中，把很短和很长的输入放在一起，会浪费计算。
- **在两次任务之间让批处理服务器一直运行**；请参阅[如何避免 GPU 闲置](/zh/如何/如何避免-gpu-和笔记本环境闲置/)。

更多内容请阅读[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
