# 省エネのために AI へのリクエストをまとめて処理するには？

> バッチ処理でアクセラレーターの稼働率を高め、回答あたりのエネルギーを減らす方法です。ライブの通信には連続バッチ処理を、オフライン作業にはキューでまとめた処理を使います。

Source: https://greenai.guide/ja/ハウツー/省エネのために-ai-へのリクエストをまとめて処理するには/  
Updated: 2026-11-19

## 要点

ライブの通信には、連続バッチ処理を使う推論エンジンを使いましょう。同時に届いたリクエストでアクセラレーターを共有できます。夜間の文書処理など、すぐに答えが要らない作業はキューに入れて大きなバッチで実行し、できれば電力網がクリーンな時間帯に回します。リクエストを 1 件ずつ処理するアクセラレーターは十分に活用されていないのに、それでも多くの電力を使います。

## Steps

1. 対話型のリクエストと、数分や数時間待てる作業を分けます。
2. 対話型の通信は、連続バッチ処理に対応したエンジンで処理します。
3. 急がない作業はキューに入れ、まとめて処理します。
4. ホスト型のモデルでは、プロバイダーにバッチ用のインターフェースがあれば使います。
5. 実際のバッチサイズで、レイテンシとあわせてリクエストあたりのエネルギーを測ります。

**バッチ処理を使えば、ハードウェアの 1 回の処理で多くのリクエストに応えられます。** 回答あたりのエネルギーは、アクセラレーターがどれだけ忙しく働いているかに大きく左右されます。

## なぜ重要なのですか？ {#why-does-it-matter}

GPU は負荷が軽いときでも多くの電力を使うので、リクエストを 1 件ずつ処理すると、その電力をごく少数の回答で分け合うことになります。Kwon らは、連続バッチ処理とページ方式のキーバリューキャッシュ管理を備えた vLLM が、同じレイテンシで従来のシステムに比べてスループットを 2〜4 倍に高めたと報告しています。Hugging Face の推論のドキュメントでも連続バッチ処理を取り上げています。

## 2 種類のバッチ処理 {#two-kinds-of-batching}

- **ライブの通信には連続バッチ処理。** 推論エンジンは、ほかのリクエストが終わるたびに、実行中のバッチへ新しいリクエストを加えます。そのため、ユーザーはバッチがいっぱいになるのを待たずに済みます。呼び出しごとに 1 件を処理する単純なループではなく、これに対応したエンジンを使いましょう。
- **待てる作業にはオフラインのバッチ。** 前日の文書の要約、アーカイブへのタグ付け、データセットの採点には、すぐの回答は要りません。キューに入れてまとめて処理しましょう。Green Software Foundation は、AI のバッチ処理をレイテンシがそれほど重要でない低炭素のリージョンや時間帯に実行するよう勧めています。[電力網がグリーンな時間帯に作業を予定する方法](/ja/ハウツー/電力網がクリーンな時間帯に-ai-の学習を実行するには/)をご覧ください。

## よくある間違い {#common-mistakes}

- **大きすぎるバッチ。** 対話型のユーザーのレイテンシが悪化します。実際の通信で調整しましょう。
- **パディングの無駄。** とても短い入力ととても長い入力を一緒にまとめると、エンジンによっては計算が無駄になります。
- **作業の合間もバッチ用サーバーを動かしたままにすること。** [GPU を遊ばせない方法](/ja/ハウツー/gpu-やノートブックを遊ばせないようにするには/)をご覧ください。

詳しくは[効率的な学習と推論](/ja/グッドプラクティス/ai-の効率的な学習と推論/)をお読みください。

## 出典

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
