要点
ライブの通信には、連続バッチ処理を使う推論エンジンを使いましょう。同時に届いたリクエストでアクセラレーターを共有できます。夜間の文書処理など、すぐに答えが要らない作業はキューに入れて大きなバッチで実行し、できれば電力網がクリーンな時間帯に回します。リクエストを 1 件ずつ処理するアクセラレーターは十分に活用されていないのに、それでも多くの電力を使います。
手順
- 対話型のリクエストと、数分や数時間待てる作業を分けます。
- 対話型の通信は、連続バッチ処理に対応したエンジンで処理します。
- 急がない作業はキューに入れ、まとめて処理します。
- ホスト型のモデルでは、プロバイダーにバッチ用のインターフェースがあれば使います。
- 実際のバッチサイズで、レイテンシとあわせてリクエストあたりのエネルギーを測ります。
バッチ処理を使えば、ハードウェアの 1 回の処理で多くのリクエストに応えられます。 回答あたりのエネルギーは、アクセラレーターがどれだけ忙しく働いているかに大きく左右されます。
なぜ重要なのですか?
GPU は負荷が軽いときでも多くの電力を使うので、リクエストを 1 件ずつ処理すると、その電力をごく少数の回答で分け合うことになります。Kwon らは、連続バッチ処理とページ方式のキーバリューキャッシュ管理を備えた vLLM が、同じレイテンシで従来のシステムに比べてスループットを 2〜4 倍に高めたと報告しています。Hugging Face の推論のドキュメントでも連続バッチ処理を取り上げています。
2 種類のバッチ処理
- ライブの通信には連続バッチ処理。 推論エンジンは、ほかのリクエストが終わるたびに、実行中のバッチへ新しいリクエストを加えます。そのため、ユーザーはバッチがいっぱいになるのを待たずに済みます。呼び出しごとに 1 件を処理する単純なループではなく、これに対応したエンジンを使いましょう。
- 待てる作業にはオフラインのバッチ。 前日の文書の要約、アーカイブへのタグ付け、データセットの採点には、すぐの回答は要りません。キューに入れてまとめて処理しましょう。Green Software Foundation は、AI のバッチ処理をレイテンシがそれほど重要でない低炭素のリージョンや時間帯に実行するよう勧めています。電力網がグリーンな時間帯に作業を予定する方法をご覧ください。
よくある間違い
- 大きすぎるバッチ。 対話型のユーザーのレイテンシが悪化します。実際の通信で調整しましょう。
- パディングの無駄。 とても短い入力ととても長い入力を一緒にまとめると、エンジンによっては計算が無駄になります。
- 作業の合間もバッチ用サーバーを動かしたままにすること。 GPU を遊ばせない方法をご覧ください。
詳しくは効率的な学習と推論をお読みください。
出典
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
関連
本番環境でモデルを動かすエネルギーを減らすには?
自前で運用するモデルのリクエストあたりのエネルギーを減らす方法です。効率的なランタイム、バッチ処理、半精度、キャッシュ、検証済みのハードウェアを使います。
電力網がクリーンな時間帯に AI の学習を実行するには?
電力網の炭素強度が低いときに学習やバッチ処理を実行します。予報を使い、チェックポイントで一時停止でき、期限は厳守する方法です。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。
GPU やノートブックを遊ばせないようにするには?
待機中の AI ハードウェアの無駄をなくす方法:必要時にリソースを起動し、アイドル状態のノートブックを自動停止し、時間外はゼロまで縮小し、遊休 GPU 時間を報告します。