greenai.guide

ホーム › どうすれば…? › 省エネのために AI へのリクエストをまとめて処理するには?

どうすれば…?

省エネのために AI へのリクエストをまとめて処理するには?

更新日 · 1分で読めます

要点

ライブの通信には、連続バッチ処理を使う推論エンジンを使いましょう。同時に届いたリクエストでアクセラレーターを共有できます。夜間の文書処理など、すぐに答えが要らない作業はキューに入れて大きなバッチで実行し、できれば電力網がクリーンな時間帯に回します。リクエストを 1 件ずつ処理するアクセラレーターは十分に活用されていないのに、それでも多くの電力を使います。

手順

  1. 対話型のリクエストと、数分や数時間待てる作業を分けます。
  2. 対話型の通信は、連続バッチ処理に対応したエンジンで処理します。
  3. 急がない作業はキューに入れ、まとめて処理します。
  4. ホスト型のモデルでは、プロバイダーにバッチ用のインターフェースがあれば使います。
  5. 実際のバッチサイズで、レイテンシとあわせてリクエストあたりのエネルギーを測ります。

バッチ処理を使えば、ハードウェアの 1 回の処理で多くのリクエストに応えられます。 回答あたりのエネルギーは、アクセラレーターがどれだけ忙しく働いているかに大きく左右されます。

なぜ重要なのですか?

GPU は負荷が軽いときでも多くの電力を使うので、リクエストを 1 件ずつ処理すると、その電力をごく少数の回答で分け合うことになります。Kwon らは、連続バッチ処理とページ方式のキーバリューキャッシュ管理を備えた vLLM が、同じレイテンシで従来のシステムに比べてスループットを 2〜4 倍に高めたと報告しています。Hugging Face の推論のドキュメントでも連続バッチ処理を取り上げています。

2 種類のバッチ処理

  • ライブの通信には連続バッチ処理。 推論エンジンは、ほかのリクエストが終わるたびに、実行中のバッチへ新しいリクエストを加えます。そのため、ユーザーはバッチがいっぱいになるのを待たずに済みます。呼び出しごとに 1 件を処理する単純なループではなく、これに対応したエンジンを使いましょう。
  • 待てる作業にはオフラインのバッチ。 前日の文書の要約、アーカイブへのタグ付け、データセットの採点には、すぐの回答は要りません。キューに入れてまとめて処理しましょう。Green Software Foundation は、AI のバッチ処理をレイテンシがそれほど重要でない低炭素のリージョンや時間帯に実行するよう勧めています。電力網がグリーンな時間帯に作業を予定する方法をご覧ください。

よくある間違い

  • 大きすぎるバッチ。 対話型のユーザーのレイテンシが悪化します。実際の通信で調整しましょう。
  • パディングの無駄。 とても短い入力ととても長い入力を一緒にまとめると、エンジンによっては計算が無駄になります。
  • 作業の合間もバッチ用サーバーを動かしたままにすること。 GPU を遊ばせない方法をご覧ください。

詳しくは効率的な学習と推論をお読みください。

出典

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー