要点
品質基準を満たす最小のモデルを、推論向けに作られたランタイムで提供します。バッチ処理を有効にし、重みは半精度か量子化したものを使い、ライブラリの最適化されたアテンションとキャッシュの機能を有効にします。そのうえで、実際のトラフィックで2〜3種類のランタイムとハードウェアを性能測定し、待ち時間だけでなくリクエスト1件あたりのエネルギーでも選びます。
手順
- そのモデルが、品質基準を満たす最小のものであることを確かめます。
- 連続バッチ処理に対応した推論エンジンで提供します。
- 重みを半精度または検証済みの量子化形式で読み込みます。
- ライブラリが対応していれば、効率的なアテンションと静的なキー・バリューキャッシュを有効にします。
- 実際のバッチサイズで、2〜3種類のランタイムと GPU を性能測定します。
- トラフィックが少ないときは、規模を縮小するかゼロにします。
モデルが生涯に使うエネルギーの大部分は、提供(サービング)に費やされます。そのため、提供時の設定が重要です。 初期設定が最も効率的であることはまれで、最適化された機能はたいてい自分で有効にする必要があります。
最も効果が大きいのは?
- バッチ処理。 リクエストを1件ずつ処理するアクセラレーターは十分に使われていないのに、電力は消費し続けます。Kwon らは、ページ単位のキー・バリューキャッシュ管理を備えた vLLM が、同じ待ち時間で従来のシステムの2〜4倍のスループットを実現したと報告しました。AI リクエストをバッチ処理する方法をご覧ください。
- 精度。 半精度や検証済みの量子化モデルは、必要なメモリが少なく、GPU の台数も減らせることがよくあります。
- 最適化されたコードパス。 Hugging Face は、効率的なアテンションの実装と、
torch.compileと組み合わせた静的なキー・バリューキャッシュについて説明しており、最大4倍の高速化が得られるとしています。 - 根拠に基づいて選んだランタイムとハードウェア。 Green Software Foundation は、効率的なフレームワークと推論ランタイムを選ぶよう勧めています。モデルの学習に使ったものをそのまま使うのではなく、性能測定して選びましょう。
よくある間違い
- 速度をエネルギーと同一視する。 llama.cpp に取り組んだ GreenCode の研究者は、GPU のエネルギーを 4.7% 減らしましたが、速度は 3% しか上がりませんでした。2つは別のことを示しています。両方を測りましょう。
- 本番環境ではずっと高い同時実行数で動くのに、バッチサイズ1で性能測定する。 その逆も同様です。
- 存在しないトラフィックのために、レプリカを夜通し動かしておく。 GPU を遊ばせないようにする方法をご覧ください。
- 測定前にコンパイル済みモデルのウォームアップをしない。 数値がゆがみます。
ツール全体については、効率的な学習と推論をお読みください。
出典
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
関連
省エネのために AI へのリクエストをまとめて処理するには?
バッチ処理でアクセラレーターの稼働率を高め、回答あたりのエネルギーを減らす方法です。ライブの通信には連続バッチ処理を、オフライン作業にはキューでまとめた処理を使います。
AI モデルを量子化するには?
AI モデルを 8ビットや 4ビットに量子化する方法です。使うツール、品質の確かめ方、量子化で省エネになる場合とならない場合を説明します。
投機的デコーディングで大きなモデルを速くするには?
投機的デコーディングでは、小さな下書きモデルが提案したトークンを大きなモデルが確認し、出力を変えずに回答を速くします。その仕組みを説明します。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。