greenai.guide

ホーム › どうすれば…? › 本番環境でモデルを動かすエネルギーを減らすには?

どうすれば…?

本番環境でモデルを動かすエネルギーを減らすには?

更新日 · 1分で読めます

要点

品質基準を満たす最小のモデルを、推論向けに作られたランタイムで提供します。バッチ処理を有効にし、重みは半精度か量子化したものを使い、ライブラリの最適化されたアテンションとキャッシュの機能を有効にします。そのうえで、実際のトラフィックで2〜3種類のランタイムとハードウェアを性能測定し、待ち時間だけでなくリクエスト1件あたりのエネルギーでも選びます。

手順

  1. そのモデルが、品質基準を満たす最小のものであることを確かめます。
  2. 連続バッチ処理に対応した推論エンジンで提供します。
  3. 重みを半精度または検証済みの量子化形式で読み込みます。
  4. ライブラリが対応していれば、効率的なアテンションと静的なキー・バリューキャッシュを有効にします。
  5. 実際のバッチサイズで、2〜3種類のランタイムと GPU を性能測定します。
  6. トラフィックが少ないときは、規模を縮小するかゼロにします。

モデルが生涯に使うエネルギーの大部分は、提供(サービング)に費やされます。そのため、提供時の設定が重要です。 初期設定が最も効率的であることはまれで、最適化された機能はたいてい自分で有効にする必要があります。

最も効果が大きいのは?

  1. バッチ処理。 リクエストを1件ずつ処理するアクセラレーターは十分に使われていないのに、電力は消費し続けます。Kwon らは、ページ単位のキー・バリューキャッシュ管理を備えた vLLM が、同じ待ち時間で従来のシステムの2〜4倍のスループットを実現したと報告しました。AI リクエストをバッチ処理する方法をご覧ください。
  2. 精度。 半精度や検証済みの量子化モデルは、必要なメモリが少なく、GPU の台数も減らせることがよくあります。
  3. 最適化されたコードパス。 Hugging Face は、効率的なアテンションの実装と、torch.compile と組み合わせた静的なキー・バリューキャッシュについて説明しており、最大4倍の高速化が得られるとしています。
  4. 根拠に基づいて選んだランタイムとハードウェア。 Green Software Foundation は、効率的なフレームワークと推論ランタイムを選ぶよう勧めています。モデルの学習に使ったものをそのまま使うのではなく、性能測定して選びましょう。

よくある間違い

  • 速度をエネルギーと同一視する。 llama.cpp に取り組んだ GreenCode の研究者は、GPU のエネルギーを 4.7% 減らしましたが、速度は 3% しか上がりませんでした。2つは別のことを示しています。両方を測りましょう。
  • 本番環境ではずっと高い同時実行数で動くのに、バッチサイズ1で性能測定する。 その逆も同様です。
  • 存在しないトラフィックのために、レプリカを夜通し動かしておく。 GPU を遊ばせないようにする方法をご覧ください。
  • 測定前にコンパイル済みモデルのウォームアップをしない。 数値がゆがみます。

ツール全体については、効率的な学習と推論をお読みください。

出典

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー