要点
実際に使うモデルを2〜3種類のハードウェアとランタイムで性能測定し、現実的なバッチサイズでのリクエスト1件あたり、または学習1回あたりのエネルギーを、待ち時間やコストと並べて比べます。Patterson らは、モデル、データセンター、プロセッサーの選択を組み合わせると、学習の炭素排出を最大でおよそ 100〜1,000分の1 に減らせることを示しました。新しい機器の製造にもフットプリントがあるため、良いハードウェアは稼働させ続け、長く使いましょう。
手順
- 自分のモデルを、2〜3種類のアクセラレーターやインスタンスで性能測定します。
- 実際のバッチサイズで、リクエスト1件あたりまたは実行1回あたりのエネルギーを、待ち時間とあわせて測ります。
- それぞれの選択肢で、複数の推論ランタイムを試します。
- 待ち時間と品質の要件を満たす中で、エネルギーが最も少ないものを選びます。
- 新しいハードウェアの製造時の炭素と、見込まれる削減量を比べます。
- モデルやトラフィックが変わったら、もう一度テストします。
ハードウェアは、ピーク時の仕様ではなく、自分の処理で測ったエネルギーで選びましょう。 同じモデルでも、アクセラレーター、インスタンスの種類、ランタイムによってエネルギー使用量は大きく異なり、最適な選択はバッチサイズとトラフィックによって変わります。
選択肢を公平に比べるには?
Green Software Foundation のパターンは、効率的なアクセラレーターとインスタンスの種類、そして効率的なフレームワークと推論ランタイムを、根拠に基づいて選ぶよう勧めています。実際には次のようにします。
- それぞれの候補で、同じモデル、入力、設定を使って実行します。
- 最良の条件だけでなく、実際に使うバッチサイズでリクエスト1件あたり(または実行1回あたり)のエネルギーを測ります。
- エネルギーとあわせて、待ち時間と品質も記録します。
- ランタイムも含めます。同じチップでも、サービングエンジンが違えば結果が変わることがあります。
Patterson らは、モデルのアーキテクチャ、データセンター、プロセッサーの選択によって、学習の炭素フットプリントを最大でおよそ 100〜1,000分の1 に減らせることを示しました。ハードウェアの選択も、これらの判断と一緒に考えるべきものです。
新しいハードウェアを買うべき?
必ずしもそうではありません。Meta の Wu らは、ハードウェアの製造に伴うエンボディドカーボンが、Meta の大規模な機械学習のフットプリントのおよそ 30% を占めると報告しました。新しいアクセラレーターは、寿命の間に製造時の排出を取り戻せるだけのエネルギーを節約する必要があります。エンボディドカーボンの計上をご覧ください。
よくある間違い
- 大型のアクセラレーターを十分に使わない。 使用率の低い大型 GPU は、常に稼働している小型のものより、回答1件あたりのエネルギーが多くなることがあります。AI リクエストのバッチ処理をご覧ください。
- 性能測定を一度しかしない。 モデル、ランタイム、トラフィックが変わったら、テストし直しましょう。
効率的な学習と推論をご覧ください。
出典
- Carbon emissions and large neural network training, Patterson et al. (2021)
- Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
- Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
- Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)
関連
本番環境でモデルを動かすエネルギーを減らすには?
自前で運用するモデルのリクエストあたりのエネルギーを減らす方法です。効率的なランタイム、バッチ処理、半精度、キャッシュ、検証済みのハードウェアを使います。
AI ハードウェアの製造時の炭素排出(エンボディドカーボン)はどう計上すればいい?
AI チップやサーバーの製造に伴う排出も計上しましょう。使用時間に応じて配分し、供給元にデータを求め、機器をできるだけ長く使います。
AI モデルごとの消費電力を比べるには?
AI モデルのエネルギーを公平に比べる方法です。AI Energy Score などのベンチマークを使うか、同じ作業、ハードウェア、設定で自分で測ります。
AI の効率的な学習と推論
開発者と研究者向けに、AI のエネルギーを減らす技法を紹介します。枝刈り、スパース性、量子化、蒸留、KV キャッシュ、バッチ処理、混合精度、スケジューリングを扱います。