greenai.guide

ホーム › どうすれば…? › AI 用の省エネなハードウェアはどう選べばいい?

どうすれば…?

AI 用の省エネなハードウェアはどう選べばいい?

更新日 · 1分で読めます

要点

実際に使うモデルを2〜3種類のハードウェアとランタイムで性能測定し、現実的なバッチサイズでのリクエスト1件あたり、または学習1回あたりのエネルギーを、待ち時間やコストと並べて比べます。Patterson らは、モデル、データセンター、プロセッサーの選択を組み合わせると、学習の炭素排出を最大でおよそ 100〜1,000分の1 に減らせることを示しました。新しい機器の製造にもフットプリントがあるため、良いハードウェアは稼働させ続け、長く使いましょう。

手順

  1. 自分のモデルを、2〜3種類のアクセラレーターやインスタンスで性能測定します。
  2. 実際のバッチサイズで、リクエスト1件あたりまたは実行1回あたりのエネルギーを、待ち時間とあわせて測ります。
  3. それぞれの選択肢で、複数の推論ランタイムを試します。
  4. 待ち時間と品質の要件を満たす中で、エネルギーが最も少ないものを選びます。
  5. 新しいハードウェアの製造時の炭素と、見込まれる削減量を比べます。
  6. モデルやトラフィックが変わったら、もう一度テストします。

ハードウェアは、ピーク時の仕様ではなく、自分の処理で測ったエネルギーで選びましょう。 同じモデルでも、アクセラレーター、インスタンスの種類、ランタイムによってエネルギー使用量は大きく異なり、最適な選択はバッチサイズとトラフィックによって変わります。

選択肢を公平に比べるには?

Green Software Foundation のパターンは、効率的なアクセラレーターとインスタンスの種類、そして効率的なフレームワークと推論ランタイムを、根拠に基づいて選ぶよう勧めています。実際には次のようにします。

  • それぞれの候補で、同じモデル、入力、設定を使って実行します。
  • 最良の条件だけでなく、実際に使うバッチサイズでリクエスト1件あたり(または実行1回あたり)のエネルギーを測ります。
  • エネルギーとあわせて、待ち時間と品質も記録します。
  • ランタイムも含めます。同じチップでも、サービングエンジンが違えば結果が変わることがあります。

Patterson らは、モデルのアーキテクチャ、データセンター、プロセッサーの選択によって、学習の炭素フットプリントを最大でおよそ 100〜1,000分の1 に減らせることを示しました。ハードウェアの選択も、これらの判断と一緒に考えるべきものです。

新しいハードウェアを買うべき?

必ずしもそうではありません。Meta の Wu らは、ハードウェアの製造に伴うエンボディドカーボンが、Meta の大規模な機械学習のフットプリントのおよそ 30% を占めると報告しました。新しいアクセラレーターは、寿命の間に製造時の排出を取り戻せるだけのエネルギーを節約する必要があります。エンボディドカーボンの計上をご覧ください。

よくある間違い

  • 大型のアクセラレーターを十分に使わない。 使用率の低い大型 GPU は、常に稼働している小型のものより、回答1件あたりのエネルギーが多くなることがあります。AI リクエストのバッチ処理をご覧ください。
  • 性能測定を一度しかしない。 モデル、ランタイム、トラフィックが変わったら、テストし直しましょう。

効率的な学習と推論をご覧ください。

出典

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Select efficient accelerators and instance types for AI workloads, Green Software Foundation, Green Software Patterns (2025)
  3. Select efficient ML frameworks and inference runtimes, Green Software Foundation, Green Software Patterns (2025)
  4. Sustainable AI: environmental implications, challenges and opportunities, Wu et al., MLSys (2022)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー