greenai.guide

ホーム › どうすれば…? › Mixture of Experts(MoE)モデルにすると省エネになる?

どうすれば…?

Mixture of Experts(MoE)モデルにすると省エネになる?

更新日 · 1分で読めます

要点

Mixture of Experts(MoE)モデルは、各トークンを少数の専門のサブネットワークに振り分けるため、トークンごとに働くのはモデルの一部だけです。たとえば Mixtral は 470億パラメータを持ちますが、トークンごとに使うのは 130億です。同じくらいの品質の密なモデルと比べて、1回の回答あたりの計算を減らせることがあります。ただし、すべてのエキスパートをメモリに載せておく必要があるので、自分のハードウェアで品質、レイテンシ、リクエストあたりのエネルギーを比べてください。

手順

  1. 目的の作業について、MoE モデルと、同じくらいの品質の密なモデルを候補に挙げます。
  2. すべてのエキスパートを含めて、どちらも使える GPU メモリに収まるか確かめます。
  3. 実際のバッチサイズで、評価用データセットに対して両方を実行します。
  4. 品質、レイテンシ、リクエストあたりのエネルギーを並べて比べます。
  5. 3つすべてを踏まえて選び、より小さな密なモデルで基準を満たすならそれも検討します。

Mixture of Experts(MoE)モデルは、トークンあたりの計算を減らしながら大きなモデル並みの品質を出せますが、メモリは減りません。省エネになるかどうかは、お使いのハードウェアとトラフィックによります。

Mixture of Experts はどのような仕組みですか?

密なモデルは、すべてのトークンにすべてのパラメータを使います。MoE モデルには多数の「エキスパート」と呼ばれるサブネットワークと小さなルーターがあり、ルーターがトークンごとに少数のエキスパートを選びます。Jiang らの Mixtral of Experts では、各トークンが 470億のパラメータにアクセスできますが、推論中に実際に使うのは 130億のアクティブパラメータだけです。著者らは、評価したベンチマーク全体で Llama 2 70B や GPT-3.5 を上回るか同等だったと報告しています。用語集の項目もご覧ください。

どんなときに省エネになりますか?

  • 同じくらいの品質の密なモデルと比べた場合、アクティブなパラメータが少なければ、ふつうはトークンあたりの計算も少なくなります。
  • メモリが足りている場合。すべてのエキスパートを読み込む必要があるため、密なモデルと同じ数の GPU が必要になることがあります。使われていないメモリも電力を消費します。
  • 稼働率が高い場合。バッチ処理をすると、トークンごとに別のエキスパートが使われるので、ハードウェアがより忙しく働きます。

よくある間違い

  • 間違った比較対象と比べる。小さな密なモデルで品質の基準を満たせるなら、ふつうはそれが両方に勝ります。小さな AI モデルの選び方をご覧ください。
  • アクティブパラメータだけをコストのすべてとみなす。メモリ、GPU 間の通信、ルーティングのオーバーヘッドもかかります。
  • 測らない。AI Energy Score などの公開評価が候補をカバーしていればそれを使い、なければ同じハードウェアで両方をベンチマークしましょう。

より広い方法については、適切なモデルを選ぶをお読みください。

出典

  1. Mixtral of experts, Jiang et al., Mistral AI (2024)
  2. AI Energy Score, Hugging Face (2025)

参加する

AI が地球に与える影響を減らすために

新しいガイド、資金の公募、ディレクトリの掲載情報を、月に1回ほどメールでお届けします。または、製品、講座、PhD、研究をディレクトリに追加してください。

トラッキングなし。ワンクリックで配信停止できます。 その他の参加方法 · プライバシー