要点
Mixture of Experts(MoE)モデルは、各トークンを少数の専門のサブネットワークに振り分けるため、トークンごとに働くのはモデルの一部だけです。たとえば Mixtral は 470億パラメータを持ちますが、トークンごとに使うのは 130億です。同じくらいの品質の密なモデルと比べて、1回の回答あたりの計算を減らせることがあります。ただし、すべてのエキスパートをメモリに載せておく必要があるので、自分のハードウェアで品質、レイテンシ、リクエストあたりのエネルギーを比べてください。
手順
- 目的の作業について、MoE モデルと、同じくらいの品質の密なモデルを候補に挙げます。
- すべてのエキスパートを含めて、どちらも使える GPU メモリに収まるか確かめます。
- 実際のバッチサイズで、評価用データセットに対して両方を実行します。
- 品質、レイテンシ、リクエストあたりのエネルギーを並べて比べます。
- 3つすべてを踏まえて選び、より小さな密なモデルで基準を満たすならそれも検討します。
Mixture of Experts(MoE)モデルは、トークンあたりの計算を減らしながら大きなモデル並みの品質を出せますが、メモリは減りません。省エネになるかどうかは、お使いのハードウェアとトラフィックによります。
Mixture of Experts はどのような仕組みですか?
密なモデルは、すべてのトークンにすべてのパラメータを使います。MoE モデルには多数の「エキスパート」と呼ばれるサブネットワークと小さなルーターがあり、ルーターがトークンごとに少数のエキスパートを選びます。Jiang らの Mixtral of Experts では、各トークンが 470億のパラメータにアクセスできますが、推論中に実際に使うのは 130億のアクティブパラメータだけです。著者らは、評価したベンチマーク全体で Llama 2 70B や GPT-3.5 を上回るか同等だったと報告しています。用語集の項目もご覧ください。
どんなときに省エネになりますか?
- 同じくらいの品質の密なモデルと比べた場合、アクティブなパラメータが少なければ、ふつうはトークンあたりの計算も少なくなります。
- メモリが足りている場合。すべてのエキスパートを読み込む必要があるため、密なモデルと同じ数の GPU が必要になることがあります。使われていないメモリも電力を消費します。
- 稼働率が高い場合。バッチ処理をすると、トークンごとに別のエキスパートが使われるので、ハードウェアがより忙しく働きます。
よくある間違い
- 間違った比較対象と比べる。小さな密なモデルで品質の基準を満たせるなら、ふつうはそれが両方に勝ります。小さな AI モデルの選び方をご覧ください。
- アクティブパラメータだけをコストのすべてとみなす。メモリ、GPU 間の通信、ルーティングのオーバーヘッドもかかります。
- 測らない。AI Energy Score などの公開評価が候補をカバーしていればそれを使い、なければ同じハードウェアで両方をベンチマークしましょう。
より広い方法については、適切なモデルを選ぶをお読みください。
出典
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
関連
AI モデルごとの消費電力を比べるには?
AI モデルのエネルギーを公平に比べる方法です。AI Energy Score などのベンチマークを使うか、同じ作業、ハードウェア、設定で自分で測ります。
もっと小さい AI モデルを選ぶにはどうすればいい?
作業をうまくこなす最小の AI モデルを選ぶ方法です。品質基準を決め、小さい順に試し、エネルギー評価を確認し、大きいモデルは予備にします。
本番環境でモデルを動かすエネルギーを減らすには?
自前で運用するモデルのリクエストあたりのエネルギーを減らす方法です。効率的なランタイム、バッチ処理、半精度、キャッシュ、検証済みのハードウェアを使います。
用途に合ったモデルを選ぶ
AI を適正なサイズで使う方法。小型・特化型モデルを使うべき場面、フロンティアモデルがコストに見合う場面、ルーティングの仕組み、AI を使わないほうがよい場面を解説します。