# Mixture of Experts（MoE）モデルにすると省エネになる？

> MoE モデルがトークンごとにパラメータの一部だけを使う仕組みと、密なモデルより省エネになる条件、測るべきことを説明します。

Source: https://greenai.guide/ja/ハウツー/mixture-of-experts-moe-モデルにすると省エネになる/  
Updated: 2026-11-19

## 要点

Mixture of Experts（MoE）モデルは、各トークンを少数の専門のサブネットワークに振り分けるため、トークンごとに働くのはモデルの一部だけです。たとえば Mixtral は 470億パラメータを持ちますが、トークンごとに使うのは 130億です。同じくらいの品質の密なモデルと比べて、1回の回答あたりの計算を減らせることがあります。ただし、すべてのエキスパートをメモリに載せておく必要があるので、自分のハードウェアで品質、レイテンシ、リクエストあたりのエネルギーを比べてください。

## Steps

1. 目的の作業について、MoE モデルと、同じくらいの品質の密なモデルを候補に挙げます。
2. すべてのエキスパートを含めて、どちらも使える GPU メモリに収まるか確かめます。
3. 実際のバッチサイズで、評価用データセットに対して両方を実行します。
4. 品質、レイテンシ、リクエストあたりのエネルギーを並べて比べます。
5. 3つすべてを踏まえて選び、より小さな密なモデルで基準を満たすならそれも検討します。

**Mixture of Experts（MoE）モデルは、トークンあたりの計算を減らしながら大きなモデル並みの品質を出せますが、メモリは減りません。**省エネになるかどうかは、お使いのハードウェアとトラフィックによります。

## Mixture of Experts はどのような仕組みですか？ {#how-does-a-mixture-of-experts-work}

密なモデルは、すべてのトークンにすべてのパラメータを使います。MoE モデルには多数の「エキスパート」と呼ばれるサブネットワークと小さなルーターがあり、ルーターがトークンごとに少数のエキスパートを選びます。Jiang らの Mixtral of Experts では、各トークンが 470億のパラメータにアクセスできますが、推論中に実際に使うのは 130億のアクティブパラメータだけです。著者らは、評価したベンチマーク全体で Llama 2 70B や GPT-3.5 を上回るか同等だったと報告しています。[用語集の項目](/ja/用語集/#mixture-of-experts)もご覧ください。

## どんなときに省エネになりますか？ {#when-does-it-save-energy}

- **同じくらいの品質の密なモデルと比べた場合**、アクティブなパラメータが少なければ、ふつうはトークンあたりの計算も少なくなります。
- **メモリが足りている場合。**すべてのエキスパートを読み込む必要があるため、密なモデルと同じ数の GPU が必要になることがあります。使われていないメモリも電力を消費します。
- **稼働率が高い場合。**バッチ処理をすると、トークンごとに別のエキスパートが使われるので、ハードウェアがより忙しく働きます。

## よくある間違い {#common-mistakes}

- **間違った比較対象と比べる。**小さな密なモデルで品質の基準を満たせるなら、ふつうはそれが両方に勝ります。[小さな AI モデルの選び方](/ja/ハウツー/もっと小さい-ai-モデルを選ぶにはどうすればいい/)をご覧ください。
- **アクティブパラメータだけをコストのすべてとみなす。**メモリ、GPU 間の通信、ルーティングのオーバーヘッドもかかります。
- **測らない。**AI Energy Score などの公開評価が候補をカバーしていればそれを使い、なければ同じハードウェアで両方をベンチマークしましょう。

より広い方法については、[適切なモデルを選ぶ](/ja/グッドプラクティス/用途に合ったモデルを選ぶ/)をお読みください。

## 出典

- [Mixtral of experts](https://arxiv.org/abs/2401.04088), Jiang et al., Mistral AI (2024)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
