# 如何判断混合专家模型能否节省能源？

> 混合专家模型如何对每个 token（词元）只激活部分参数，它在什么情况下比稠密模型更省能源，以及应该测量什么。

Source: https://greenai.guide/zh/如何/如何判断混合专家模型能否节省能源/  
Updated: 2026-11-19

## 简而言之

混合专家模型会把每个 token（词元）分配给少数几个专门的子网络，因此每个 token 只有模型的一部分在工作。例如，Mixtral 有 470 亿个参数，但每个 token 只使用 130 亿个。与质量相近的稠密模型相比，这可以减少每次回答的计算量，但所有专家仍须驻留在内存中，所以请在您自己的硬件上比较质量、延迟和单次请求能耗。

## Steps

1. 为您的任务挑选一个混合专家模型和一个质量相近的稠密模型。
2. 把所有专家都计算在内，检查两者是否都能装进您可用的 GPU 内存。
3. 在真实批量大小下，用您的评估集运行两者。
4. 并排比较质量、延迟和单次请求能耗。
5. 综合这三方面做出选择；如果更小的稠密模型能达标，也请考虑它。

**混合专家（MoE）模型能以更少的单 token 计算量达到大模型的质量，但内存并不会更少。** 它能否为您节省能源，取决于您的硬件和流量。

## 混合专家是如何工作的？ {#how-does-a-mixture-of-experts-work}

稠密模型对每个 token 都使用全部参数。MoE 模型则包含许多“专家”子网络，以及一个小型路由器，为每个 token 挑选少数几个专家。Jiang 等人提出的 Mixtral of Experts 让每个 token 可以使用 470 亿个参数，但推理时只用 130 亿个活跃参数；作者报告称，在他们评估的基准测试中，它的表现优于或持平 Llama 2 70B 和 GPT-3.5。另请参阅[术语表条目](/zh/术语表/#mixture-of-experts)。

## 什么情况下能节省能源？ {#when-does-it-save-energy}

- **与质量相近的稠密模型相比**，更少的活跃参数通常意味着每个 token 的计算量更少。
- **在内存充足时。** 所有专家仍然都要加载，所以您需要的 GPU 数量可能与稠密模型一样多。闲置的内存同样耗电。
- **在利用率较高时。** 使用批处理时，不同的 token 会用到不同的专家，从而让硬件保持更忙碌的状态。

## 常见错误 {#common-mistakes}

- **用错了比较基准。** 如果一个小型稠密模型就能达到您的质量要求，它通常会胜过两者。请参阅[如何选择更小的 AI 模型](/zh/如何/如何选择更小的-ai-模型/)。
- **把活跃参数当作全部成本。** 内存、GPU 之间的通信和路由开销同样要计算在内。
- **不做测量。** 如果 AI Energy Score 等公开评级涵盖了您的候选模型，就使用这些评级；否则，请在同一硬件上对两者做基准测试。

如需了解更全面的方法，请阅读[选择合适的模型](/zh/良好实践/为任务选择合适的模型/)。

## 来源

- [Mixtral of experts](https://arxiv.org/abs/2401.04088), Jiang et al., Mistral AI (2024)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
