简而言之
混合专家模型会把每个 token(词元)分配给少数几个专门的子网络,因此每个 token 只有模型的一部分在工作。例如,Mixtral 有 470 亿个参数,但每个 token 只使用 130 亿个。与质量相近的稠密模型相比,这可以减少每次回答的计算量,但所有专家仍须驻留在内存中,所以请在您自己的硬件上比较质量、延迟和单次请求能耗。
步骤
- 为您的任务挑选一个混合专家模型和一个质量相近的稠密模型。
- 把所有专家都计算在内,检查两者是否都能装进您可用的 GPU 内存。
- 在真实批量大小下,用您的评估集运行两者。
- 并排比较质量、延迟和单次请求能耗。
- 综合这三方面做出选择;如果更小的稠密模型能达标,也请考虑它。
混合专家(MoE)模型能以更少的单 token 计算量达到大模型的质量,但内存并不会更少。 它能否为您节省能源,取决于您的硬件和流量。
混合专家是如何工作的?
稠密模型对每个 token 都使用全部参数。MoE 模型则包含许多“专家”子网络,以及一个小型路由器,为每个 token 挑选少数几个专家。Jiang 等人提出的 Mixtral of Experts 让每个 token 可以使用 470 亿个参数,但推理时只用 130 亿个活跃参数;作者报告称,在他们评估的基准测试中,它的表现优于或持平 Llama 2 70B 和 GPT-3.5。另请参阅术语表条目。
什么情况下能节省能源?
- 与质量相近的稠密模型相比,更少的活跃参数通常意味着每个 token 的计算量更少。
- 在内存充足时。 所有专家仍然都要加载,所以您需要的 GPU 数量可能与稠密模型一样多。闲置的内存同样耗电。
- 在利用率较高时。 使用批处理时,不同的 token 会用到不同的专家,从而让硬件保持更忙碌的状态。
常见错误
- 用错了比较基准。 如果一个小型稠密模型就能达到您的质量要求,它通常会胜过两者。请参阅如何选择更小的 AI 模型。
- 把活跃参数当作全部成本。 内存、GPU 之间的通信和路由开销同样要计算在内。
- 不做测量。 如果 AI Energy Score 等公开评级涵盖了您的候选模型,就使用这些评级;否则,请在同一硬件上对两者做基准测试。
如需了解更全面的方法,请阅读选择合适的模型。
来源
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
相关内容
如何比较不同 AI 模型的能耗?
如何公平地比较 AI 模型的能耗:使用 AI Energy Score 等基准,或在相同的任务、硬件和设置下自己测量。
如何选择更小的 AI 模型?
用真实样例定义“够用”的标准,从小到大测试模型,在第一个达标的模型处停下;小型专用模型可节能高达 90%。
如何降低生产环境中模型服务的能耗?
如何以更低的单次请求能耗提供自托管模型服务:高效运行时、批处理、半精度、编译缓存,以及经过测试的硬件。
为任务选择合适的模型
如何为 AI 选对规模:何时使用小型或专用模型,何时前沿模型物有所值,模型路由如何运作,以及何时根本不该使用 AI。