greenai.guide

首页 › 我该如何……? › 如何判断混合专家模型能否节省能源?

我该如何……?

如何判断混合专家模型能否节省能源?

更新于 · 阅读约需 1 分钟

简而言之

混合专家模型会把每个 token(词元)分配给少数几个专门的子网络,因此每个 token 只有模型的一部分在工作。例如,Mixtral 有 470 亿个参数,但每个 token 只使用 130 亿个。与质量相近的稠密模型相比,这可以减少每次回答的计算量,但所有专家仍须驻留在内存中,所以请在您自己的硬件上比较质量、延迟和单次请求能耗。

步骤

  1. 为您的任务挑选一个混合专家模型和一个质量相近的稠密模型。
  2. 把所有专家都计算在内,检查两者是否都能装进您可用的 GPU 内存。
  3. 在真实批量大小下,用您的评估集运行两者。
  4. 并排比较质量、延迟和单次请求能耗。
  5. 综合这三方面做出选择;如果更小的稠密模型能达标,也请考虑它。

混合专家(MoE)模型能以更少的单 token 计算量达到大模型的质量,但内存并不会更少。 它能否为您节省能源,取决于您的硬件和流量。

混合专家是如何工作的?

稠密模型对每个 token 都使用全部参数。MoE 模型则包含许多“专家”子网络,以及一个小型路由器,为每个 token 挑选少数几个专家。Jiang 等人提出的 Mixtral of Experts 让每个 token 可以使用 470 亿个参数,但推理时只用 130 亿个活跃参数;作者报告称,在他们评估的基准测试中,它的表现优于或持平 Llama 2 70B 和 GPT-3.5。另请参阅术语表条目。

什么情况下能节省能源?

  • 与质量相近的稠密模型相比,更少的活跃参数通常意味着每个 token 的计算量更少。
  • 在内存充足时。 所有专家仍然都要加载,所以您需要的 GPU 数量可能与稠密模型一样多。闲置的内存同样耗电。
  • 在利用率较高时。 使用批处理时,不同的 token 会用到不同的专家,从而让硬件保持更忙碌的状态。

常见错误

  • 用错了比较基准。 如果一个小型稠密模型就能达到您的质量要求,它通常会胜过两者。请参阅如何选择更小的 AI 模型。
  • 把活跃参数当作全部成本。 内存、GPU 之间的通信和路由开销同样要计算在内。
  • 不做测量。 如果 AI Energy Score 等公开评级涵盖了您的候选模型,就使用这些评级;否则,请在同一硬件上对两者做基准测试。

如需了解更全面的方法,请阅读选择合适的模型。

来源

  1. Mixtral of experts, Jiang et al., Mistral AI (2024)
  2. AI Energy Score, Hugging Face (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私