greenai.guide

首页 › 我该如何……? › 如何把请求路由到更小的模型?

我该如何……?

如何把请求路由到更小的模型?

更新于 · 阅读约需 1 分钟

简而言之

在模型前面放一个路由器:可以是一条规则、一个小型分类器,或者一个级联流程,先试小模型,在置信度低或检查未通过时再升级。在一些测试中,已发表的路由器在不降低质量的情况下把成本削减了一半以上。请用您自己的数据调整阈值,并按每项成功完成的任务而不是每次调用来衡量成本。

步骤

  1. 用真实请求建立一个评估集,并为每个请求设定及格标准。
  2. 测量小模型单独处理时的通过率。
  3. 选择一种路由设计,例如规则、难度分类器或带检查的级联。
  4. 在评估集上调整升级阈值。
  5. 跟踪每项成功任务的成本和能耗,包括升级和重试。
  6. 任一模型发生变化时重新调整。

路由让您以接近小模型的成本,获得大模型的大部分质量。 思路很简单:把每个请求发送给最有可能处理好它的最便宜模型。

我应该采用哪种设计?

  • 规则。 按请求类型、长度或渠道进行路由。容易理解,而且往往就够用了。
  • 难度分类器。 由一个小模型预测请求的难度。Ding 及其同事的 Hybrid LLM 研究就用这种方式在小模型和大模型之间路由查询,兼顾成本和质量。
  • 级联。 先试小模型;如果检查未通过或置信度低,再交给更大的模型。Chen、Zaharia 和 Zou 的 FrugalGPT 研究了这类用于降低成本的级联。
  • 学习型路由器。 根据哪个模型在哪类请求上表现好进行训练。RouteLLM 研究报告称,在某些情况下,成本降低了一半以上,而回答质量没有下降。

常见错误

  • 按每次调用来衡量。 小模型失败一次再到大模型上重试,可能比直接用大模型花费更多。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)指出,这在智能体系统中是一个真实存在的风险。请按每项成功完成的任务来衡量。
  • 把选择推给用户。 把路由放在系统里,而不是放在大多数人都不会理会的下拉菜单里。
  • 定下来就不管了。 记录升级率,并在模型变化时重新审视。

什么做法效果最大?

一个好的评估集。 没有真实示例和及格标准,您就无法调整阈值,也无法证明节省。如何建立评估集,请阅读为任务选择合适的模型。

来源

  1. RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
  2. FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
  3. Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私