简而言之
在模型前面放一个路由器:可以是一条规则、一个小型分类器,或者一个级联流程,先试小模型,在置信度低或检查未通过时再升级。在一些测试中,已发表的路由器在不降低质量的情况下把成本削减了一半以上。请用您自己的数据调整阈值,并按每项成功完成的任务而不是每次调用来衡量成本。
步骤
- 用真实请求建立一个评估集,并为每个请求设定及格标准。
- 测量小模型单独处理时的通过率。
- 选择一种路由设计,例如规则、难度分类器或带检查的级联。
- 在评估集上调整升级阈值。
- 跟踪每项成功任务的成本和能耗,包括升级和重试。
- 任一模型发生变化时重新调整。
路由让您以接近小模型的成本,获得大模型的大部分质量。 思路很简单:把每个请求发送给最有可能处理好它的最便宜模型。
我应该采用哪种设计?
- 规则。 按请求类型、长度或渠道进行路由。容易理解,而且往往就够用了。
- 难度分类器。 由一个小模型预测请求的难度。Ding 及其同事的 Hybrid LLM 研究就用这种方式在小模型和大模型之间路由查询,兼顾成本和质量。
- 级联。 先试小模型;如果检查未通过或置信度低,再交给更大的模型。Chen、Zaharia 和 Zou 的 FrugalGPT 研究了这类用于降低成本的级联。
- 学习型路由器。 根据哪个模型在哪类请求上表现好进行训练。RouteLLM 研究报告称,在某些情况下,成本降低了一半以上,而回答质量没有下降。
常见错误
- 按每次调用来衡量。 小模型失败一次再到大模型上重试,可能比直接用大模型花费更多。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)指出,这在智能体系统中是一个真实存在的风险。请按每项成功完成的任务来衡量。
- 把选择推给用户。 把路由放在系统里,而不是放在大多数人都不会理会的下拉菜单里。
- 定下来就不管了。 记录升级率,并在模型变化时重新审视。
什么做法效果最大?
一个好的评估集。 没有真实示例和及格标准,您就无法调整阈值,也无法证明节省。如何建立评估集,请阅读为任务选择合适的模型。
来源
- RouteLLM: learning to route LLMs with preference data, Ong et al., ICLR 2025 (2024)
- FrugalGPT: how to use large language models while reducing cost and improving performance, Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- Hybrid LLM: cost-efficient and quality-aware query routing, Ding et al., ICLR (2024)