# 如何把请求路由到更小的模型？

> 如何把日常请求交给小模型、只把困难请求交给大模型，以及如何调整路由器，避免重试吞掉节省下来的成本。

Source: https://greenai.guide/zh/如何/如何把请求路由到更小的模型/  
Updated: 2026-11-19

## 简而言之

在模型前面放一个路由器：可以是一条规则、一个小型分类器，或者一个级联流程，先试小模型，在置信度低或检查未通过时再升级。在一些测试中，已发表的路由器在不降低质量的情况下把成本削减了一半以上。请用您自己的数据调整阈值，并按每项成功完成的任务而不是每次调用来衡量成本。

## Steps

1. 用真实请求建立一个评估集，并为每个请求设定及格标准。
2. 测量小模型单独处理时的通过率。
3. 选择一种路由设计，例如规则、难度分类器或带检查的级联。
4. 在评估集上调整升级阈值。
5. 跟踪每项成功任务的成本和能耗，包括升级和重试。
6. 任一模型发生变化时重新调整。

**路由让您以接近小模型的成本，获得大模型的大部分质量。** 思路很简单：把每个请求发送给最有可能处理好它的最便宜模型。

## 我应该采用哪种设计？ {#which-design-should-i-use}

- **规则。** 按请求类型、长度或渠道进行路由。容易理解，而且往往就够用了。
- **难度分类器。** 由一个小模型预测请求的难度。Ding 及其同事的 Hybrid LLM 研究就用这种方式在小模型和大模型之间路由查询，兼顾成本和质量。
- **级联。** 先试小模型；如果检查未通过或置信度低，再交给更大的模型。Chen、Zaharia 和 Zou 的 FrugalGPT 研究了这类用于降低成本的级联。
- **学习型路由器。** 根据哪个模型在哪类请求上表现好进行训练。RouteLLM 研究报告称，在某些情况下，成本降低了一半以上，而回答质量没有下降。

## 常见错误 {#common-mistakes}

- **按每次调用来衡量。** 小模型失败一次再到大模型上重试，可能比直接用大模型花费更多。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit（研讨工作坊）指出，这在智能体系统中是一个真实存在的风险。请按每项成功完成的任务来衡量。
- **把选择推给用户。** 把路由放在系统里，而不是放在大多数人都不会理会的下拉菜单里。
- **定下来就不管了。** 记录升级率，并在模型变化时重新审视。

## 什么做法效果最大？ {#what-makes-the-biggest-difference}

**一个好的评估集。** 没有真实示例和及格标准，您就无法调整阈值，也无法证明节省。如何建立评估集，请阅读[为任务选择合适的模型](/zh/良好实践/为任务选择合适的模型/)。

## 来源

- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
