# 为任务选择合适的模型

> 如何为 AI 选对规模：何时使用小型或专用模型，何时前沿模型物有所值，模型路由如何运作，以及何时根本不该使用 AI。

Source: https://greenai.guide/zh/良好实践/为任务选择合适的模型/  
Updated: 2026-11-19

## 简而言之

使用能达到质量要求的最小模型，或最简单的非 AI 方法，把大型通用模型留给真正需要它的情况。专用模型的能耗可能只是通用生成式模型的一小部分，而模型路由能让您兼得两者的大部分好处。

## 要点

- 先问这项任务是否真的需要 AI；规则、搜索或经典算法往往就能胜任。
- 研究发现，在相同任务上，专用模型的运行成本比多用途生成式模型低几个数量级。
- 联合国教科文组织（UNESCO）和伦敦大学学院（UCL）报告称，小型专用模型最多可将能耗降低 90%。
- 路由把简单请求交给小模型、把困难请求交给大模型；阈值要谨慎设定，因为小模型失败再重试，可能花费更多。
- 混合流程在大多数步骤中使用经典方法或基于物理的方法，只在能增加价值的地方使用小型神经网络。

## 为什么模型选择如此重要？ {#why-does-model-choice-matter-so-much}

**模型选择通常是影响一项 AI 功能能耗的最大单一因素。**同一项任务可以由运行成本相差几个数量级的不同模型来完成。

Luccioni、Jernite 和 Strubell 在 ACM FAccT 2024 上发表了一项系统比较，测量了多种任务和模型运行 1,000 次推理的能耗。他们发现，即使控制了模型规模，在相同任务上，多用途生成式模型的成本也比专用系统高出几个数量级。2025 年联合国教科文组织（UNESCO）和伦敦大学学院（UCL）的一份报告发现，针对特定任务定制的小模型最多可将能耗降低 90%。

规律很简单：通用模型在每一次请求中，都在为您的任务根本用不到的知识和能力买单。

## 这项任务真的需要 AI 吗？ {#does-this-task-need-ai-at-all}

**先检查是否已有非 AI 方法可以完成这项工作。**最便宜的推理，是根本不必运行的那一次。

2026 年英国一次绿色 AI sandpit（研讨工作坊）汇集了数学家、计算机科学家和业界人士，大家反复回到这一点：人们常常在已有成熟算法的情况下仍然求助于 AI，而最绿色的计算往往是您避免掉的那一次。W3C《网络可持续性指南》（Web Sustainability Guidelines）同样要求团队在实施 AI 之前先评估是否需要 AI。

请问自己：

- 能否用**规则、查找表或正则表达式**完成？
- 能否通过在您自己的内容中**搜索**来回答问题？
- 是否有**成熟的数值或统计方法**（优化器、回归、求解器）？
- 答案是否需要**完全可复现或可审计**？确定性方法更容易核查。
- 这项功能会运行多少次？一个会被使用数百万次的功能，比一次性任务更值得投入设计精力。

即使 AI 节省了时间，它也不是免费的。2025 年一项研究在 12 项编程任务上比较了人工编码和 AI 辅助编码，发现 AI 辅助方式的碳足迹平均约为人工方式的 33 倍，而且任务越难，差距越大。这并不意味着永远不用编程助手，而是说要在它明显值得的地方使用。

## 小型、专用还是前沿模型？ {#small-specialised-or-frontier}

**让模型与任务相匹配，而不是选用能找到的最强模型。**

| 任务类型 | 通常已足够 | 何时需要更大的模型 |
|---|---|---|
| 分类、打标签、路由、垃圾信息识别或情感分析 | 小型专用分类器 | 很少需要 |
| 从文档中提取字段 | 小型或微调过的模型，或规则 | 版式杂乱多样时 |
| 在您自己的内容上进行搜索和问答 | 检索加小型或中型模型 | 需要跨多份文档进行复杂推理时 |
| 翻译、摘要 | 中型或专用模型 | 文本事关重大或含义微妙时 |
| 开放式推理、规划、困难的代码 | 大型通用模型 | 这正是它物有所值的地方 |

专用小模型可以通过几种途径获得，详见[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)：

- **蒸馏：**由一个大型“教师”模型训练一个小型“学生”模型。DistilBERT 比 BERT 小 40%、快 60%，同时保留了其 97% 的语言理解能力。
- 用您自己的任务数据**微调小模型**。
- 使用现有模型的**量化版本**，它们所需的内存和能耗更少。

如果有公开的基准测试，请在比较候选模型时同时考虑能耗和质量。Hugging Face 的 AI Energy Score 按每 1,000 次查询的 GPU（图形处理器）能耗，对十种常见任务中的模型进行评级，并相对于同一任务上的其他模型给出一到五颗星。

## 模型路由如何运作？ {#how-does-model-routing-work}

**路由器把每个请求发送给最有可能答好它的最便宜模型，只在需要时才升级。**

常见设计：

1. **先分类：**由一个小模型或一组规则预测请求的难度，并选择模型。
2. **级联：**先试小模型；如果其置信度较低或检查未通过，再交给更大的模型。
3. **学习型路由器：**用“哪个模型在哪类请求上表现好”的示例进行训练。RouteLLM 研究报告称，在某些情况下，成本降低了一半以上，而回答质量没有下降。

### 谨慎设定阈值 {#set-the-threshold-carefully}

这次 sandpit 提出了一个重要提醒：在智能体（agentic）系统中，过小的模型可能会失败，迫使任务在大模型上重新运行。一次失败的廉价尝试加上一次昂贵的重试，花费可能比直接使用大模型还多。因此：

- 按每项**成功完成**的任务衡量端到端成本，而不是按每次调用衡量；
- 用您自己的数据调整升级阈值；
- 记录请求升级的频率，并在模型更新时重新检查；
- 把路由决策放在系统中，而不是交给最终用户。

## 什么是混合流程？ {#what-are-hybrid-pipelines}

**混合流程在大多数步骤中使用经典方法、基于物理的方法或基于规则的方法，只在能增加价值的地方使用小模型。**与端到端的神经网络方法相比，它们往往更便宜、更准确，也更值得信赖。

例如：

- 由物理或数值模型进行仿真，只用一个小型学习组件替代其中最耗费计算的部分（即“代理模型”）。
- 由确定性代码负责解析、校验和格式化，模型只负责对自由文本的判断。
- 由生成式模型进行规划或选择，但输出是从一个预先检查过的组件库中组装而成，而不是每次都重新生成。参见[编排优于生成](/zh/文章/编排优先于生成/)。

这次 sandpit 还讨论了把数学或物理结构（对称性、守恒定律、凸性）融入模型，使模型所需的参数和训练更少。参见[让 AI 更高效的数学](/zh/文章/让-ai-更高效的数学/)。

## 检查清单 {#checklist}

- [ ] 首先写下并测试了最简单的非 AI 方法
- [ ] 已用您自己的真实案例定义了质量标准
- [ ] 至少用一个小型或专用模型对照该标准进行了测试
- [ ] 以相同方法测量并比较了每个候选模型的单次请求能耗
- [ ] 只在小模型达不到标准时才使用大模型
- [ ] 按每项成功任务衡量路由成本，包括重试
- [ ] 已记录所做选择，并定下复查日期

## 下一步做什么 {#what-to-do-next}

1. 列出您的 AI 功能，标出哪些可以使用更小的模型、经典方法，或者完全不用 AI。
2. 用真实案例建立一个小型评估集，并设定及格线。
3. 用它测试两到三种规模的模型，并[测量每种模型的能耗](/zh/良好实践/如何测量-ai-的能耗和碳排放/)。
4. 在一个高流量功能上试行路由，并跟踪每项成功任务的成本。
5. 把“使用能达到标准的最小模型”写入您的[绿色 AI 政策](/zh/良好实践/如何制定绿色-ai-政策/)。
6. 询问供应商提供哪些规模的模型，以及每次请求的能耗；参见[可持续的 AI 采购](/zh/良好实践/可持续的-ai-采购/)。

## 常见问题

### 小型语言模型够用吗？

对于许多定义明确的任务，例如分类、信息提取和路由，是够用的。在做决定之前，请用您自己的案例，按照明确的质量标准对它们进行测试。

### 什么是模型路由？

路由器会查看每个请求，并把它发送给最有可能处理好它的最便宜模型，只在需要时才升级到更大的模型。在一些测试中，已发表的路由器在不降低质量的情况下把成本削减了一半以上。

### 什么时候不应该使用 AI？

当规则、查表、搜索或成熟的数值方法已经能够可靠地完成任务时。这些方法通常更便宜、更快、更可预测，也更容易核查。

### 模型越大就一定越准确吗？

不是。对于范围较窄的任务，经过微调或蒸馏的小模型可以达到甚至超过通用模型的水平，而且它的错误往往更容易理解。

## 来源

- [Power Hungry Processing: Watts Driving the Cost of AI Deployment?](https://arxiv.org/abs/2311.16863), Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
- [AI large language models: new report shows small changes can reduce energy use by 90%](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO (2025)
- [RouteLLM: Learning to Route LLMs with Preference Data](https://arxiv.org/abs/2406.18665), Ong et al. (arXiv 2406.18665) (2024)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
- [Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development](https://arxiv.org/abs/2505.04521), arXiv 2505.04521 (2025)
- [Green Software Patterns: right-sized, energy-efficient AI models](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/right-sized-energy-efficient-ai-models.md), Green Software Foundation (2025)
- [AI Energy Score](https://huggingface.github.io/AIEnergyScore/), Hugging Face (2025)
- [Web Sustainability Guidelines](https://www.w3.org/TR/web-sustainability-guidelines/), W3C (2025)
