简而言之
使用能达到质量要求的最小模型,或最简单的非 AI 方法,把大型通用模型留给真正需要它的情况。专用模型的能耗可能只是通用生成式模型的一小部分,而模型路由能让您兼得两者的大部分好处。
要点
- 先问这项任务是否真的需要 AI;规则、搜索或经典算法往往就能胜任。
- 研究发现,在相同任务上,专用模型的运行成本比多用途生成式模型低几个数量级。
- 联合国教科文组织(UNESCO)和伦敦大学学院(UCL)报告称,小型专用模型最多可将能耗降低 90%。
- 路由把简单请求交给小模型、把困难请求交给大模型;阈值要谨慎设定,因为小模型失败再重试,可能花费更多。
- 混合流程在大多数步骤中使用经典方法或基于物理的方法,只在能增加价值的地方使用小型神经网络。
为什么模型选择如此重要?
模型选择通常是影响一项 AI 功能能耗的最大单一因素。同一项任务可以由运行成本相差几个数量级的不同模型来完成。
Luccioni、Jernite 和 Strubell 在 ACM FAccT 2024 上发表了一项系统比较,测量了多种任务和模型运行 1,000 次推理的能耗。他们发现,即使控制了模型规模,在相同任务上,多用途生成式模型的成本也比专用系统高出几个数量级。2025 年联合国教科文组织(UNESCO)和伦敦大学学院(UCL)的一份报告发现,针对特定任务定制的小模型最多可将能耗降低 90%。
规律很简单:通用模型在每一次请求中,都在为您的任务根本用不到的知识和能力买单。
这项任务真的需要 AI 吗?
先检查是否已有非 AI 方法可以完成这项工作。最便宜的推理,是根本不必运行的那一次。
2026 年英国一次绿色 AI sandpit(研讨工作坊)汇集了数学家、计算机科学家和业界人士,大家反复回到这一点:人们常常在已有成熟算法的情况下仍然求助于 AI,而最绿色的计算往往是您避免掉的那一次。W3C《网络可持续性指南》(Web Sustainability Guidelines)同样要求团队在实施 AI 之前先评估是否需要 AI。
请问自己:
- 能否用规则、查找表或正则表达式完成?
- 能否通过在您自己的内容中搜索来回答问题?
- 是否有成熟的数值或统计方法(优化器、回归、求解器)?
- 答案是否需要完全可复现或可审计?确定性方法更容易核查。
- 这项功能会运行多少次?一个会被使用数百万次的功能,比一次性任务更值得投入设计精力。
即使 AI 节省了时间,它也不是免费的。2025 年一项研究在 12 项编程任务上比较了人工编码和 AI 辅助编码,发现 AI 辅助方式的碳足迹平均约为人工方式的 33 倍,而且任务越难,差距越大。这并不意味着永远不用编程助手,而是说要在它明显值得的地方使用。
小型、专用还是前沿模型?
让模型与任务相匹配,而不是选用能找到的最强模型。
| 任务类型 | 通常已足够 | 何时需要更大的模型 |
|---|---|---|
| 分类、打标签、路由、垃圾信息识别或情感分析 | 小型专用分类器 | 很少需要 |
| 从文档中提取字段 | 小型或微调过的模型,或规则 | 版式杂乱多样时 |
| 在您自己的内容上进行搜索和问答 | 检索加小型或中型模型 | 需要跨多份文档进行复杂推理时 |
| 翻译、摘要 | 中型或专用模型 | 文本事关重大或含义微妙时 |
| 开放式推理、规划、困难的代码 | 大型通用模型 | 这正是它物有所值的地方 |
专用小模型可以通过几种途径获得,详见高效训练与推理:
- 蒸馏:由一个大型“教师”模型训练一个小型“学生”模型。DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力。
- 用您自己的任务数据微调小模型。
- 使用现有模型的量化版本,它们所需的内存和能耗更少。
如果有公开的基准测试,请在比较候选模型时同时考虑能耗和质量。Hugging Face 的 AI Energy Score 按每 1,000 次查询的 GPU(图形处理器)能耗,对十种常见任务中的模型进行评级,并相对于同一任务上的其他模型给出一到五颗星。
模型路由如何运作?
路由器把每个请求发送给最有可能答好它的最便宜模型,只在需要时才升级。
常见设计:
- 先分类:由一个小模型或一组规则预测请求的难度,并选择模型。
- 级联:先试小模型;如果其置信度较低或检查未通过,再交给更大的模型。
- 学习型路由器:用“哪个模型在哪类请求上表现好”的示例进行训练。RouteLLM 研究报告称,在某些情况下,成本降低了一半以上,而回答质量没有下降。
谨慎设定阈值
这次 sandpit 提出了一个重要提醒:在智能体(agentic)系统中,过小的模型可能会失败,迫使任务在大模型上重新运行。一次失败的廉价尝试加上一次昂贵的重试,花费可能比直接使用大模型还多。因此:
- 按每项成功完成的任务衡量端到端成本,而不是按每次调用衡量;
- 用您自己的数据调整升级阈值;
- 记录请求升级的频率,并在模型更新时重新检查;
- 把路由决策放在系统中,而不是交给最终用户。
什么是混合流程?
混合流程在大多数步骤中使用经典方法、基于物理的方法或基于规则的方法,只在能增加价值的地方使用小模型。与端到端的神经网络方法相比,它们往往更便宜、更准确,也更值得信赖。
例如:
- 由物理或数值模型进行仿真,只用一个小型学习组件替代其中最耗费计算的部分(即“代理模型”)。
- 由确定性代码负责解析、校验和格式化,模型只负责对自由文本的判断。
- 由生成式模型进行规划或选择,但输出是从一个预先检查过的组件库中组装而成,而不是每次都重新生成。参见编排优于生成。
这次 sandpit 还讨论了把数学或物理结构(对称性、守恒定律、凸性)融入模型,使模型所需的参数和训练更少。参见让 AI 更高效的数学。
检查清单
- [ ] 首先写下并测试了最简单的非 AI 方法
- [ ] 已用您自己的真实案例定义了质量标准
- [ ] 至少用一个小型或专用模型对照该标准进行了测试
- [ ] 以相同方法测量并比较了每个候选模型的单次请求能耗
- [ ] 只在小模型达不到标准时才使用大模型
- [ ] 按每项成功任务衡量路由成本,包括重试
- [ ] 已记录所做选择,并定下复查日期
下一步做什么
- 列出您的 AI 功能,标出哪些可以使用更小的模型、经典方法,或者完全不用 AI。
- 用真实案例建立一个小型评估集,并设定及格线。
- 用它测试两到三种规模的模型,并测量每种模型的能耗。
- 在一个高流量功能上试行路由,并跟踪每项成功任务的成本。
- 把“使用能达到标准的最小模型”写入您的绿色 AI 政策。
- 询问供应商提供哪些规模的模型,以及每次请求的能耗;参见可持续的 AI 采购。
常见问题
小型语言模型够用吗?
对于许多定义明确的任务,例如分类、信息提取和路由,是够用的。在做决定之前,请用您自己的案例,按照明确的质量标准对它们进行测试。
什么是模型路由?
路由器会查看每个请求,并把它发送给最有可能处理好它的最便宜模型,只在需要时才升级到更大的模型。在一些测试中,已发表的路由器在不降低质量的情况下把成本削减了一半以上。
什么时候不应该使用 AI?
当规则、查表、搜索或成熟的数值方法已经能够可靠地完成任务时。这些方法通常更便宜、更快、更可预测,也更容易核查。
模型越大就一定越准确吗?
不是。对于范围较窄的任务,经过微调或蒸馏的小模型可以达到甚至超过通用模型的水平,而且它的错误往往更容易理解。
来源
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
- AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
- RouteLLM: Learning to Route LLMs with Preference Data, Ong et al. (arXiv 2406.18665) (2024)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development, arXiv 2505.04521 (2025)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- AI Energy Score, Hugging Face (2025)
- Web Sustainability Guidelines, W3C (2025)