greenai.guide

首页 › 良好实践 › 为任务选择合适的模型

良好实践

为任务选择合适的模型

更新于 · 阅读约需 2 分钟

简而言之

使用能达到质量要求的最小模型,或最简单的非 AI 方法,把大型通用模型留给真正需要它的情况。专用模型的能耗可能只是通用生成式模型的一小部分,而模型路由能让您兼得两者的大部分好处。

要点

  • 先问这项任务是否真的需要 AI;规则、搜索或经典算法往往就能胜任。
  • 研究发现,在相同任务上,专用模型的运行成本比多用途生成式模型低几个数量级。
  • 联合国教科文组织(UNESCO)和伦敦大学学院(UCL)报告称,小型专用模型最多可将能耗降低 90%。
  • 路由把简单请求交给小模型、把困难请求交给大模型;阈值要谨慎设定,因为小模型失败再重试,可能花费更多。
  • 混合流程在大多数步骤中使用经典方法或基于物理的方法,只在能增加价值的地方使用小型神经网络。

为什么模型选择如此重要?

模型选择通常是影响一项 AI 功能能耗的最大单一因素。同一项任务可以由运行成本相差几个数量级的不同模型来完成。

Luccioni、Jernite 和 Strubell 在 ACM FAccT 2024 上发表了一项系统比较,测量了多种任务和模型运行 1,000 次推理的能耗。他们发现,即使控制了模型规模,在相同任务上,多用途生成式模型的成本也比专用系统高出几个数量级。2025 年联合国教科文组织(UNESCO)和伦敦大学学院(UCL)的一份报告发现,针对特定任务定制的小模型最多可将能耗降低 90%。

规律很简单:通用模型在每一次请求中,都在为您的任务根本用不到的知识和能力买单。

这项任务真的需要 AI 吗?

先检查是否已有非 AI 方法可以完成这项工作。最便宜的推理,是根本不必运行的那一次。

2026 年英国一次绿色 AI sandpit(研讨工作坊)汇集了数学家、计算机科学家和业界人士,大家反复回到这一点:人们常常在已有成熟算法的情况下仍然求助于 AI,而最绿色的计算往往是您避免掉的那一次。W3C《网络可持续性指南》(Web Sustainability Guidelines)同样要求团队在实施 AI 之前先评估是否需要 AI。

请问自己:

  • 能否用规则、查找表或正则表达式完成?
  • 能否通过在您自己的内容中搜索来回答问题?
  • 是否有成熟的数值或统计方法(优化器、回归、求解器)?
  • 答案是否需要完全可复现或可审计?确定性方法更容易核查。
  • 这项功能会运行多少次?一个会被使用数百万次的功能,比一次性任务更值得投入设计精力。

即使 AI 节省了时间,它也不是免费的。2025 年一项研究在 12 项编程任务上比较了人工编码和 AI 辅助编码,发现 AI 辅助方式的碳足迹平均约为人工方式的 33 倍,而且任务越难,差距越大。这并不意味着永远不用编程助手,而是说要在它明显值得的地方使用。

小型、专用还是前沿模型?

让模型与任务相匹配,而不是选用能找到的最强模型。

任务类型 通常已足够 何时需要更大的模型
分类、打标签、路由、垃圾信息识别或情感分析 小型专用分类器 很少需要
从文档中提取字段 小型或微调过的模型,或规则 版式杂乱多样时
在您自己的内容上进行搜索和问答 检索加小型或中型模型 需要跨多份文档进行复杂推理时
翻译、摘要 中型或专用模型 文本事关重大或含义微妙时
开放式推理、规划、困难的代码 大型通用模型 这正是它物有所值的地方

专用小模型可以通过几种途径获得,详见高效训练与推理:

  • 蒸馏:由一个大型“教师”模型训练一个小型“学生”模型。DistilBERT 比 BERT 小 40%、快 60%,同时保留了其 97% 的语言理解能力。
  • 用您自己的任务数据微调小模型。
  • 使用现有模型的量化版本,它们所需的内存和能耗更少。

如果有公开的基准测试,请在比较候选模型时同时考虑能耗和质量。Hugging Face 的 AI Energy Score 按每 1,000 次查询的 GPU(图形处理器)能耗,对十种常见任务中的模型进行评级,并相对于同一任务上的其他模型给出一到五颗星。

模型路由如何运作?

路由器把每个请求发送给最有可能答好它的最便宜模型,只在需要时才升级。

常见设计:

  1. 先分类:由一个小模型或一组规则预测请求的难度,并选择模型。
  2. 级联:先试小模型;如果其置信度较低或检查未通过,再交给更大的模型。
  3. 学习型路由器:用“哪个模型在哪类请求上表现好”的示例进行训练。RouteLLM 研究报告称,在某些情况下,成本降低了一半以上,而回答质量没有下降。

谨慎设定阈值

这次 sandpit 提出了一个重要提醒:在智能体(agentic)系统中,过小的模型可能会失败,迫使任务在大模型上重新运行。一次失败的廉价尝试加上一次昂贵的重试,花费可能比直接使用大模型还多。因此:

  • 按每项成功完成的任务衡量端到端成本,而不是按每次调用衡量;
  • 用您自己的数据调整升级阈值;
  • 记录请求升级的频率,并在模型更新时重新检查;
  • 把路由决策放在系统中,而不是交给最终用户。

什么是混合流程?

混合流程在大多数步骤中使用经典方法、基于物理的方法或基于规则的方法,只在能增加价值的地方使用小模型。与端到端的神经网络方法相比,它们往往更便宜、更准确,也更值得信赖。

例如:

  • 由物理或数值模型进行仿真,只用一个小型学习组件替代其中最耗费计算的部分(即“代理模型”)。
  • 由确定性代码负责解析、校验和格式化,模型只负责对自由文本的判断。
  • 由生成式模型进行规划或选择,但输出是从一个预先检查过的组件库中组装而成,而不是每次都重新生成。参见编排优于生成。

这次 sandpit 还讨论了把数学或物理结构(对称性、守恒定律、凸性)融入模型,使模型所需的参数和训练更少。参见让 AI 更高效的数学。

检查清单

  • [ ] 首先写下并测试了最简单的非 AI 方法
  • [ ] 已用您自己的真实案例定义了质量标准
  • [ ] 至少用一个小型或专用模型对照该标准进行了测试
  • [ ] 以相同方法测量并比较了每个候选模型的单次请求能耗
  • [ ] 只在小模型达不到标准时才使用大模型
  • [ ] 按每项成功任务衡量路由成本,包括重试
  • [ ] 已记录所做选择,并定下复查日期

下一步做什么

  1. 列出您的 AI 功能,标出哪些可以使用更小的模型、经典方法,或者完全不用 AI。
  2. 用真实案例建立一个小型评估集,并设定及格线。
  3. 用它测试两到三种规模的模型,并测量每种模型的能耗。
  4. 在一个高流量功能上试行路由,并跟踪每项成功任务的成本。
  5. 把“使用能达到标准的最小模型”写入您的绿色 AI 政策。
  6. 询问供应商提供哪些规模的模型,以及每次请求的能耗;参见可持续的 AI 采购。

常见问题

小型语言模型够用吗?

对于许多定义明确的任务,例如分类、信息提取和路由,是够用的。在做决定之前,请用您自己的案例,按照明确的质量标准对它们进行测试。

什么是模型路由?

路由器会查看每个请求,并把它发送给最有可能处理好它的最便宜模型,只在需要时才升级到更大的模型。在一些测试中,已发表的路由器在不降低质量的情况下把成本削减了一半以上。

什么时候不应该使用 AI?

当规则、查表、搜索或成熟的数值方法已经能够可靠地完成任务时。这些方法通常更便宜、更快、更可预测,也更容易核查。

模型越大就一定越准确吗?

不是。对于范围较窄的任务,经过微调或蒸馏的小模型可以达到甚至超过通用模型的水平,而且它的错误往往更容易理解。

来源

  1. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT 2024 (arXiv 2311.16863) (2024)
  2. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  3. RouteLLM: Learning to Route LLMs with Preference Data, Ong et al. (arXiv 2406.18665) (2024)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  5. Comparative Analysis of Carbon Footprint in Manual vs. LLM-Assisted Code Development, arXiv 2505.04521 (2025)
  6. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  7. AI Energy Score, Hugging Face (2025)
  8. Web Sustainability Guidelines, W3C (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私