greenai.guide

首页 › 我该如何……? › 如何选择更小的 AI 模型?

我该如何……?

如何选择更小的 AI 模型?

更新于 · 阅读约需 1 分钟

简而言之

先用真实样例定义什么是“够用”,然后从最小到最大依次测试模型,在第一个达标的模型处停下。小型和专用模型的能耗可能只是大型通用模型的一小部分:联合国教科文组织(UNESCO)和伦敦大学学院(University College London)报告称,在合适的任务上最多可节能 90%。

步骤

  1. 写下任务和合格标准,例如答案必须正确的比例。
  2. 收集 20 到 50 个真实样例用于测试。
  3. 先试用最小的或“mini”版模型,只有在它达不到合格标准时才换用更大的模型。
  4. 在有公开能耗评级的情况下查看它们,例如 AI Energy Score。
  5. 把较大的模型留给小模型处理不了的情况。
  6. 当模型或您的任务发生变化时,重新测试。

使用能达到您质量标准的最小模型,而不是能找到的最强模型。 大型通用模型在每次请求中,都要为您的任务可能永远用不到的能力付出代价。

为什么模型规模如此重要?

它通常是影响能耗的最大单一因素。 Luccioni、Jernite 和 Strubell 发现,在相同任务上,多用途生成式模型的运行成本比专用系统高出几个数量级。联合国教科文组织和伦敦大学学院发现,针对特定任务定制的小模型最多可将能耗降低 90%。

如何测试候选模型?

  1. 用您自己的工作定义标准,例如“98% 的情况下能正确提取发票总额”。
  2. 先测试小模型。 许多服务商提供“mini”“lite”或“flash”版本;开放权重的模型系列也有多种规模。
  3. 在第一个达标的模型处停下。 对于范围较窄的任务,模型越大并不自动意味着越准确。
  4. 比较能耗,而不只是价格。 Hugging Face 的 AI Energy Score 按常见任务中每次查询的能耗,为开放模型评定一到五颗星;请参阅解读 AI Energy Score 评级。

对日常用户来说,道理也一样:回答简单问题时,在聊天机器人中选择快速或轻量的选项。

常见错误

  • 凭名气选择,而不是用您自己的样例测试。
  • 按每次调用而不是每次成功来衡量成本。 模型太小导致失败,只好再用大模型重新运行,总体成本可能更高。
  • 从不重新评估。 小模型进步很快;每隔几个月重新测试一次。

如需自动把每个请求发送给合适规模的模型,请参阅把请求路由到更小的模型。完整的方法请见为任务选择合适的模型。

来源

  1. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  2. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
  3. AI Energy Score, Hugging Face (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私