简而言之
先用真实样例定义什么是“够用”,然后从最小到最大依次测试模型,在第一个达标的模型处停下。小型和专用模型的能耗可能只是大型通用模型的一小部分:联合国教科文组织(UNESCO)和伦敦大学学院(University College London)报告称,在合适的任务上最多可节能 90%。
步骤
- 写下任务和合格标准,例如答案必须正确的比例。
- 收集 20 到 50 个真实样例用于测试。
- 先试用最小的或“mini”版模型,只有在它达不到合格标准时才换用更大的模型。
- 在有公开能耗评级的情况下查看它们,例如 AI Energy Score。
- 把较大的模型留给小模型处理不了的情况。
- 当模型或您的任务发生变化时,重新测试。
使用能达到您质量标准的最小模型,而不是能找到的最强模型。 大型通用模型在每次请求中,都要为您的任务可能永远用不到的能力付出代价。
为什么模型规模如此重要?
它通常是影响能耗的最大单一因素。 Luccioni、Jernite 和 Strubell 发现,在相同任务上,多用途生成式模型的运行成本比专用系统高出几个数量级。联合国教科文组织和伦敦大学学院发现,针对特定任务定制的小模型最多可将能耗降低 90%。
如何测试候选模型?
- 用您自己的工作定义标准,例如“98% 的情况下能正确提取发票总额”。
- 先测试小模型。 许多服务商提供“mini”“lite”或“flash”版本;开放权重的模型系列也有多种规模。
- 在第一个达标的模型处停下。 对于范围较窄的任务,模型越大并不自动意味着越准确。
- 比较能耗,而不只是价格。 Hugging Face 的 AI Energy Score 按常见任务中每次查询的能耗,为开放模型评定一到五颗星;请参阅解读 AI Energy Score 评级。
对日常用户来说,道理也一样:回答简单问题时,在聊天机器人中选择快速或轻量的选项。
常见错误
- 凭名气选择,而不是用您自己的样例测试。
- 按每次调用而不是每次成功来衡量成本。 模型太小导致失败,只好再用大模型重新运行,总体成本可能更高。
- 从不重新评估。 小模型进步很快;每隔几个月重新测试一次。
如需自动把每个请求发送给合适规模的模型,请参阅把请求路由到更小的模型。完整的方法请见为任务选择合适的模型。
来源
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- AI Energy Score, Hugging Face (2025)
相关内容
为任务选择合适的模型
如何为 AI 选对规模:何时使用小型或专用模型,何时前沿模型物有所值,模型路由如何运作,以及何时根本不该使用 AI。
如何找到专用模型,而不是使用通用聊天机器人?
如何找到为单一任务构建的小模型,例如用于分类、提取或翻译,并检验它能否以更低能耗达到通用聊天机器人的效果。
如何把请求路由到更小的模型?
如何把日常请求交给小模型、只把困难请求交给大模型,以及如何调整路由器,避免重试吞掉节省下来的成本。
如何比较不同 AI 模型的能耗?
如何公平地比较 AI 模型的能耗:使用 AI Energy Score 等基准,或在相同的任务、硬件和设置下自己测量。