简而言之
准确说明任务,然后在 Hugging Face 等模型平台上按任务类型搜索,并用您自己的示例测试两三个小型候选模型。为单一任务构建的模型,运行成本可能比完成同样工作的通用生成式模型低几个数量级,所以在选定聊天机器人之前,值得花一个下午做测试。
步骤
- 用一句话描述任务,例如“把客服邮件分为六类”。
- 在模型平台上按该任务类型筛选搜索,例如文本分类或翻译。
- 挑选两三个小模型,并核实它们的许可协议和支持的语言。
- 用 50 到 100 个您自己的真实示例测试每个模型,并设定及格线。
- 在有评级的情况下比较单次请求能耗,只把通用模型留给测试失败的情况。
对于定义明确的工作,专为该工作训练的模型通常更便宜,而且效果往往同样好。 通用聊天机器人在每次请求时,都在为您的任务永远用不到的能力付费。
为什么这很重要?
Luccioni、Jernite 和 Strubell 在常见任务上比较了许多模型,发现在相同任务上,多用途生成式模型的运行成本比专用系统高出几个数量级。联合国教科文组织(UNESCO)和伦敦大学学院(University College London)报告称,小型专用模型最多可将能耗降低 90%。
去哪里找?
从公开的模型平台入手,按任务而不是按品牌搜索。 例如,Hugging Face 允许您按任务筛选模型,如文本分类、命名实体识别、摘要、翻译或语音识别。请留意:
- 用与您的数据相似的数据(相同语言、相同类型的文本)微调过的模型;
- 清楚说明训练数据和评估方式的模型卡;
- 您负担得起运行成本的规模,以参数数量衡量。
在比较能耗方面,AI Energy Score 根据十项常见任务的 GPU 能耗为模型评级,从一星到五星。
常见错误
- 只凭公开基准测试下判断。 请用您自己的示例测试;这才是对您唯一重要的分数。
- 让聊天机器人做批量分类。 如果您要为成千上万个条目打标签,小型分类器更快也更便宜。
- 忘记后备方案。 为困难情况保留一个更大的模型,并参阅如何把请求路由到更小的模型。
完整方法请阅读选择合适的模型。
来源
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- AI Energy Score, Hugging Face (2025)
相关内容
如何选择更小的 AI 模型?
用真实样例定义“够用”的标准,从小到大测试模型,在第一个达标的模型处停下;小型专用模型可节能高达 90%。
如何判断经典机器学习能否代替大语言模型?
给数据科学家的快速测试:回归、树模型或小型分类器在成本、能耗、速度和可靠性上何时胜过大语言模型。
如何比较不同 AI 模型的能耗?
如何公平地比较 AI 模型的能耗:使用 AI Energy Score 等基准,或在相同的任务、硬件和设置下自己测量。
为任务选择合适的模型
如何为 AI 选对规模:何时使用小型或专用模型,何时前沿模型物有所值,模型路由如何运作,以及何时根本不该使用 AI。