greenai.guide

首页 › 我该如何……? › 如何找到专用模型,而不是使用通用聊天机器人?

我该如何……?

如何找到专用模型,而不是使用通用聊天机器人?

更新于 · 阅读约需 1 分钟

简而言之

准确说明任务,然后在 Hugging Face 等模型平台上按任务类型搜索,并用您自己的示例测试两三个小型候选模型。为单一任务构建的模型,运行成本可能比完成同样工作的通用生成式模型低几个数量级,所以在选定聊天机器人之前,值得花一个下午做测试。

步骤

  1. 用一句话描述任务,例如“把客服邮件分为六类”。
  2. 在模型平台上按该任务类型筛选搜索,例如文本分类或翻译。
  3. 挑选两三个小模型,并核实它们的许可协议和支持的语言。
  4. 用 50 到 100 个您自己的真实示例测试每个模型,并设定及格线。
  5. 在有评级的情况下比较单次请求能耗,只把通用模型留给测试失败的情况。

对于定义明确的工作,专为该工作训练的模型通常更便宜,而且效果往往同样好。 通用聊天机器人在每次请求时,都在为您的任务永远用不到的能力付费。

为什么这很重要?

Luccioni、Jernite 和 Strubell 在常见任务上比较了许多模型,发现在相同任务上,多用途生成式模型的运行成本比专用系统高出几个数量级。联合国教科文组织(UNESCO)和伦敦大学学院(University College London)报告称,小型专用模型最多可将能耗降低 90%。

去哪里找?

从公开的模型平台入手,按任务而不是按品牌搜索。 例如,Hugging Face 允许您按任务筛选模型,如文本分类、命名实体识别、摘要、翻译或语音识别。请留意:

  • 用与您的数据相似的数据(相同语言、相同类型的文本)微调过的模型;
  • 清楚说明训练数据和评估方式的模型卡;
  • 您负担得起运行成本的规模,以参数数量衡量。

在比较能耗方面,AI Energy Score 根据十项常见任务的 GPU 能耗为模型评级,从一星到五星。

常见错误

  • 只凭公开基准测试下判断。 请用您自己的示例测试;这才是对您唯一重要的分数。
  • 让聊天机器人做批量分类。 如果您要为成千上万个条目打标签,小型分类器更快也更便宜。
  • 忘记后备方案。 为困难情况保留一个更大的模型,并参阅如何把请求路由到更小的模型。

完整方法请阅读选择合适的模型。

来源

  1. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
  2. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  3. AI Energy Score, Hugging Face (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私