简而言之
如果您的输入是结构化数据或带标签的短文本,输出是一个数值、一个类别或一个排序,请先尝试经典模型:线性模型、梯度提升树或小型分类器。它们的运行成本低得多,速度更快,更容易解释,而且往往同样准确。只有当任务确实需要开放式的语言能力时,才使用大语言模型。
步骤
- 写下输入类型、输出类型和质量标准。
- 先建立一个简单的基线,例如规则、线性模型或梯度提升树。
- 如果输入是自由文本,尝试一个经过微调的小型分类器。
- 只有在基线达不到标准时才测试大语言模型,并使用同一个评估集。
- 在选择之前,比较每次预测的质量、延迟和能耗。
使用能达到质量标准的最简单的模型。 对于结构化数据和范围较窄的标注任务,这通常是经典机器学习模型,而不是大语言模型。
为什么这很重要?
Luccioni、Jernite 和 Strubell 测量了模型在许多任务上的运行能耗。文本分类是成本最低的任务之一,每 1,000 次推理约耗电 0.002 kWh;而在相同任务上,通用生成式模型的成本比专用模型高出几个数量级。W3C《网络可持续性指南》(Web Sustainability Guidelines)也要求团队在实施 AI 之前先评估是否需要 AI。
2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)从另一个角度提出了同样的观点:人们常常求助于 AI,而一种成熟的统计或数值方法其实早已能完成这项工作。
快速测试
| 您的任务 | 先尝试 |
|---|---|
| 根据表格数据预测一个数值 | 线性模型或梯度提升树 |
| 从少数几个标签中选一个 | 经过微调的小型分类器 |
| 查找相似的项目 | 嵌入向量加最近邻索引 |
| 预测时间序列 | 成熟的统计预测方法 |
| 写作、解释或对话 | 这才是大语言模型物有所值的地方 |
常见错误
- 跳过基线。 没有基线,您就无法判断大语言模型是否带来了额外价值。
- 用大语言模型标注数据,却从不用这些数据重新训练。 用它一次性生成标签,然后训练一个小模型。
- 只比较准确率。 还要比较延迟、每次预测的能耗,以及错误是否容易解释。
更多内容请阅读为任务选择合适的模型和高效 AI 背后的数学。
来源
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
- Web Sustainability Guidelines, W3C (2025)