简而言之
真正困难的问题,例如多步数学、棘手的代码或细致的分析,使用推理或“思考”模式;日常问题、起草和摘要,则使用标准或快速模型。推理模式在回答之前会写出很长的隐藏推导过程,一项基准测试发现,它们的平均能耗高出 30 倍。
步骤
- 日常提问和写作,先使用标准或快速模型。
- 当任务需要多个逻辑步骤或仔细核查时,再切换到推理模式。
- 困难的部分完成后,重新关闭推理。
- 查看您的应用是否会自动选择模式;如果可以,在简单任务上手动改回。
推理模式是为难题准备的,而不是为每个问题准备的。 “思考”型模型在回答之前会一步一步地推演问题,写出大量隐藏的推导 token(词元)。这可以改善困难任务上的回答,但计算成本要高得多。
推理要多耗多少能源?
就目前的证据看,多得多。 Hugging Face 的 AI Energy Score 团队在 2025 年底测试了开源模型,发现推理模型的平均能耗高出 30 倍。同一个模型在开启和关闭推理两种情况下运行时,开启推理的能耗高出 150 到 700 倍,生成的 token 多出 300 到 800 倍。这些是开源模型在标准任务上的测试;商业服务并未公布可比的数据。
Kim、Shin、Chung 和 Rhu 在更广义的“测试时扩展”中发现了类似的规律:每个回答投入的计算越多,准确率的提升越小。
什么时候值得用?
| 任务 | 通常够用 | 推理有帮助 |
|---|---|---|
| 快速查事实、改写、写邮件 | 标准或快速模型 | 很少 |
| 摘要和初稿 | 标准模型 | 很少 |
| 多步数学或逻辑 | 有时 | 经常 |
| 调试棘手的代码 | 有时 | 经常 |
| 权衡复杂的决策 | 先用标准模型 | 第一个回答流于表面时 |
常见错误
- 一直开着推理, 因为感觉它“更聪明”。
- 用它来进行创意写作 或简单改写,而在这些场景中它很少有帮助。
- 不检查自动模式切换。 有些应用会替您做决定;看看您能否自己选择。
关于更一般的模型选择,请参阅选择更小的 AI 模型和选择合适的模型。
来源
- AI Energy Score v2: refreshed leaderboard, now with reasoning, Luccioni and Gamazaychikov, Hugging Face (2025)
- The cost of dynamic reasoning: demystifying AI agents and test-time scaling from an AI infrastructure perspective, Kim, Shin, Chung and Rhu, HPCA 2026 (2025)
相关内容
如何选择更小的 AI 模型?
用真实样例定义“够用”的标准,从小到大测试模型,在第一个达标的模型处停下;小型专用模型可节能高达 90%。
如何使用 AI 智能体和深度研究工具而不造成浪费?
AI 智能体和深度研究模式何时值得付出高得多的 token 用量,以及如何给出清晰的任务说明,让它们尽快完成而不是兜圈子。
如何减少我使用 ChatGPT 的能耗?
减少使用 ChatGPT 及类似聊天机器人能耗的实用方法:缩短对话,减少重新生成,选用更轻量的模型,少生成图像。
为任务选择合适的模型
如何为 AI 选对规模:何时使用小型或专用模型,何时前沿模型物有所值,模型路由如何运作,以及何时根本不该使用 AI。