greenai.guide

首页 › 我该如何……? › 什么时候该用 AI 的“思考”或推理模式?

我该如何……?

什么时候该用 AI 的“思考”或推理模式?

更新于 · 阅读约需 1 分钟

简而言之

真正困难的问题,例如多步数学、棘手的代码或细致的分析,使用推理或“思考”模式;日常问题、起草和摘要,则使用标准或快速模型。推理模式在回答之前会写出很长的隐藏推导过程,一项基准测试发现,它们的平均能耗高出 30 倍。

步骤

  1. 日常提问和写作,先使用标准或快速模型。
  2. 当任务需要多个逻辑步骤或仔细核查时,再切换到推理模式。
  3. 困难的部分完成后,重新关闭推理。
  4. 查看您的应用是否会自动选择模式;如果可以,在简单任务上手动改回。

推理模式是为难题准备的,而不是为每个问题准备的。 “思考”型模型在回答之前会一步一步地推演问题,写出大量隐藏的推导 token(词元)。这可以改善困难任务上的回答,但计算成本要高得多。

推理要多耗多少能源?

就目前的证据看,多得多。 Hugging Face 的 AI Energy Score 团队在 2025 年底测试了开源模型,发现推理模型的平均能耗高出 30 倍。同一个模型在开启和关闭推理两种情况下运行时,开启推理的能耗高出 150 到 700 倍,生成的 token 多出 300 到 800 倍。这些是开源模型在标准任务上的测试;商业服务并未公布可比的数据。

Kim、Shin、Chung 和 Rhu 在更广义的“测试时扩展”中发现了类似的规律:每个回答投入的计算越多,准确率的提升越小。

什么时候值得用?

任务 通常够用 推理有帮助
快速查事实、改写、写邮件 标准或快速模型 很少
摘要和初稿 标准模型 很少
多步数学或逻辑 有时 经常
调试棘手的代码 有时 经常
权衡复杂的决策 先用标准模型 第一个回答流于表面时

常见错误

  • 一直开着推理, 因为感觉它“更聪明”。
  • 用它来进行创意写作 或简单改写,而在这些场景中它很少有帮助。
  • 不检查自动模式切换。 有些应用会替您做决定;看看您能否自己选择。

关于更一般的模型选择,请参阅选择更小的 AI 模型和选择合适的模型。

来源

  1. AI Energy Score v2: refreshed leaderboard, now with reasoning, Luccioni and Gamazaychikov, Hugging Face (2025)
  2. The cost of dynamic reasoning: demystifying AI agents and test-time scaling from an AI infrastructure perspective, Kim, Shin, Chung and Rhu, HPCA 2026 (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私