greenai.guide

首页 › 文章 › 智能体 AI 与 token 浪费

文章

智能体 AI 与 token 浪费

更新于 · 阅读约需 1 分钟

简而言之

AI 智能体(agent)分多个步骤执行任务,反复调用模型和工具,因此一个请求所用的 token(词元)可能是一次聊天的许多倍。多智能体系统会让这一消耗成倍增加;当智能体陷入循环或彼此各说各话时,这些 token 就白白浪费了。预算、步数上限、循环检测和规模合适的模型,可以让智能体既有用,又不会无谓地消耗能源。

要点

  • 智能体完成一项任务要多次调用模型,因此其 token 用量和能耗可能是一次聊天的许多倍。
  • 多智能体系统会让 token 用量再次成倍增加,只有足够有价值、足够复杂的任务才值得这样做。
  • 智能体可能陷入循环或重复工作,消耗 token 却毫无进展。
  • 对步数、token、时间和花费设定硬性上限,再加上能够叫停卡住的运行的监控,是基本的防护措施。
  • 合适规模意味着:只要任务允许,就使用单个智能体、小模型,甚至完全不用智能体。

AI 智能体(agent)是分多个步骤朝某个目标推进、自行选择调用哪些工具以及下一步做什么的系统。它们可以预订、搜索、编写代码、测试代码并再次尝试。这种自主性很有用,但每一步都是对模型的又一次调用,成本的累积方式是单次聊天所没有的。

是什么让智能体成本高昂?

智能体完成一项任务要多次调用模型,而每次调用通常都包含到目前为止不断增长的任务历史。 token 用量,也就是能耗,会随着每一步、每次工具调用和每次重试而增长。

token(词元)是模型读取或写出的一小段文本,大致相当于一个词的一部分。处理的每个 token 都要消耗计算。在聊天中,一个问题产生一个回答。而在智能体中,一个请求可能触发几十次模型调用:规划、搜索、阅读结果、写作、检查和修改。

Anthropic 在 2025 年介绍其多智能体研究系统的构建过程时描述了这一点。据其报告,智能体使用的 token 通常约为聊天交互的四倍,多智能体系统则约为十五倍。它还发现,在其浏览基准测试中,仅 token 用量一项就解释了 80% 的性能差异:这些系统表现更好,很大程度上是因为花得更多。

对于困难而有价值的任务,这是一笔公平的交易;对于简单任务,这就是浪费。

有没有关于智能体能耗的证据?

早期研究指向同一个方向。 Kim、Shin、Chung 和 Rhu(2025)从数据中心基础设施的角度,比较了智能体式多轮工作流与单轮推理。他们发现,智能体的能耗明显更高;投入更多计算后,准确率的提升呈现收益递减;以这种方式扩展智能体所带来的基础设施成本可能变得不可持续。

真实部署的实测数据仍然很少,因为服务提供商很少公布这些数据。参见测量是瓶颈。

智能体如何浪费 token?

做了无助于推进任务的工作。 常见模式包括:

  • 循环。 智能体重复同一个操作,或者两个智能体把一个问题来回推给对方。
  • 过度检查。 每一步都由另一次模型调用来审查,即使一个简单测试就足够。
  • 上下文膨胀。 整篇文档、日志或工具输出在之后的每一步中都被带着走。
  • 重试风暴。 一次失败引发反复重试,有时还换用越来越大的模型。
  • 过度分派。 一个智能体就能完成的任务被拆分给许多智能体。

Cemri 等人(2025)分析了来自七个多智能体框架的 1,600 多条带标注的运行轨迹,识别出这些系统失败的 14 种不同方式,归为三类:系统和任务的设定问题、智能体之间的不协调,以及未能核验任务。每一种失败模式,也都是一种花掉 token 却得不到结果的方式。

2026 年,英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)讨论了同一个问题:成群的智能体可能把自己困住,互相发送毫无意义的输出,烧掉数十万个 token。会上提出的开放研究问题是:如何从数学上、尽早地发现一组智能体已经卡住,以便有人或有某种机制能够叫停它。

这在商业上是否和在环境上一样重要?

是的;成本和能耗是同步上升的。 Gartner 在 2025 年 6 月预测,到 2027 年底,超过 40% 的智能体 AI 项目将因成本不断攀升、商业价值不明确或风险控制不足而被取消。token 浪费直接加剧了其中的第一个原因。

哪些防护措施能约束智能体?

硬性上限、监控和叫停手段。 这些都是基本的工程控制,大多数智能体框架都支持其中一部分。

防护措施 作用
步数上限 限制一次运行中模型调用的次数。例如,OpenAI Agents SDK 有一个 max_turns 设置,超过后即停止运行。
token 或花费预算 运行超过设定成本时,停止运行或上报处理。
时间上限 结束耗时远超预期的运行。
循环检测 标记重复的操作,或智能体之间几乎相同的消息。
外部观察者 一个独立、低成本的进程或一个人,负责观察进展并能叫停运行:即“红色按钮”。
上下文裁剪 对旧的历史进行摘要或删除,让每次调用读取更少的 token。

上限应当安全地失效:预算用完时,智能体应停下来并报告已有的结果,而不是悄悄地重试。

智能体的“合适规模”是什么意思?

使用能完成工作的最简单的系统。 在构建多智能体系统之前,请按以下顺序逐项考虑:

  1. 不用智能体。 一个固定脚本、一次搜索或一次模型调用能否完成?
  2. 一次带工具的调用。 一次提示词写得好、能够使用工具的模型调用往往就够了。
  3. 一个智能体。 一个设有步数上限的智能体。
  4. 多个智能体,只用于范围广、价值高且真正可以并行的任务。

在上述任何一种方案中,都应使用小模型处理分类、抽取和格式化等简单子任务,把大模型留给困难的推理。但这里有个问题:模型太小可能会失败,迫使在更大的模型上重新运行;在一条长链中,一次失败还可能打乱后续步骤。如何设定这个门槛是一项值得测试的设计决策。参见选择合适的模型和编排优于生成。

下一步怎么做

  • 对您运行的每个智能体,记录每项已完成任务所用的 token,包括重试和失败的运行。
  • 在每个智能体投入生产之前,为其设定步数、token、时间和花费上限。
  • 加入循环检测,并让人能够叫停运行。
  • 从可行的最简单设计开始,只有在任务需要时才增加智能体。
  • 把简单子任务交给小模型。参见高效使用 AI。
  • 如果您采购智能体工具,请询问供应商如何限制和报告 token 用量:参见可持续 AI 采购。

常见问题

什么是智能体 AI?

智能体 AI 是指通过多个步骤追求某个目标、自行决定调用哪些工具以及下一步做什么的 AI 系统,而不是只回答一个提示词(prompt)。它们完成一项任务往往要多次调用语言模型。

为什么 AI 智能体要用这么多 token?

每一步都会把不断增长的任务历史重新发给模型,智能体还可能调用工具、检查自己的工作并重试。多智能体系统还要在智能体之间传递消息,每条消息都要消耗 token。

怎样防止 AI 智能体浪费 token?

对步数、token、时间和花费设定上限;检测循环和重复操作;用小模型处理简单的子任务;并确保有人能够叫停运行。

来源

  1. How we built our multi-agent research system, Anthropic (2025)
  2. Why do multi-agent LLM systems fail?, Cemri et al. (2025)
  3. The cost of dynamic reasoning: demystifying AI agents and test-time scaling from an AI infrastructure perspective, Kim, Shin, Chung and Rhu, HPCA 2026 (2025)
  4. Gartner predicts over 40% of agentic AI projects will be canceled by end of 2027, Gartner (2025)
  5. Running agents (max_turns), OpenAI Agents SDK documentation (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私