greenai.guide

首页 › 我该如何……? › 如何避免聊天机器人每次都重新发送整段对话?

我该如何……?

如何避免聊天机器人每次都重新发送整段对话?

更新于 · 阅读约需 1 分钟

简而言之

大多数聊天功能在每一轮都会把整段对话重新发送给模型,因此输入随每条消息不断增长。限制发送的历史轮次数,把较早的轮次总结成一段简短的笔记,只检索与问题相关的早期消息或文档,并缓存固定的系统提示。长输入的能耗远高于短输入。

步骤

  1. 记录每一轮的输入 token(词元)数,让增长一目了然。
  2. 只原样发送最近几轮对话。
  3. 用一段简短的滚动摘要取代较早的轮次。
  4. 只在与新问题相关时,才检索早期的消息或文档。
  5. 对固定的系统提示和共享上下文使用提示缓存。

只发送模型这一轮所需的内容,而不是说过的所有话。 无限增长的上下文,是聊天功能中最常见的隐性成本之一。

为什么这很重要?

能耗随模型读取的文本量而上升。Delavande、Pierrard 和 Luccioni 发现,能耗随提示和生成长度呈线性增长。Epoch AI 估计,一次约 0.3 Wh 的典型查询,在输入为 10,000 个 token(词元)时会升至约 2.5 Wh,在输入为 100,000 个 token 时则接近 40 Wh。一段每一轮都重新发送全部内容的长时间客服对话,可能在无人察觉的情况下滑向高成本的一端。

如何让上下文保持精简?

  • 滑动窗口。 逐字保留最近几轮对话。
  • 滚动摘要。 每隔几轮,让一个小模型(或您自己的代码)把较早的历史压缩成一段简短的笔记,记录已做的决定和事实。
  • 检索。 存储过去的消息和文档,只取回与新问题相关的部分。
  • 提示缓存。 对于固定的指令,请参阅如何使用缓存。
  • 重新开始。 提供一个“新话题”按钮,开启一个干净的上下文。

常见错误

  • 每一轮都重新附上同一份文档,而不是检索相关段落。
  • 摘要丢失了关键事实。 请测试总结之后回答是否仍然正确。
  • 不做测量。 没有输入 token 日志,增长就是看不见的。

用户在面向消费者的工具中也可以这样做:请参阅如何避免长时间的 AI 聊天浪费能源。更多习惯请阅读高效使用 AI。

来源

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私