简而言之
大多数聊天功能在每一轮都会把整段对话重新发送给模型,因此输入随每条消息不断增长。限制发送的历史轮次数,把较早的轮次总结成一段简短的笔记,只检索与问题相关的早期消息或文档,并缓存固定的系统提示。长输入的能耗远高于短输入。
步骤
- 记录每一轮的输入 token(词元)数,让增长一目了然。
- 只原样发送最近几轮对话。
- 用一段简短的滚动摘要取代较早的轮次。
- 只在与新问题相关时,才检索早期的消息或文档。
- 对固定的系统提示和共享上下文使用提示缓存。
只发送模型这一轮所需的内容,而不是说过的所有话。 无限增长的上下文,是聊天功能中最常见的隐性成本之一。
为什么这很重要?
能耗随模型读取的文本量而上升。Delavande、Pierrard 和 Luccioni 发现,能耗随提示和生成长度呈线性增长。Epoch AI 估计,一次约 0.3 Wh 的典型查询,在输入为 10,000 个 token(词元)时会升至约 2.5 Wh,在输入为 100,000 个 token 时则接近 40 Wh。一段每一轮都重新发送全部内容的长时间客服对话,可能在无人察觉的情况下滑向高成本的一端。
如何让上下文保持精简?
- 滑动窗口。 逐字保留最近几轮对话。
- 滚动摘要。 每隔几轮,让一个小模型(或您自己的代码)把较早的历史压缩成一段简短的笔记,记录已做的决定和事实。
- 检索。 存储过去的消息和文档,只取回与新问题相关的部分。
- 提示缓存。 对于固定的指令,请参阅如何使用缓存。
- 重新开始。 提供一个“新话题”按钮,开启一个干净的上下文。
常见错误
- 每一轮都重新附上同一份文档,而不是检索相关段落。
- 摘要丢失了关键事实。 请测试总结之后回答是否仍然正确。
- 不做测量。 没有输入 token 日志,增长就是看不见的。
用户在面向消费者的工具中也可以这样做:请参阅如何避免长时间的 AI 聊天浪费能源。更多习惯请阅读高效使用 AI。
来源
- How much energy does ChatGPT use?, Epoch AI (2025)
- Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- What are tokens and how to count them?, OpenAI Help Center (2025)
相关内容
如何用缓存降低大语言模型调用的能耗?
两种减少大语言模型工作量的缓存:服务商的提示缓存用于重复的上下文,您自己的缓存让相同的问题不必回答两次。
如何避免与 AI 的长对话浪费能源?
为什么很长的 AI 对话每多一条消息成本就更高,以及让对话保持精简的简单习惯:开新对话、简短回顾、只粘贴要紧的内容。
如何限制大语言模型的输出长度?
开发者如何限制大语言模型的输出:设置最大 token 数,指定格式和长度,使用停止序列和结构化输出,并妥善处理被截断的回答。
高效使用 AI:日常习惯
降低 AI 使用能耗的日常习惯:清晰的提示、减少反复重新生成、慎用图像和视频、利用缓存,以及关闭默认开启的功能。