# 如何避免聊天机器人每次都重新发送整段对话？

> 如何让聊天机器人的上下文保持精简：限制历史轮次，总结较早的消息，只检索相关内容，并缓存固定提示，让输入不再不断增长。

Source: https://greenai.guide/zh/如何/如何避免聊天机器人每次都重新发送整段对话/  
Updated: 2026-11-19

## 简而言之

大多数聊天功能在每一轮都会把整段对话重新发送给模型，因此输入随每条消息不断增长。限制发送的历史轮次数，把较早的轮次总结成一段简短的笔记，只检索与问题相关的早期消息或文档，并缓存固定的系统提示。长输入的能耗远高于短输入。

## Steps

1. 记录每一轮的输入 token（词元）数，让增长一目了然。
2. 只原样发送最近几轮对话。
3. 用一段简短的滚动摘要取代较早的轮次。
4. 只在与新问题相关时，才检索早期的消息或文档。
5. 对固定的系统提示和共享上下文使用提示缓存。

**只发送模型这一轮所需的内容，而不是说过的所有话。** 无限增长的上下文，是聊天功能中最常见的隐性成本之一。

## 为什么这很重要？ {#why-does-it-matter}

能耗随模型读取的文本量而上升。Delavande、Pierrard 和 Luccioni 发现，能耗随提示和生成长度呈线性增长。Epoch AI 估计，一次约 0.3 Wh 的典型查询，在输入为 10,000 个 token（词元）时会升至约 2.5 Wh，在输入为 100,000 个 token 时则接近 40 Wh。一段每一轮都重新发送全部内容的长时间客服对话，可能在无人察觉的情况下滑向高成本的一端。

## 如何让上下文保持精简？ {#how-do-i-keep-context-small}

- **滑动窗口。** 逐字保留最近几轮对话。
- **滚动摘要。** 每隔几轮，让一个小模型（或您自己的代码）把较早的历史压缩成一段简短的笔记，记录已做的决定和事实。
- **检索。** 存储过去的消息和文档，只取回与新问题相关的部分。
- **提示缓存。** 对于固定的指令，请参阅[如何使用缓存](/zh/如何/如何用缓存降低大语言模型调用的能耗/)。
- **重新开始。** 提供一个“新话题”按钮，开启一个干净的上下文。

## 常见错误 {#common-mistakes}

- **每一轮都重新附上同一份文档**，而不是检索相关段落。
- **摘要丢失了关键事实。** 请测试总结之后回答是否仍然正确。
- **不做测量。** 没有输入 token 日志，增长就是看不见的。

用户在面向消费者的工具中也可以这样做：请参阅[如何避免长时间的 AI 聊天浪费能源](/zh/如何/如何避免与-ai-的长对话浪费能源/)。更多习惯请阅读[高效使用 AI](/zh/良好实践/高效使用-ai-日常习惯/)。

## 来源

- [How much energy does ChatGPT use?](https://epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use), Epoch AI (2025)
- [Small talk, big impact: the energy cost of thanking AI](https://arxiv.org/abs/2601.22357), Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
- [What are tokens and how to count them?](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them), OpenAI Help Center (2025)
