简而言之
采用两层缓存。服务商的提示缓存会复用对固定前缀的处理结果,例如很长的系统提示或共享文档,因此请把稳定的内容放在最前面。您自己的响应缓存会保存相同请求的答案,这样就不必再次调用模型。只要设置合理的过期时间,两者都能减少计算量、成本和延迟。
步骤
- 把稳定的内容,例如指令和参考文本,放在每个提示的开头。
- 按照服务商文档的说明开启或标记提示缓存。
- 在您自己的应用中,为相同的输入缓存完整的响应。
- 根据底层答案变化的频率设置过期时间。
- 记录缓存命中率和输入 token(词元)数量,以便看到节省的效果。
最省的模型调用是不调用,其次是复用已经完成的工作。 缓存两者兼顾。
什么是提示缓存?
服务商会保存您提示开头部分经过处理后的形式,并在之后的调用中复用。 Anthropic 的文档称,对于含有固定内容的提示,提示缓存能“显著减少处理时间和成本”;缓存读取的价格是普通输入 token(词元)的十分之一,缓存默认保留五分钟。OpenAI 对支持的模型默认开启提示缓存。两者都只对完全相同的前缀有效,因此顺序很重要:稳定的指令和文档放在前面,变化的问题放在最后。
什么是响应缓存?
您保存模型的答案,在同样的请求再次出现时直接返回。 它适用于常见问题、对重复项目的分类,以及会反复提出相同问题的智能体。绿色软件基金会(Green Software Foundation)关于智能体编排的模式,正是建议用这种方式减少多余的模型调用和重复计算。
有些团队还使用“语义”缓存,匹配相似而非完全相同的问题。这种缓存节省更多,但对于只有细微差别的问题,可能返回错误的答案,因此请仔细测试。
常见错误
- 把时间戳或用户名放在提示顶部,这会破坏前缀,使缓存失效。
- 永久缓存。 根据答案过时的速度设置过期时间。
- 不做测量。 没有命中率数据,您就不知道缓存是否有用。
如需了解复用而非重新生成这一更广泛的思路,请阅读重编排,轻生成。
来源
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
相关内容
如何避免聊天机器人每次都重新发送整段对话?
如何让聊天机器人的上下文保持精简:限制历史轮次,总结较早的消息,只检索相关内容,并缓存固定提示,让输入不再不断增长。
如何防止 AI 智能体浪费 token?
为 AI 智能体设置实用的防护措施:停止条件、步数和 token 上限、循环检测、上下文精简,以及用小模型处理简单步骤。
编排优先于生成
为什么复用经过审核的组件、把请求路由到够用的最小模型能减少 AI 能耗,以及目前的证据说明了什么。
高效使用 AI:日常习惯
降低 AI 使用能耗的日常习惯:清晰的提示、减少反复重新生成、慎用图像和视频、利用缓存,以及关闭默认开启的功能。