greenai.guide

首页 › 我该如何……? › 如何用缓存降低大语言模型调用的能耗?

我该如何……?

如何用缓存降低大语言模型调用的能耗?

更新于 · 阅读约需 1 分钟

简而言之

采用两层缓存。服务商的提示缓存会复用对固定前缀的处理结果,例如很长的系统提示或共享文档,因此请把稳定的内容放在最前面。您自己的响应缓存会保存相同请求的答案,这样就不必再次调用模型。只要设置合理的过期时间,两者都能减少计算量、成本和延迟。

步骤

  1. 把稳定的内容,例如指令和参考文本,放在每个提示的开头。
  2. 按照服务商文档的说明开启或标记提示缓存。
  3. 在您自己的应用中,为相同的输入缓存完整的响应。
  4. 根据底层答案变化的频率设置过期时间。
  5. 记录缓存命中率和输入 token(词元)数量,以便看到节省的效果。

最省的模型调用是不调用,其次是复用已经完成的工作。 缓存两者兼顾。

什么是提示缓存?

服务商会保存您提示开头部分经过处理后的形式,并在之后的调用中复用。 Anthropic 的文档称,对于含有固定内容的提示,提示缓存能“显著减少处理时间和成本”;缓存读取的价格是普通输入 token(词元)的十分之一,缓存默认保留五分钟。OpenAI 对支持的模型默认开启提示缓存。两者都只对完全相同的前缀有效,因此顺序很重要:稳定的指令和文档放在前面,变化的问题放在最后。

什么是响应缓存?

您保存模型的答案,在同样的请求再次出现时直接返回。 它适用于常见问题、对重复项目的分类,以及会反复提出相同问题的智能体。绿色软件基金会(Green Software Foundation)关于智能体编排的模式,正是建议用这种方式减少多余的模型调用和重复计算。

有些团队还使用“语义”缓存,匹配相似而非完全相同的问题。这种缓存节省更多,但对于只有细微差别的问题,可能返回错误的答案,因此请仔细测试。

常见错误

  • 把时间戳或用户名放在提示顶部,这会破坏前缀,使缓存失效。
  • 永久缓存。 根据答案过时的速度设置过期时间。
  • 不做测量。 没有命中率数据,您就不知道缓存是否有用。

如需了解复用而非重新生成这一更广泛的思路,请阅读重编排,轻生成。

来源

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私