# 如何用缓存降低大语言模型调用的能耗？

> 两种减少大语言模型工作量的缓存：服务商的提示缓存用于重复的上下文，您自己的缓存让相同的问题不必回答两次。

Source: https://greenai.guide/zh/如何/如何用缓存降低大语言模型调用的能耗/  
Updated: 2026-11-19

## 简而言之

采用两层缓存。服务商的提示缓存会复用对固定前缀的处理结果，例如很长的系统提示或共享文档，因此请把稳定的内容放在最前面。您自己的响应缓存会保存相同请求的答案，这样就不必再次调用模型。只要设置合理的过期时间，两者都能减少计算量、成本和延迟。

## Steps

1. 把稳定的内容，例如指令和参考文本，放在每个提示的开头。
2. 按照服务商文档的说明开启或标记提示缓存。
3. 在您自己的应用中，为相同的输入缓存完整的响应。
4. 根据底层答案变化的频率设置过期时间。
5. 记录缓存命中率和输入 token（词元）数量，以便看到节省的效果。

**最省的模型调用是不调用，其次是复用已经完成的工作。** 缓存两者兼顾。

## 什么是提示缓存？ {#what-is-prompt-caching}

**服务商会保存您提示开头部分经过处理后的形式，并在之后的调用中复用。** Anthropic 的文档称，对于含有固定内容的提示，提示缓存能“显著减少处理时间和成本”；缓存读取的价格是普通输入 token（词元）的十分之一，缓存默认保留五分钟。OpenAI 对支持的模型默认开启提示缓存。两者都只对完全相同的前缀有效，因此顺序很重要：稳定的指令和文档放在前面，变化的问题放在最后。

## 什么是响应缓存？ {#what-is-response-caching}

**您保存模型的答案，在同样的请求再次出现时直接返回。** 它适用于常见问题、对重复项目的分类，以及会反复提出相同问题的智能体。绿色软件基金会（Green Software Foundation）关于智能体编排的模式，正是建议用这种方式减少多余的模型调用和重复计算。

有些团队还使用“语义”缓存，匹配相似而非完全相同的问题。这种缓存节省更多，但对于只有细微差别的问题，可能返回错误的答案，因此请仔细测试。

## 常见错误 {#common-mistakes}

- **把时间戳或用户名放在提示顶部**，这会破坏前缀，使缓存失效。
- **永久缓存。** 根据答案过时的速度设置过期时间。
- **不做测量。** 没有命中率数据，您就不知道缓存是否有用。

如需了解复用而非重新生成这一更广泛的思路，请阅读[重编排，轻生成](/zh/文章/编排优先于生成/)。

## 来源

- [Prompt caching](https://platform.claude.com/docs/en/build-with-claude/prompt-caching), Anthropic, Claude platform documentation (2026)
- [Prompt caching](https://developers.openai.com/api/docs/guides/prompt-caching), OpenAI API documentation (2026)
- [Optimize agent orchestration to reduce unnecessary model calls](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/optimize-agent-orchestration-reduce-model-calls.md), Green Software Foundation, Green Software Patterns (2025)
