En resumen
Use dos capas. La caché de prompts del proveedor reutiliza el procesamiento de un prefijo fijo, como un prompt de sistema largo o un documento compartido, así que ponga primero el contenido estable. Su propia caché de respuestas guarda las respuestas a solicitudes idénticas para no volver a llamar al modelo. Ambas reducen el cómputo, el coste y la latencia, siempre que fije tiempos de caducidad razonables.
Pasos
- Ponga el contenido estable, como las instrucciones y el texto de referencia, al principio de cada prompt.
- Active o marque la caché de prompts tal como describe la documentación de su proveedor.
- Guarde en caché las respuestas completas a entradas idénticas en su propia aplicación.
- Fije tiempos de caducidad acordes con la frecuencia con que cambia la respuesta subyacente.
- Registre las tasas de acierto de la caché y los tokens de entrada para ver el ahorro.
La llamada al modelo más barata es la que no se hace, y la siguiente más barata es la que reutiliza trabajo ya hecho. La caché consigue ambas cosas.
¿Qué es la caché de prompts?
El proveedor guarda la forma procesada del comienzo de su prompt (instrucción) y la reutiliza en llamadas posteriores. La documentación de Anthropic afirma que la caché de prompts «reduce significativamente el tiempo de procesamiento y los costes» en prompts con elementos constantes, cobra las lecturas de caché a una décima parte del precio de los tokens de entrada normales y conserva la caché durante cinco minutos por defecto. OpenAI activa la caché de prompts por defecto en los modelos compatibles. Ambas funcionan solo con un prefijo idéntico, así que el orden importa: primero las instrucciones y los documentos estables, y al final la pregunta que cambia.
¿Qué es la caché de respuestas?
Usted guarda la respuesta del modelo y la devuelve cuando vuelve a llegar la misma solicitud. Es adecuada para preguntas frecuentes, la clasificación de elementos repetidos y los agentes que vuelven a hacer preguntas idénticas. El patrón de la Green Software Foundation sobre la orquestación de agentes recomienda precisamente así reducir las llamadas redundantes al modelo y el cómputo repetido.
Algunos equipos usan también cachés «semánticas» que emparejan preguntas parecidas en lugar de idénticas. Ahorran más, pero pueden devolver una respuesta errónea ante una pregunta sutilmente distinta, así que pruébelas con cuidado.
Errores frecuentes
- Poner marcas de tiempo o nombres de usuario al principio del prompt, lo que rompe el prefijo y la caché.
- Guardar en caché para siempre. Fije una caducidad adecuada a la rapidez con que la respuesta queda obsoleta.
- No medir. Sin tasas de acierto no sabrá si la caché ayuda.
Para la idea más amplia de reutilizar en lugar de volver a generar, lea orquestación antes que generación.
Fuentes
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
Relacionado
¿Cómo evito que mi chatbot reenvíe toda la conversación?
Cómo mantener pequeño el contexto de un chatbot: limitar los turnos anteriores, resumir los mensajes antiguos, recuperar lo pertinente y guardar en caché los prompts fijos.
¿Cómo evito que los agentes de IA desperdicien tokens?
Salvaguardas prácticas para agentes de IA: condiciones de parada, límites de pasos y tokens, detección de bucles, recorte del contexto y modelos pequeños para pasos simples.
Orquestar antes que generar
Por qué reutilizar componentes verificados y dirigir cada solicitud al modelo más pequeño capaz puede reducir la energía de la IA, y qué dicen los datos.
Use la IA de forma eficiente: hábitos cotidianos
Hábitos cotidianos que reducen la energía al usar IA: prompts claros, menos regeneraciones, prudencia con imágenes y vídeo, caché y desactivar funciones.