Em resumo
Use duas camadas. O cache de prompts do provedor reutiliza o processamento de um prefixo fixo, como um prompt de sistema longo ou um documento compartilhado, por isso coloque o conteúdo estável primeiro. O seu próprio cache de respostas guarda as respostas a pedidos idênticos para que o modelo não seja chamado de novo. Os dois reduzem a computação, o custo e a latência, desde que você defina prazos de expiração sensatos.
Passos
- Coloque o conteúdo estável, como instruções e textos de referência, no início de cada prompt.
- Ative ou marque o cache de prompts como descreve a documentação do seu provedor.
- Guarde em cache as respostas completas para entradas idênticas na sua própria aplicação.
- Defina prazos de expiração que correspondam à frequência com que a resposta de fundo muda.
- Registre as taxas de acerto do cache e os tokens de entrada para ver a economia.
A chamada ao modelo mais barata é aquela que você não faz, e a segunda mais barata reutiliza trabalho já feito. O cache faz as duas coisas.
O que é o cache de prompts?
O provedor guarda a forma processada do início do seu prompt e a reutiliza nas chamadas seguintes. A documentação da Anthropic diz que o cache de prompts "reduz significativamente o tempo de processamento e os custos" para prompts com elementos constantes, cobra as leituras do cache a um décimo do preço normal dos tokens de entrada e mantém o cache por cinco minutos por padrão. A OpenAI ativa o cache de prompts por padrão nos modelos suportados. Os dois só funcionam com um prefixo idêntico, por isso a ordem importa: instruções e documentos estáveis primeiro, a pergunta que muda por último.
O que é o cache de respostas?
Você guarda a resposta do modelo e a devolve quando o mesmo pedido chega de novo. Isso serve para perguntas frequentes, classificação de itens repetidos e agentes que refazem perguntas idênticas. O padrão da Green Software Foundation sobre orquestração de agentes recomenda cortar chamadas redundantes ao modelo e computação repetida exatamente dessa forma.
Algumas equipes também usam caches "semânticos", que associam perguntas semelhantes em vez de idênticas. Eles economizam mais, mas podem devolver uma resposta errada para uma pergunta sutilmente diferente, por isso teste-os com cuidado.
Erros comuns
- Colocar carimbos de data e hora ou nomes de usuário no topo do prompt, o que quebra o prefixo e o cache.
- Guardar em cache para sempre. Defina uma expiração adequada à rapidez com que a resposta fica desatualizada.
- Não medir. Sem as taxas de acerto, você não vai saber se o cache ajuda.
Para a ideia mais ampla de reutilizar em vez de gerar de novo, leia orquestração em vez de geração.
Fontes
- Prompt caching, Anthropic, Claude platform documentation (2026)
- Prompt caching, OpenAI API documentation (2026)
- Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
Relacionados
Como evito que o meu chatbot reenvie a conversa inteira?
Como manter pequeno o contexto de um chatbot: limite as mensagens anteriores, resuma as antigas, recupere o relevante e use cache em prompts fixos.
Como evito que agentes de IA desperdicem tokens?
Proteções práticas para agentes de IA: condições de parada, limites de passos e tokens, deteção de loops, corte de contexto e modelos pequenos para passos simples.
Orquestração em vez de geração
Por que reutilizar componentes verificados e direcionar pedidos ao menor modelo capaz pode reduzir a energia da IA, e o que as evidências mostram.
Use a IA com eficiência: hábitos do dia a dia
Hábitos do dia a dia que reduzem a energia do uso da IA: prompts claros, menos ciclos de regeneração, cuidado com imagens e vídeo, cache e desativar padrões.