Em resumo
Use um índice de vizinhos mais próximos aproximado em vez de comparar cada consulta com cada vetor armazenado, recupere poucos trechos curtos e relevantes em vez de muitos longos e gere de novo os embeddings só do conteúdo que mudou. Depois, use o menor modelo de geração que responda bem a partir de um bom contexto. A maior parte do desperdício nos sistemas de recuperação vem da busca por força bruta e de prompts grandes demais.
Passos
- Substitua a comparação de vetores por força bruta por um índice de vizinhos mais próximos aproximado.
- Divida os documentos em blocos curtos e recupere só os primeiros colocados.
- Gere de novo os embeddings só do conteúdo novo ou alterado, em vez de reconstruir o índice inteiro.
- Registre os tokens de entrada por resposta e corte o contexto que não melhora a qualidade.
- Teste um modelo de geração menor quando a qualidade da recuperação estiver boa.
A recuperação deve fazer o modelo ler menos, e não mais. Um sistema de geração aumentada por recuperação (RAG) bem construído encontra rapidamente poucos trechos relevantes e entrega só esses ao modelo.
Onde o RAG desperdiça energia?
- Busca por força bruta. Comparar uma consulta com cada embedding armazenado, um por um, cresce com o tamanho da coleção. A Green Software Foundation recomenda, em vez disso, um índice de vizinhos mais próximos aproximado.
- Contexto grande demais. Recuperar vinte trechos longos "por segurança" multiplica os tokens de entrada. A Epoch AI estima que uma consulta típica de cerca de 0,3 Wh sobe para cerca de 2,5 Wh com uma entrada de 10.000 tokens.
- Reconstruir tudo. Gerar de novo os embeddings de todo um acervo de documentos todas as noites quando só alguns documentos mudaram.
O que faz mais diferença?
Uma recuperação melhor, para que o modelo precise de menos contexto. Uma boa divisão em blocos, uma etapa de reordenação (reranking) e filtros de metadados (data, departamento, produto) fazem com que três trechos curtos possam fazer o trabalho de quinze longos. Quando o contexto é bom, um modelo de geração menor muitas vezes responde igualmente bem; veja como escolher um modelo de IA menor.
Erros comuns
- Usar um modelo de embeddings grande quando um pequeno recupera igualmente bem com os seus dados. Teste os dois.
- Não ter um conjunto de avaliação. Meça a qualidade da recuperação (o trecho certo voltou?) separadamente da qualidade da resposta.
- Não guardar nada em cache. Perguntas frequentes podem reaproveitar respostas; veja como usar cache.
Para a ideia mais ampla de reaproveitar em vez de gerar de novo, leia orquestração em vez de geração.
Fontes
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
Relacionados
Como escolho entre recuperação e fine-tuning para economizar energia?
Quando usar recuperação (RAG) e quando fazer fine-tuning: recuperação para fatos que mudam, fine-tuning para habilidades e estilo, e por que confundi-los gasta energia.
Como evito que o meu chatbot reenvie a conversa inteira?
Como manter pequeno o contexto de um chatbot: limite as mensagens anteriores, resuma as antigas, recupere o relevante e use cache em prompts fixos.
Orquestração em vez de geração
Por que reutilizar componentes verificados e direcionar pedidos ao menor modelo capaz pode reduzir a energia da IA, e o que as evidências mostram.
Como armazeno dados de treino de IA para que os pipelines leiam menos?
Como formatos colunares e binários, particionamento e pré-processamento único reduzem a energia que os pipelines de IA gastam a ler e analisar dados de treino.