greenai.guide

Início › Como faço para…? › Como torno a busca vetorial e o RAG mais eficientes?

Como faço para…?

Como torno a busca vetorial e o RAG mais eficientes?

Atualizado · 1 min de leitura

Em resumo

Use um índice de vizinhos mais próximos aproximado em vez de comparar cada consulta com cada vetor armazenado, recupere poucos trechos curtos e relevantes em vez de muitos longos e gere de novo os embeddings só do conteúdo que mudou. Depois, use o menor modelo de geração que responda bem a partir de um bom contexto. A maior parte do desperdício nos sistemas de recuperação vem da busca por força bruta e de prompts grandes demais.

Passos

  1. Substitua a comparação de vetores por força bruta por um índice de vizinhos mais próximos aproximado.
  2. Divida os documentos em blocos curtos e recupere só os primeiros colocados.
  3. Gere de novo os embeddings só do conteúdo novo ou alterado, em vez de reconstruir o índice inteiro.
  4. Registre os tokens de entrada por resposta e corte o contexto que não melhora a qualidade.
  5. Teste um modelo de geração menor quando a qualidade da recuperação estiver boa.

A recuperação deve fazer o modelo ler menos, e não mais. Um sistema de geração aumentada por recuperação (RAG) bem construído encontra rapidamente poucos trechos relevantes e entrega só esses ao modelo.

Onde o RAG desperdiça energia?

  • Busca por força bruta. Comparar uma consulta com cada embedding armazenado, um por um, cresce com o tamanho da coleção. A Green Software Foundation recomenda, em vez disso, um índice de vizinhos mais próximos aproximado.
  • Contexto grande demais. Recuperar vinte trechos longos "por segurança" multiplica os tokens de entrada. A Epoch AI estima que uma consulta típica de cerca de 0,3 Wh sobe para cerca de 2,5 Wh com uma entrada de 10.000 tokens.
  • Reconstruir tudo. Gerar de novo os embeddings de todo um acervo de documentos todas as noites quando só alguns documentos mudaram.

O que faz mais diferença?

Uma recuperação melhor, para que o modelo precise de menos contexto. Uma boa divisão em blocos, uma etapa de reordenação (reranking) e filtros de metadados (data, departamento, produto) fazem com que três trechos curtos possam fazer o trabalho de quinze longos. Quando o contexto é bom, um modelo de geração menor muitas vezes responde igualmente bem; veja como escolher um modelo de IA menor.

Erros comuns

  • Usar um modelo de embeddings grande quando um pequeno recupera igualmente bem com os seus dados. Teste os dois.
  • Não ter um conjunto de avaliação. Meça a qualidade da recuperação (o trecho certo voltou?) separadamente da qualidade da resposta.
  • Não guardar nada em cache. Perguntas frequentes podem reaproveitar respostas; veja como usar cache.

Para a ideia mais ampla de reaproveitar em vez de gerar de novo, leia orquestração em vez de geração.

Fontes

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

Junte-se a nós

Ajude a reduzir o impacto da IA no planeta

Receba novos guias, editais de financiamento e listagens dos diretórios por e-mail, cerca de uma vez por mês. Ou adicione seu produto, curso, doutorado ou pesquisa aos diretórios.

Sem rastreamento. Cancele a inscrição com um clique. Outras formas de participar · Privacidade