greenai.guide

Inicio › ¿Cómo puedo…? › ¿Cómo hago más eficientes la búsqueda vectorial y RAG?

¿Cómo puedo…?

¿Cómo hago más eficientes la búsqueda vectorial y RAG?

Actualizado · 1 min de lectura

En resumen

Use un índice de vecinos más cercanos aproximado en lugar de comparar cada consulta con todos los vectores almacenados, recupere unos pocos fragmentos cortos y pertinentes en lugar de muchos largos, y vuelva a calcular los embeddings solo del contenido que ha cambiado. Después, use el modelo de generación más pequeño que responda bien a partir de un buen contexto. La mayor parte del desperdicio en los sistemas de recuperación procede de la búsqueda por fuerza bruta y de los prompts sobredimensionados.

Pasos

  1. Sustituya la comparación de vectores por fuerza bruta por un índice de vecinos más cercanos aproximado.
  2. Divida los documentos en fragmentos cortos y recupere solo los primeros.
  3. Vuelva a calcular los embeddings solo del contenido nuevo o modificado en lugar de reconstruir todo el índice.
  4. Registre los tokens de entrada por respuesta y recorte el contexto que no mejora la calidad.
  5. Pruebe un modelo de generación más pequeño cuando la calidad de la recuperación sea buena.

La recuperación debería hacer que el modelo lea menos, no más. Un sistema de generación aumentada por recuperación (RAG) bien construido encuentra deprisa unos pocos fragmentos pertinentes y entrega solo esos al modelo.

¿Dónde desperdicia energía RAG?

  • Búsqueda por fuerza bruta. Comparar una consulta con todos los embeddings almacenados, uno por uno, crece con el tamaño de la colección. La Green Software Foundation recomienda en su lugar un índice de vecinos más cercanos aproximado.
  • Contexto sobredimensionado. Recuperar veinte fragmentos largos «por si acaso» multiplica los tokens de entrada. Epoch AI estima que una consulta típica de unos 0,3 Wh sube a unos 2,5 Wh con una entrada de 10.000 tokens.
  • Reconstruirlo todo. Volver a calcular los embeddings de todo un almacén de documentos cada noche cuando solo han cambiado unos pocos.

¿Qué marca la mayor diferencia?

Una mejor recuperación, para que el modelo necesite menos contexto. Una buena fragmentación, un paso de reordenación y filtros de metadatos (fecha, departamento, producto) permiten que tres fragmentos cortos hagan el trabajo de quince largos. Cuando el contexto es bueno, un modelo de generación más pequeño suele responder igual de bien; consulte cómo elegir un modelo de IA más pequeño.

Errores frecuentes

  • Usar un modelo de embeddings grande cuando uno pequeño recupera igual de bien con sus datos. Pruebe ambos.
  • No tener conjunto de evaluación. Mida la calidad de la recuperación (¿volvió el fragmento correcto?) por separado de la calidad de la respuesta.
  • No guardar nada en caché. Las preguntas frecuentes pueden reutilizar respuestas; consulte cómo usar la caché.

Para la idea más amplia de reutilizar en lugar de volver a generar, lea orquestación antes que generación.

Fuentes

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

Únase a nosotros

Ayude a reducir el impacto de la IA en el planeta

Reciba por correo electrónico nuevas guías, convocatorias de financiación y fichas de los directorios, aproximadamente una vez al mes. O añada su producto, curso, doctorado o investigación a los directorios.

Sin seguimiento. Cancele la suscripción con un clic. Otras formas de unirse · Privacidad