En resumen
Use un índice de vecinos más cercanos aproximado en lugar de comparar cada consulta con todos los vectores almacenados, recupere unos pocos fragmentos cortos y pertinentes en lugar de muchos largos, y vuelva a calcular los embeddings solo del contenido que ha cambiado. Después, use el modelo de generación más pequeño que responda bien a partir de un buen contexto. La mayor parte del desperdicio en los sistemas de recuperación procede de la búsqueda por fuerza bruta y de los prompts sobredimensionados.
Pasos
- Sustituya la comparación de vectores por fuerza bruta por un índice de vecinos más cercanos aproximado.
- Divida los documentos en fragmentos cortos y recupere solo los primeros.
- Vuelva a calcular los embeddings solo del contenido nuevo o modificado en lugar de reconstruir todo el índice.
- Registre los tokens de entrada por respuesta y recorte el contexto que no mejora la calidad.
- Pruebe un modelo de generación más pequeño cuando la calidad de la recuperación sea buena.
La recuperación debería hacer que el modelo lea menos, no más. Un sistema de generación aumentada por recuperación (RAG) bien construido encuentra deprisa unos pocos fragmentos pertinentes y entrega solo esos al modelo.
¿Dónde desperdicia energía RAG?
- Búsqueda por fuerza bruta. Comparar una consulta con todos los embeddings almacenados, uno por uno, crece con el tamaño de la colección. La Green Software Foundation recomienda en su lugar un índice de vecinos más cercanos aproximado.
- Contexto sobredimensionado. Recuperar veinte fragmentos largos «por si acaso» multiplica los tokens de entrada. Epoch AI estima que una consulta típica de unos 0,3 Wh sube a unos 2,5 Wh con una entrada de 10.000 tokens.
- Reconstruirlo todo. Volver a calcular los embeddings de todo un almacén de documentos cada noche cuando solo han cambiado unos pocos.
¿Qué marca la mayor diferencia?
Una mejor recuperación, para que el modelo necesite menos contexto. Una buena fragmentación, un paso de reordenación y filtros de metadatos (fecha, departamento, producto) permiten que tres fragmentos cortos hagan el trabajo de quince largos. Cuando el contexto es bueno, un modelo de generación más pequeño suele responder igual de bien; consulte cómo elegir un modelo de IA más pequeño.
Errores frecuentes
- Usar un modelo de embeddings grande cuando uno pequeño recupera igual de bien con sus datos. Pruebe ambos.
- No tener conjunto de evaluación. Mida la calidad de la recuperación (¿volvió el fragmento correcto?) por separado de la calidad de la respuesta.
- No guardar nada en caché. Las preguntas frecuentes pueden reutilizar respuestas; consulte cómo usar la caché.
Para la idea más amplia de reutilizar en lugar de volver a generar, lea orquestación antes que generación.
Fuentes
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
Relacionado
¿Cómo elijo entre recuperación y ajuste fino para ahorrar energía?
Cuándo usar recuperación (RAG) y cuándo ajuste fino: recuperación para datos que cambian, ajuste fino para habilidades y estilo, y por qué confundirlos derrocha energía.
¿Cómo evito que mi chatbot reenvíe toda la conversación?
Cómo mantener pequeño el contexto de un chatbot: limitar los turnos anteriores, resumir los mensajes antiguos, recuperar lo pertinente y guardar en caché los prompts fijos.
Orquestar antes que generar
Por qué reutilizar componentes verificados y dirigir cada solicitud al modelo más pequeño capaz puede reducir la energía de la IA, y qué dicen los datos.
¿Cómo almaceno los datos de entrenamiento de IA para que las cadenas de procesamiento lean menos?
Cómo los formatos columnares y binarios, el particionado y el preprocesamiento único reducen la energía que gastan las cadenas de IA en leer y analizar los datos.