# 如何让向量搜索和 RAG 更高效？

> 降低检索增强生成算力消耗的方法：使用近似索引，检索更少、更短的段落，增量建立索引，并使用更小的模型。

Source: https://greenai.guide/zh/如何/如何让向量搜索和-rag-更高效/  
Updated: 2026-11-19

## 简而言之

使用近似最近邻索引，而不是把每个查询与存储的每个向量逐一比较；只检索少量简短、相关的段落，而不是大量长段落；只为发生变化的内容重新生成嵌入。然后，在上下文质量良好的前提下，使用能答好问题的最小生成模型。检索系统中的大部分浪费来自暴力搜索和过长的提示。

## Steps

1. 用近似最近邻索引取代暴力向量比较。
2. 把文档切分成短块，只检索排名最前的几块。
3. 只为新增或改动的内容重新生成嵌入，而不是重建整个索引。
4. 记录每个回答的输入 token 数，删减不能提升质量的上下文。
5. 在检索质量良好之后，测试更小的生成模型。

**检索应该让模型读得更少，而不是更多。** 一个构建良好的检索增强生成（RAG）系统会迅速找到少量相关段落，只把这些交给模型。

## RAG 在哪里浪费能源？ {#where-does-rag-waste-energy}

- **暴力搜索。** 把查询与存储的每个嵌入逐一比较，开销会随数据集规模增长。绿色软件基金会（Green Software Foundation）建议改用近似最近邻索引。
- **过长的上下文。** “为保险起见”检索二十个长段落，会使输入 token（词元）成倍增加。Epoch AI 估计，一次约 0.3 Wh 的典型查询，在输入为 10,000 个 token 时会升至约 2.5 Wh。
- **全部重建。** 每晚都为整个文档库重新生成嵌入，而实际上只有少数文档有改动。

## 什么带来的改变最大？ {#what-makes-the-biggest-difference}

**更好的检索，让模型需要的上下文更少。** 良好的分块、重排序步骤和元数据过滤（日期、部门、产品）意味着三个短段落就能完成十五个长段落的工作。一旦上下文质量良好，较小的生成模型往往也能答得一样好；参见[如何选择更小的 AI 模型](/zh/如何/如何选择更小的-ai-模型/)。

## 常见错误 {#common-mistakes}

- **使用大型嵌入模型**，而在您的数据上小模型的检索效果其实一样好。两者都要测试。
- **没有评估集。** 要把检索质量（是否返回了正确的段落？）与回答质量分开测量。
- **什么都不缓存。** 热门问题可以复用答案；参见[如何使用缓存](/zh/如何/如何用缓存降低大语言模型调用的能耗/)。

关于复用而非重新生成这一更大的思路，请阅读[编排优先于生成](/zh/文章/编排优先于生成/)。

## 来源

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [Retrieval-augmented generation for knowledge-intensive NLP tasks](https://arxiv.org/abs/2005.11401), Lewis et al., NeurIPS (2020)
- [How much energy does ChatGPT use?](https://epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use), Epoch AI (2025)
