greenai.guide

首页 › 我该如何……? › 如何让向量搜索和 RAG 更高效?

我该如何……?

如何让向量搜索和 RAG 更高效?

更新于 · 阅读约需 1 分钟

简而言之

使用近似最近邻索引,而不是把每个查询与存储的每个向量逐一比较;只检索少量简短、相关的段落,而不是大量长段落;只为发生变化的内容重新生成嵌入。然后,在上下文质量良好的前提下,使用能答好问题的最小生成模型。检索系统中的大部分浪费来自暴力搜索和过长的提示。

步骤

  1. 用近似最近邻索引取代暴力向量比较。
  2. 把文档切分成短块,只检索排名最前的几块。
  3. 只为新增或改动的内容重新生成嵌入,而不是重建整个索引。
  4. 记录每个回答的输入 token 数,删减不能提升质量的上下文。
  5. 在检索质量良好之后,测试更小的生成模型。

检索应该让模型读得更少,而不是更多。 一个构建良好的检索增强生成(RAG)系统会迅速找到少量相关段落,只把这些交给模型。

RAG 在哪里浪费能源?

  • 暴力搜索。 把查询与存储的每个嵌入逐一比较,开销会随数据集规模增长。绿色软件基金会(Green Software Foundation)建议改用近似最近邻索引。
  • 过长的上下文。 “为保险起见”检索二十个长段落,会使输入 token(词元)成倍增加。Epoch AI 估计,一次约 0.3 Wh 的典型查询,在输入为 10,000 个 token 时会升至约 2.5 Wh。
  • 全部重建。 每晚都为整个文档库重新生成嵌入,而实际上只有少数文档有改动。

什么带来的改变最大?

更好的检索,让模型需要的上下文更少。 良好的分块、重排序步骤和元数据过滤(日期、部门、产品)意味着三个短段落就能完成十五个长段落的工作。一旦上下文质量良好,较小的生成模型往往也能答得一样好;参见如何选择更小的 AI 模型。

常见错误

  • 使用大型嵌入模型,而在您的数据上小模型的检索效果其实一样好。两者都要测试。
  • 没有评估集。 要把检索质量(是否返回了正确的段落?)与回答质量分开测量。
  • 什么都不缓存。 热门问题可以复用答案;参见如何使用缓存。

关于复用而非重新生成这一更大的思路,请阅读编排优先于生成。

来源

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私