简而言之
使用近似最近邻索引,而不是把每个查询与存储的每个向量逐一比较;只检索少量简短、相关的段落,而不是大量长段落;只为发生变化的内容重新生成嵌入。然后,在上下文质量良好的前提下,使用能答好问题的最小生成模型。检索系统中的大部分浪费来自暴力搜索和过长的提示。
步骤
- 用近似最近邻索引取代暴力向量比较。
- 把文档切分成短块,只检索排名最前的几块。
- 只为新增或改动的内容重新生成嵌入,而不是重建整个索引。
- 记录每个回答的输入 token 数,删减不能提升质量的上下文。
- 在检索质量良好之后,测试更小的生成模型。
检索应该让模型读得更少,而不是更多。 一个构建良好的检索增强生成(RAG)系统会迅速找到少量相关段落,只把这些交给模型。
RAG 在哪里浪费能源?
- 暴力搜索。 把查询与存储的每个嵌入逐一比较,开销会随数据集规模增长。绿色软件基金会(Green Software Foundation)建议改用近似最近邻索引。
- 过长的上下文。 “为保险起见”检索二十个长段落,会使输入 token(词元)成倍增加。Epoch AI 估计,一次约 0.3 Wh 的典型查询,在输入为 10,000 个 token 时会升至约 2.5 Wh。
- 全部重建。 每晚都为整个文档库重新生成嵌入,而实际上只有少数文档有改动。
什么带来的改变最大?
更好的检索,让模型需要的上下文更少。 良好的分块、重排序步骤和元数据过滤(日期、部门、产品)意味着三个短段落就能完成十五个长段落的工作。一旦上下文质量良好,较小的生成模型往往也能答得一样好;参见如何选择更小的 AI 模型。
常见错误
- 使用大型嵌入模型,而在您的数据上小模型的检索效果其实一样好。两者都要测试。
- 没有评估集。 要把检索质量(是否返回了正确的段落?)与回答质量分开测量。
- 什么都不缓存。 热门问题可以复用答案;参见如何使用缓存。
关于复用而非重新生成这一更大的思路,请阅读编排优先于生成。
来源
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
相关内容
我该如何……?
为了节能,应该选择检索还是微调?
何时使用检索(RAG),何时进行微调:检索用于会变化的事实,微调用于技能和风格;二者用错会浪费能源。
我该如何……?
如何避免聊天机器人每次都重新发送整段对话?
如何让聊天机器人的上下文保持精简:限制历史轮次,总结较早的消息,只检索相关内容,并缓存固定提示,让输入不再不断增长。
文章
编排优先于生成
为什么复用经过审核的组件、把请求路由到够用的最小模型能减少 AI 能耗,以及目前的证据说明了什么。
我该如何……?
如何存储 AI 训练数据,让数据管道少读一些数据?
列式和二进制格式、数据分区以及一次性预处理,如何减少 AI 数据管道在读取和解析训练数据上耗费的能源。