简而言之
当模型需要会变化的事实或您特有的事实时,使用检索:把它们放进可搜索的索引,只取回相关段落。当模型需要它所缺少的技能、格式或风格时,使用微调。为保持事实更新而反复训练会重复训练成本,而把整份文档粘贴进每个提示会浪费推理资源,因此两种方法各有用武之地。
步骤
- 列出模型缺少什么:事实、技能、格式还是语气。
- 把会变化的或私密的事实放进可搜索的索引,只检索相关段落。
- 只有在提示无法实现某种技能、格式或风格时,才微调一个小型适配器。
- 内容变化时更新索引,只处理发生变化的部分。
- 在做决定之前,测量每种方案每次请求的 token(词元)数量和质量。
事实靠检索,技能靠微调。 选错了,就意味着一次又一次地付出代价,要么是重新训练,要么是过长的提示。
两者有什么区别?
- 检索增强生成(RAG) 会从您自己的内容中查找相关段落,并把它们和问题一起交给模型。Lewis 及其同事在 2020 年针对知识密集型任务提出了这种方法。模型的权重不会改变,因此更新知识就是更新索引。
- 微调 会改变模型的权重,或改变 LoRA 这类小型适配器,使模型学会一种行为:一种格式、一套分类方案、一种内部风格。
哪种更省能源?
这取决于内容变化的频率,以及每次请求携带多少文本。
| 情况 | 通常更好的选择 |
|---|---|
| 事实每周或每月变化 | 检索 |
| 私密文档、政策、产品数据 | 检索 |
| 固定的输出格式或标注方案 | 微调一个小模型 |
| 请求量极大、任务范围很窄 | 微调,这样提示可以很短 |
GreenCode 是一个 ITEA 研究项目,它介绍了如何利用检索让自身的 AI 只读取所需的数据,并且在两次运行之间只处理发生变化的部分。
常见错误
- 为了添加事实而重新训练。 每次更新都会重复训练成本。
- “把所有内容都塞进提示”式的 RAG。 两段就够时却检索二十段长文,会使输入 token 成倍增加。请参阅如何让向量搜索和 RAG 更高效。
- 微调一个大模型,而微调一个小模型就已足够。
如需了解更广泛的原则,请阅读重编排,轻生成。
来源
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green AI and energy-aware computing, GreenCode (2026)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)