greenai.guide

首页 › 我该如何……? › 为了节能,应该选择检索还是微调?

我该如何……?

为了节能,应该选择检索还是微调?

更新于 · 阅读约需 1 分钟

简而言之

当模型需要会变化的事实或您特有的事实时,使用检索:把它们放进可搜索的索引,只取回相关段落。当模型需要它所缺少的技能、格式或风格时,使用微调。为保持事实更新而反复训练会重复训练成本,而把整份文档粘贴进每个提示会浪费推理资源,因此两种方法各有用武之地。

步骤

  1. 列出模型缺少什么:事实、技能、格式还是语气。
  2. 把会变化的或私密的事实放进可搜索的索引,只检索相关段落。
  3. 只有在提示无法实现某种技能、格式或风格时,才微调一个小型适配器。
  4. 内容变化时更新索引,只处理发生变化的部分。
  5. 在做决定之前,测量每种方案每次请求的 token(词元)数量和质量。

事实靠检索,技能靠微调。 选错了,就意味着一次又一次地付出代价,要么是重新训练,要么是过长的提示。

两者有什么区别?

  • 检索增强生成(RAG) 会从您自己的内容中查找相关段落,并把它们和问题一起交给模型。Lewis 及其同事在 2020 年针对知识密集型任务提出了这种方法。模型的权重不会改变,因此更新知识就是更新索引。
  • 微调 会改变模型的权重,或改变 LoRA 这类小型适配器,使模型学会一种行为:一种格式、一套分类方案、一种内部风格。

哪种更省能源?

这取决于内容变化的频率,以及每次请求携带多少文本。

情况 通常更好的选择
事实每周或每月变化 检索
私密文档、政策、产品数据 检索
固定的输出格式或标注方案 微调一个小模型
请求量极大、任务范围很窄 微调,这样提示可以很短

GreenCode 是一个 ITEA 研究项目,它介绍了如何利用检索让自身的 AI 只读取所需的数据,并且在两次运行之间只处理发生变化的部分。

常见错误

  • 为了添加事实而重新训练。 每次更新都会重复训练成本。
  • “把所有内容都塞进提示”式的 RAG。 两段就够时却检索二十段长文,会使输入 token 成倍增加。请参阅如何让向量搜索和 RAG 更高效。
  • 微调一个大模型,而微调一个小模型就已足够。

如需了解更广泛的原则,请阅读重编排,轻生成。

来源

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私