简而言之
从预训练模型出发,只训练一个小型适配器,而不是训练全部权重,可使用 LoRA,或使用 4 位权重的 QLoRA。与对 GPT-3 进行全量微调相比,LoRA 将可训练参数减少到万分之一,GPU 内存减少到三分之一;QLoRA 则在单个 48 GB GPU 上微调了一个 650 亿参数的模型。在考虑任何更大的方案之前,先对照您的质量要求检验结果。
步骤
- 在微调之前,先检查提示词或检索是否已经能满足您的需要。
- 挑选在您的任务上表现接近要求的最小预训练模型。
- 微调一个 LoRA 适配器;如果内存紧张,就用 QLoRA。
- 使用小而干净的专用数据集,验证结果不再改善时就提前停止。
- 用排放追踪工具跟踪能耗,并与结果一起记录。
只调整预训练模型的一小部分,而不是重新训练整个模型。 参数高效微调只需一小部分算力,就能获得全量微调的大部分好处。
为什么这很重要?
全量微调会更新每一个权重,需要大型 GPU 集群和长时间运行。Hu 等人表明,LoRA(低秩适配)在冻结的权重旁训练小型的附加矩阵,与微调 GPT-3 175B 相比,可将可训练参数减少到万分之一,GPU 内存减少到三分之一。Dettmers 等人提出的 QLoRA 把这一方法与 4 位权重结合,在单个 48 GB GPU 上微调了一个 650 亿参数的模型。
怎么做?
- 质疑是否需要。 微调适合教会模型技能和风格;用它来添加会变化的事实,效果并不好。请参阅检索还是微调。
- 从小模型开始。 在您的任务上微调过的小模型,可以在该任务上与大得多的通用模型相媲美。
- 使用适配器库。 流行的开源库支持 LoRA 和 QLoRA,只需几行配置。
- 精简数据。 示例越少、越干净,训练越快。请删除重复数据。
- 测量。 用 CodeCarbon 等追踪工具包裹训练过程,并把能耗与准确率一起记录。
常见错误
- 先微调能找到的最大模型,而不先测试更小的模型。
- 长时间运行却不设提前停止,在质量已趋于平稳后仍在消耗算力。
- 每次数据更新都重新训练,而不是更新检索索引。
更多训练技巧,请阅读高效训练与推理。
来源
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)