# 如何在不需要大量算力的情况下微调模型？

> 如何用 LoRA、QLoRA 等参数高效微调方法调整预训练模型，让它能在单个 GPU 上运行，并大幅减少能耗。

Source: https://greenai.guide/zh/如何/如何在不需要大量算力的情况下微调模型/  
Updated: 2026-11-19

## 简而言之

从预训练模型出发，只训练一个小型适配器，而不是训练全部权重，可使用 LoRA，或使用 4 位权重的 QLoRA。与对 GPT-3 进行全量微调相比，LoRA 将可训练参数减少到万分之一，GPU 内存减少到三分之一；QLoRA 则在单个 48 GB GPU 上微调了一个 650 亿参数的模型。在考虑任何更大的方案之前，先对照您的质量要求检验结果。

## Steps

1. 在微调之前，先检查提示词或检索是否已经能满足您的需要。
2. 挑选在您的任务上表现接近要求的最小预训练模型。
3. 微调一个 LoRA 适配器；如果内存紧张，就用 QLoRA。
4. 使用小而干净的专用数据集，验证结果不再改善时就提前停止。
5. 用排放追踪工具跟踪能耗，并与结果一起记录。

**只调整预训练模型的一小部分，而不是重新训练整个模型。** 参数高效微调只需一小部分算力，就能获得全量微调的大部分好处。

## 为什么这很重要？ {#why-does-it-matter}

全量微调会更新每一个权重，需要大型 GPU 集群和长时间运行。Hu 等人表明，LoRA（低秩适配）在冻结的权重旁训练小型的附加矩阵，与微调 GPT-3 175B 相比，可将可训练参数减少到万分之一，GPU 内存减少到三分之一。Dettmers 等人提出的 QLoRA 把这一方法与 4 位权重结合，在单个 48 GB GPU 上微调了一个 650 亿参数的模型。

## 怎么做？ {#how-do-i-do-it}

1. **质疑是否需要。** 微调适合教会模型技能和风格；用它来添加会变化的事实，效果并不好。请参阅[检索还是微调](/zh/如何/为了节能-应该选择检索还是微调/)。
2. **从小模型开始。** 在您的任务上微调过的小模型，可以在该任务上与大得多的通用模型相媲美。
3. **使用适配器库。** 流行的开源库支持 LoRA 和 QLoRA，只需几行配置。
4. **精简数据。** 示例越少、越干净，训练越快。请删除重复数据。
5. **测量。** 用 CodeCarbon 等追踪工具包裹训练过程，并把能耗与准确率一起记录。

## 常见错误 {#common-mistakes}

- **先微调能找到的最大模型**，而不先测试更小的模型。
- **长时间运行却不设提前停止**，在质量已趋于平稳后仍在消耗算力。
- **每次数据更新都重新训练**，而不是更新检索索引。

更多训练技巧，请阅读[高效训练与推理](/zh/良好实践/高效的-ai-训练与推理/)。

## 来源

- [LoRA: low-rank adaptation of large language models](https://arxiv.org/abs/2106.09685), Hu et al. (2021)
- [QLoRA: efficient finetuning of quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- [Green Software Patterns: leverage pre-trained models and transfer learning](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/pre-trained-transfer-learning.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
