简而言之
先搜索与您的任务相近的预训练模型,再对它进行适配:微调、训练 LoRA 这类小型适配器,或者通过检索补充知识,而不是重新训练。如果您已有多个从同一基础模型微调而来的模型,对它们的权重取平均可以提高准确率,而且不增加推理成本。除了基础模型研究之外,很少有必要从零开始训练。
步骤
- 在公共模型库中搜索适用于您的领域和语言的预训练模型。
- 先在您的任务上测试最接近的候选模型,再判断是否缺少什么。
- 用您自己的数据进行微调,或训练一个 LoRA 适配器。
- 对会变化的知识使用检索,而不是重新训练。
- 如果手头有从同一基础模型微调而来的模型,复用并合并它们。
- 公开您微调后的模型及其训练排放,方便他人复用。
先复用。 几乎总有人已经训练过与您的需求相近的模型,而对它进行适配的成本只是自己训练的一小部分。
为什么这很重要?
预训练是模型生命周期中能耗最高的阶段。绿色软件基金会(Green Software Foundation)的模式建议利用预训练模型和迁移学习,而不是从零开始训练。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)也指出,大量有用的成果藏在鲜为人知的代码库里,因此仔细搜索是任何项目的第一步。
有哪些选择?
- 用您的数据对预训练模型进行微调。Hu 及其同事使用 LoRA,与对 GPT-3 175B 进行全量微调相比,可训练参数减少到原来的万分之一。请参阅如何在没有大量算力的情况下微调。
- 对会变化的知识使用检索:请参阅检索还是微调。
- 模型合并。 Wortsman 及其同事表明,对从同一基础模型微调而来的多个模型的权重取平均,即所谓的“模型汤”(model soup),可以在不增加推理时间的情况下提高准确率。
- 蒸馏成一个小型专用模型:请参阅如何蒸馏模型。
常见错误
- 以为您的领域太专业。 先测试通用模型和领域模型;它们往往已经很接近。
- 忽视许可证,有些许可证会排除某些复用方式。
- 不回馈共享。 公开您微调后的模型,并按照 Hugging Face 支持的方式在模型卡元数据中写明训练排放,可以让他人不必重复您的工作。
如需了解研究角度,请阅读高效 AI 背后的数学。
来源
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)