greenai.guide

首页 › 我该如何……? › 如何避免从零开始训练模型?

我该如何……?

如何避免从零开始训练模型?

更新于 · 阅读约需 1 分钟

简而言之

先搜索与您的任务相近的预训练模型,再对它进行适配:微调、训练 LoRA 这类小型适配器,或者通过检索补充知识,而不是重新训练。如果您已有多个从同一基础模型微调而来的模型,对它们的权重取平均可以提高准确率,而且不增加推理成本。除了基础模型研究之外,很少有必要从零开始训练。

步骤

  1. 在公共模型库中搜索适用于您的领域和语言的预训练模型。
  2. 先在您的任务上测试最接近的候选模型,再判断是否缺少什么。
  3. 用您自己的数据进行微调,或训练一个 LoRA 适配器。
  4. 对会变化的知识使用检索,而不是重新训练。
  5. 如果手头有从同一基础模型微调而来的模型,复用并合并它们。
  6. 公开您微调后的模型及其训练排放,方便他人复用。

先复用。 几乎总有人已经训练过与您的需求相近的模型,而对它进行适配的成本只是自己训练的一小部分。

为什么这很重要?

预训练是模型生命周期中能耗最高的阶段。绿色软件基金会(Green Software Foundation)的模式建议利用预训练模型和迁移学习,而不是从零开始训练。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit(研讨工作坊)也指出,大量有用的成果藏在鲜为人知的代码库里,因此仔细搜索是任何项目的第一步。

有哪些选择?

  • 用您的数据对预训练模型进行微调。Hu 及其同事使用 LoRA,与对 GPT-3 175B 进行全量微调相比,可训练参数减少到原来的万分之一。请参阅如何在没有大量算力的情况下微调。
  • 对会变化的知识使用检索:请参阅检索还是微调。
  • 模型合并。 Wortsman 及其同事表明,对从同一基础模型微调而来的多个模型的权重取平均,即所谓的“模型汤”(model soup),可以在不增加推理时间的情况下提高准确率。
  • 蒸馏成一个小型专用模型:请参阅如何蒸馏模型。

常见错误

  • 以为您的领域太专业。 先测试通用模型和领域模型;它们往往已经很接近。
  • 忽视许可证,有些许可证会排除某些复用方式。
  • 不回馈共享。 公开您微调后的模型,并按照 Hugging Face 支持的方式在模型卡元数据中写明训练排放,可以让他人不必重复您的工作。

如需了解研究角度,请阅读高效 AI 背后的数学。

来源

  1. Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
  2. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
  4. Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)

加入我们

帮助减少 AI 对地球的影响

通过电子邮件获取新指南、资助征集和名录收录信息,大约每月一次。您也可以将您的产品、课程、博士岗位或研究添加到名录中。

不做跟踪。一键退订。 其他加入方式 · 隐私