# 如何避免从零开始训练模型？

> 如何复用现有模型而不是自己预训练：微调、用 LoRA 适配、合并微调后的模型，或通过检索引入知识。

Source: https://greenai.guide/zh/如何/如何避免从零开始训练模型/  
Updated: 2026-11-19

## 简而言之

先搜索与您的任务相近的预训练模型，再对它进行适配：微调、训练 LoRA 这类小型适配器，或者通过检索补充知识，而不是重新训练。如果您已有多个从同一基础模型微调而来的模型，对它们的权重取平均可以提高准确率，而且不增加推理成本。除了基础模型研究之外，很少有必要从零开始训练。

## Steps

1. 在公共模型库中搜索适用于您的领域和语言的预训练模型。
2. 先在您的任务上测试最接近的候选模型，再判断是否缺少什么。
3. 用您自己的数据进行微调，或训练一个 LoRA 适配器。
4. 对会变化的知识使用检索，而不是重新训练。
5. 如果手头有从同一基础模型微调而来的模型，复用并合并它们。
6. 公开您微调后的模型及其训练排放，方便他人复用。

**先复用。** 几乎总有人已经训练过与您的需求相近的模型，而对它进行适配的成本只是自己训练的一小部分。

## 为什么这很重要？ {#why-does-it-matter}

预训练是模型生命周期中能耗最高的阶段。绿色软件基金会（Green Software Foundation）的模式建议利用预训练模型和迁移学习，而不是从零开始训练。2026 年英国一场由数学家、计算机科学家和业界人士参加的绿色 AI sandpit（研讨工作坊）也指出，大量有用的成果藏在鲜为人知的代码库里，因此仔细搜索是任何项目的第一步。

## 有哪些选择？ {#what-are-the-options}

- 用您的数据对预训练模型进行**微调**。Hu 及其同事使用 LoRA，与对 GPT-3 175B 进行全量微调相比，可训练参数减少到原来的万分之一。请参阅[如何在没有大量算力的情况下微调](/zh/如何/如何在不需要大量算力的情况下微调模型/)。
- 对会变化的知识使用**检索**：请参阅[检索还是微调](/zh/如何/为了节能-应该选择检索还是微调/)。
- **模型合并。** Wortsman 及其同事表明，对从同一基础模型微调而来的多个模型的权重取平均，即所谓的“模型汤”（model soup），可以在不增加推理时间的情况下提高准确率。
- **蒸馏**成一个小型专用模型：请参阅[如何蒸馏模型](/zh/如何/如何把大模型蒸馏成小模型/)。

## 常见错误 {#common-mistakes}

- **以为您的领域太专业。** 先测试通用模型和领域模型；它们往往已经很接近。
- **忽视许可证**，有些许可证会排除某些复用方式。
- **不回馈共享。** 公开您微调后的模型，并按照 Hugging Face 支持的方式在模型卡元数据中写明训练排放，可以让他人不必重复您的工作。

如需了解研究角度，请阅读[高效 AI 背后的数学](/zh/文章/让-ai-更高效的数学/)。

## 来源

- [Green Software Patterns: leverage pre-trained models and transfer learning](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/pre-trained-transfer-learning.md), Green Software Foundation (2025)
- [Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time](https://arxiv.org/abs/2203.05482), Wortsman et al., ICML (2022)
- [LoRA: low-rank adaptation of large language models](https://arxiv.org/abs/2106.09685), Hu et al. (2021)
- [Displaying carbon emissions for your model](https://huggingface.co/docs/hub/model-cards-co2), Hugging Face Hub documentation (2026)
