En bref
Cherchez un modèle pré-entraîné proche de votre tâche, puis adaptez-le : affinez-le (fine-tuning), entraînez un petit adaptateur comme LoRA, ou ajoutez des connaissances par récupération (retrieval) au lieu de réentraîner. Si vous disposez déjà de plusieurs modèles affinés à partir de la même base, faire la moyenne de leurs poids peut améliorer la précision sans coût d'inférence supplémentaire. Entraîner à partir de zéro est rarement nécessaire en dehors de la recherche sur les modèles de fondation.
Étapes
- Cherchez dans les plateformes publiques de modèles des modèles pré-entraînés dans votre domaine et votre langue.
- Testez les candidats les plus proches sur votre tâche avant de conclure qu'il manque quelque chose.
- Affinez le modèle ou entraînez un adaptateur LoRA sur vos propres données.
- Utilisez la récupération pour les connaissances qui évoluent au lieu de réentraîner.
- Réutilisez et fusionnez les modèles affinés à partir de la même base lorsque vous en avez.
- Publiez votre modèle affiné et ses émissions d'entraînement pour que d'autres puissent le réutiliser.
Réutilisez d'abord. Quelqu'un a presque toujours entraîné un modèle proche de ce dont vous avez besoin, et l'adapter ne coûte qu'une petite fraction de l'entraînement du vôtre.
Pourquoi est-ce important ?
Le pré-entraînement est l'étape la plus énergivore de la vie d'un modèle. Les patterns de la Green Software Foundation recommandent de tirer parti des modèles pré-entraînés et de l'apprentissage par transfert plutôt que d'entraîner à partir de zéro. Un « sandpit » britannique sur l'IA verte organisé en 2026, réunissant mathématiciens, informaticiens et industriels, a aussi relevé qu'une grande partie du travail utile se trouve dans des dépôts peu connus : une recherche soignée est donc la première étape de tout projet.
Quelles sont les options ?
- Le fine-tuning (affinage) d'un modèle pré-entraîné sur vos données. Avec LoRA, Hu et ses collègues ont divisé par 10 000 le nombre de paramètres entraînables par rapport au fine-tuning complet de GPT-3 175B. Consultez comment affiner un modèle sans calcul énorme.
- La récupération pour les connaissances qui évoluent : consultez récupération ou fine-tuning.
- La fusion de modèles. Wortsman et ses collègues ont montré que faire la moyenne des poids de plusieurs modèles affinés à partir de la même base, une « soupe de modèles », peut améliorer la précision sans allonger le temps d'inférence.
- La distillation vers un petit modèle spécialisé : consultez comment distiller un modèle.
Erreurs fréquentes
- Supposer que votre domaine est trop spécialisé. Testez d'abord des modèles généraux et de domaine ; ils s'en approchent souvent.
- Ignorer les licences, qui peuvent exclure certaines réutilisations.
- Ne pas partager en retour. Publier votre modèle affiné, avec les émissions d'entraînement dans les métadonnées de la fiche du modèle comme le permet Hugging Face, évite à d'autres de refaire votre travail.
Pour l'angle recherche, lisez les mathématiques au service d'une IA efficace.
Sources
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)
Voir aussi
Comment affiner un modèle sans une énorme puissance de calcul ?
Comment adapter un modèle pré-entraîné avec un fine-tuning économe en paramètres comme LoRA et QLoRA, pour qu'il tienne sur un seul GPU et consomme bien moins d'énergie.
Comment choisir entre récupération (RAG) et fine-tuning pour économiser de l'énergie ?
Quand utiliser la récupération (RAG) et quand affiner un modèle : RAG pour les faits qui changent, fine-tuning pour les compétences et le style, et le coût d'une confusion.
Comment réduire l'énergie de l'entraînement d'un modèle ?
Les principaux leviers pour réduire l'énergie de l'entraînement : partir d'un modèle pré-entraîné, dimensionner juste, précision mixte, arrêt précoce, lieux et heures propres.
Les mathématiques qui rendent l'IA plus efficace
Élagage, parcimonie, sketching, matrices aléatoires et modèles informés par la physique : comment les maths réduisent le calcul, la mémoire et l'énergie de l'IA.