greenai.guide

Home › Hoe doe ik…? › Hoe voorkom ik dat ik een model vanaf nul train?

Hoe doe ik…?

Hoe voorkom ik dat ik een model vanaf nul train?

Bijgewerkt · 1 min. leestijd

In het kort

Zoek een voorgetraind model dat dicht bij uw taak ligt en pas het daarna aan: fine-tune het, train een kleine adapter zoals LoRA, of voeg kennis toe via retrieval (ophalen) in plaats van opnieuw te trainen. Hebt u al meerdere modellen die vanuit hetzelfde basismodel zijn gefinetuned, dan kan het middelen van hun gewichten de nauwkeurigheid verbeteren zonder extra kosten bij inferentie. Vanaf nul trainen is buiten onderzoek naar foundation models zelden nodig.

Stappen

  1. Zoek in openbare modelhubs naar voorgetrainde modellen in uw vakgebied en taal.
  2. Test de beste kandidaten op uw taak voordat u besluit dat er iets ontbreekt.
  3. Fine-tune het model of train een LoRA-adapter op uw eigen data.
  4. Gebruik retrieval voor kennis die verandert, in plaats van opnieuw te trainen.
  5. Hergebruik en combineer modellen die vanuit hetzelfde basismodel zijn gefinetuned, als u die hebt.
  6. Publiceer uw gefinetunede model en de uitstoot van de training, zodat anderen het kunnen hergebruiken.

Hergebruik eerst. Vrijwel altijd heeft iemand al een model getraind dat dicht in de buurt komt van wat u nodig hebt, en dat aanpassen kost een klein deel van wat het trainen van uw eigen model kost.

Waarom is dit belangrijk?

Pre-training is de meest energie-intensieve fase in het leven van een model. De patterns van de Green Software Foundation raden aan voorgetrainde modellen en transfer learning te benutten in plaats van vanaf nul te trainen. Een Britse green AI-sandpit (een verkennende werksessie) uit 2026 met wiskundigen, informatici en mensen uit het bedrijfsleven merkte ook op dat veel nuttig werk in weinig bekende repositories zit, dus zorgvuldig zoeken is de eerste stap van elk project.

Welke opties zijn er?

  • Fine-tuning van een voorgetraind model op uw data. Met LoRA verminderden Hu en collega's het aantal trainbare parameters 10.000 keer vergeleken met volledig fine-tunen van GPT-3 175B. Zie hoe u fine-tunet zonder enorme rekenkracht.
  • Retrieval voor kennis die verandert: zie retrieval of fine-tuning.
  • Modellen samenvoegen. Wortsman en collega's lieten zien dat het middelen van de gewichten van meerdere modellen die vanuit hetzelfde basismodel zijn gefinetuned, een "model soup", de nauwkeurigheid kan verbeteren zonder de inferentietijd te verhogen.
  • Distillatie naar een kleine specialist: zie hoe u een model distilleert.

Veelgemaakte fouten

  • Aannemen dat uw vakgebied te gespecialiseerd is. Test eerst algemene en domeinspecifieke modellen; die komen vaak dicht in de buurt.
  • Licenties negeren, die sommige vormen van hergebruik kunnen uitsluiten.
  • Niets teruggeven. Als u uw gefinetunede model publiceert, met de uitstoot van de training in de metadata van de model card zoals Hugging Face ondersteunt, hoeven anderen uw werk niet te herhalen.

Lees voor de onderzoekskant wiskunde voor efficiënte AI.

Bronnen

  1. Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
  2. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
  4. Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy