# Hoe fine-tune ik een model zonder enorme rekenkracht?

> Een voorgetraind model aanpassen met parameter-efficiënte fine-tuning zoals LoRA en QLoRA, zodat het op één GPU past en veel minder energie verbruikt.

Source: https://greenai.guide/nl/hoe/hoe-fine-tune-ik-een-model-zonder-enorme-rekenkracht/  
Updated: 2026-11-19

## In het kort

Begin met een voorgetraind model en train een kleine adapter in plaats van alle gewichten, met LoRA, of QLoRA met 4-bitgewichten. LoRA verminderde het aantal trainbare parameters 10.000 keer en het GPU-geheugen drie keer ten opzichte van volledige fine-tuning van GPT-3, en QLoRA fine-tunede een model met 65 miljard parameters op één GPU van 48 GB. Vergelijk het resultaat met uw kwaliteitseisen voordat u iets groters overweegt.

## Steps

1. Controleer of prompting of retrieval (ophalen van informatie) al aan uw behoefte voldoet voordat u überhaupt gaat fine-tunen.
2. Kies het kleinste voorgetrainde model dat in de buurt komt op uw taak.
3. Fine-tune een LoRA-adapter, of QLoRA als het geheugen krap is.
4. Gebruik een kleine, schone, taakspecifieke dataset en stop vroeg als de validatie niet meer verbetert.
5. Houd het energieverbruik bij met een emissietracker en leg het vast bij de resultaten.

**Pas een klein deel van een voorgetraind model aan in plaats van het hele model opnieuw te trainen.**
Parameter-efficiënte fine-tuning levert het grootste deel van het voordeel van volledige fine-tuning op voor een
fractie van de rekenkracht.

## Waarom is dit belangrijk? {#why-does-it-matter}

Volledige fine-tuning werkt elk gewicht bij, wat grote GPU-clusters en lange runs vraagt. Hu en collega's lieten zien
dat LoRA (low-rank adaptation), dat kleine extra matrices traint naast bevroren gewichten, het aantal trainbare
parameters 10.000 keer en het GPU-geheugen drie keer kon verminderen ten opzichte van fine-tuning van GPT-3 175B.
QLoRA van Dettmers en collega's combineert dit met 4-bitgewichten en fine-tunede een model met 65 miljard parameters
op één GPU van 48 GB.

## Hoe doe ik het? {#how-do-i-do-it}

1. **Stel de behoefte ter discussie.** Fine-tuning leert vaardigheden en stijl aan; het is een slechte manier om
   feiten toe te voegen die veranderen. Zie [retrieval of fine-tuning](/nl/hoe/hoe-kies-ik-tussen-retrieval-en-fine-tuning-om-energie-te-besparen/).
2. **Begin klein.** Een klein model dat op uw taak is gefinetuned, kan op die taak een veel groter algemeen model
   evenaren.
3. **Gebruik een adapterbibliotheek.** Populaire open-sourcebibliotheken ondersteunen LoRA en QLoRA met een paar
   regels configuratie.
4. **Houd de data beperkt.** Minder, schonere voorbeelden trainen sneller. Verwijder duplicaten.
5. **Meet.** Verpak de run in een tracker zoals CodeCarbon en leg het energieverbruik vast naast de nauwkeurigheid.

## Veelgemaakte fouten {#common-mistakes}

- **Het grootste beschikbare model fine-tunen** voordat u een kleiner model hebt getest.
- **Lange runs zonder early stopping (vroegtijdig stoppen)**, die blijven verbruiken nadat de kwaliteit is
  afgevlakt.
- **Bij elke data-update opnieuw trainen** in plaats van een retrieval-index bij te werken.

Lees voor meer trainingstechnieken [efficiënt trainen en inferentie](/nl/goede-praktijk/efficiente-training-en-inferentie-van-ai/).

## Bronnen

- [LoRA: low-rank adaptation of large language models](https://arxiv.org/abs/2106.09685), Hu et al. (2021)
- [QLoRA: efficient finetuning of quantized LLMs](https://arxiv.org/abs/2305.14314), Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- [Green Software Patterns: leverage pre-trained models and transfer learning](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/pre-trained-transfer-learning.md), Green Software Foundation (2025)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
