In het kort
Begin met een voorgetraind model en train een kleine adapter in plaats van alle gewichten, met LoRA, of QLoRA met 4-bitgewichten. LoRA verminderde het aantal trainbare parameters 10.000 keer en het GPU-geheugen drie keer ten opzichte van volledige fine-tuning van GPT-3, en QLoRA fine-tunede een model met 65 miljard parameters op één GPU van 48 GB. Vergelijk het resultaat met uw kwaliteitseisen voordat u iets groters overweegt.
Stappen
- Controleer of prompting of retrieval (ophalen van informatie) al aan uw behoefte voldoet voordat u überhaupt gaat fine-tunen.
- Kies het kleinste voorgetrainde model dat in de buurt komt op uw taak.
- Fine-tune een LoRA-adapter, of QLoRA als het geheugen krap is.
- Gebruik een kleine, schone, taakspecifieke dataset en stop vroeg als de validatie niet meer verbetert.
- Houd het energieverbruik bij met een emissietracker en leg het vast bij de resultaten.
Pas een klein deel van een voorgetraind model aan in plaats van het hele model opnieuw te trainen. Parameter-efficiënte fine-tuning levert het grootste deel van het voordeel van volledige fine-tuning op voor een fractie van de rekenkracht.
Waarom is dit belangrijk?
Volledige fine-tuning werkt elk gewicht bij, wat grote GPU-clusters en lange runs vraagt. Hu en collega's lieten zien dat LoRA (low-rank adaptation), dat kleine extra matrices traint naast bevroren gewichten, het aantal trainbare parameters 10.000 keer en het GPU-geheugen drie keer kon verminderen ten opzichte van fine-tuning van GPT-3 175B. QLoRA van Dettmers en collega's combineert dit met 4-bitgewichten en fine-tunede een model met 65 miljard parameters op één GPU van 48 GB.
Hoe doe ik het?
- Stel de behoefte ter discussie. Fine-tuning leert vaardigheden en stijl aan; het is een slechte manier om feiten toe te voegen die veranderen. Zie retrieval of fine-tuning.
- Begin klein. Een klein model dat op uw taak is gefinetuned, kan op die taak een veel groter algemeen model evenaren.
- Gebruik een adapterbibliotheek. Populaire open-sourcebibliotheken ondersteunen LoRA en QLoRA met een paar regels configuratie.
- Houd de data beperkt. Minder, schonere voorbeelden trainen sneller. Verwijder duplicaten.
- Meet. Verpak de run in een tracker zoals CodeCarbon en leg het energieverbruik vast naast de nauwkeurigheid.
Veelgemaakte fouten
- Het grootste beschikbare model fine-tunen voordat u een kleiner model hebt getest.
- Lange runs zonder early stopping (vroegtijdig stoppen), die blijven verbruiken nadat de kwaliteit is afgevlakt.
- Bij elke data-update opnieuw trainen in plaats van een retrieval-index bij te werken.
Lees voor meer trainingstechnieken efficiënt trainen en inferentie.
Bronnen
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
Gerelateerd
Hoe voorkom ik dat ik een model vanaf nul train?
Hoe u bestaande modellen hergebruikt in plaats van zelf te pre-trainen: fine-tunen, aanpassen met LoRA, modellen samenvoegen of kennis ophalen.
Hoe kies ik tussen retrieval en fine-tuning om energie te besparen?
Wanneer u retrieval (RAG) gebruikt en wanneer fine-tuning: retrieval voor veranderende feiten, fine-tuning voor vaardigheden en stijl, en waarom verwarring energie kost.
Hoe meet ik de CO2-voetafdruk van het trainen van een model?
Volg het energieverbruik van een trainingsrun met een tool als CodeCarbon, vermenigvuldig met de lokale CO2-intensiteit en vermeld hardware, tijd en locatie.
Efficiënte training en inferentie van AI
Technieken om het energieverbruik van AI te verlagen: pruning, sparsity, kwantisatie, distillatie, KV-cache, batching, gemengde precisie en planning.