In het kort
Gebruik retrieval (ophalen) wanneer het model feiten nodig heeft die veranderen of specifiek voor u zijn: zet ze in een doorzoekbare index en haal alleen de relevante passages op. Gebruik fine-tuning wanneer het model een vaardigheid, opmaak of stijl nodig heeft die het mist. Opnieuw trainen om feiten actueel te houden herhaalt de trainingskosten, terwijl hele documenten in elke prompt plakken inferentie verspilt, dus elke aanpak heeft zijn plaats.
Stappen
- Zet op een rij wat het model mist: feiten, een vaardigheid, een opmaak of een toon.
- Zet veranderende of vertrouwelijke feiten in een doorzoekbare index en haal alleen relevante passages op.
- Fine-tune een kleine adapter alleen voor vaardigheden, opmaak of stijlen die u met prompting niet bereikt.
- Werk de index bij als de inhoud verandert, en verwerk alleen wat is veranderd.
- Meet voor elke optie de tokens per verzoek en de kwaliteit voordat u beslist.
Haal feiten op; fine-tune vaardigheden. Wie de verkeerde kiest, betaalt keer op keer, voor opnieuw trainen of voor te grote prompts.
Wat is het verschil?
- Retrieval-augmented generation (RAG) zoekt relevante passages op in uw eigen inhoud en geeft die samen met de vraag aan het model. Lewis en collega's introduceerden deze aanpak in 2020 voor kennisintensieve taken. De gewichten van het model veranderen niet, dus kennis bijwerken betekent een index bijwerken.
- Fine-tuning verandert de gewichten van het model, of een kleine adapter zoals LoRA, zodat het een gedrag leert: een opmaak, een classificatieschema, een huisstijl.
Wat verbruikt minder energie?
Dat hangt af van hoe vaak dingen veranderen en hoeveel tekst elk verzoek meedraagt.
| Situatie | Meestal beter |
|---|---|
| Feiten veranderen wekelijks of maandelijks | Retrieval |
| Vertrouwelijke documenten, beleid, productgegevens | Retrieval |
| Een vaste uitvoeropmaak of labelschema | Fine-tuning van een klein model |
| Zeer hoog volume, smalle taak | Fine-tuning, zodat prompts kort kunnen blijven |
GreenCode, een ITEA-onderzoeksproject, beschrijft hoe het retrieval gebruikt zodat zijn eigen AI alleen de data leest die het nodig heeft, en hoe het tussen runs alleen verwerkt wat is veranderd.
Veelgemaakte fouten
- Opnieuw trainen om feiten toe te voegen. Elke update herhaalt de trainingskosten.
- RAG volgens "stop alles in de prompt". Twintig lange passages ophalen waar twee volstaan, vermenigvuldigt het aantal input-tokens. Zie hoe u vectorzoeken en RAG efficiënter maakt.
- Een groot model fine-tunen terwijl een klein gefinetuned model zou volstaan.
Lees voor het bredere principe orkestratie boven generatie.
Bronnen
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green AI and energy-aware computing, GreenCode (2026)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
Gerelateerd
Hoe maak ik vectorzoeken en RAG efficiënter?
Manieren om het rekenwerk van retrieval-augmented generation te verminderen: benaderende indexen, minder en kortere passages, incrementeel indexeren, kleinere modellen.
Hoe fine-tune ik een model zonder enorme rekenkracht?
Een voorgetraind model aanpassen met parameter-efficiënte fine-tuning zoals LoRA en QLoRA, zodat het op één GPU past en veel minder energie verbruikt.
Orkestratie boven generatie
Waarom het hergebruik van geteste onderdelen en het routeren naar het kleinste geschikte model het energieverbruik van AI kan verlagen, en wat het bewijs tot nu toe zegt.
Kies het juiste model voor de taak
AI op maat: wanneer u kleine of gespecialiseerde modellen gebruikt, wanneer een frontiermodel zijn kosten waard is, hoe routing werkt en wanneer u geen AI gebruikt.