greenai.guide

Home › Hoe doe ik…? › Hoe kies ik tussen retrieval en fine-tuning om energie te besparen?

Hoe doe ik…?

Hoe kies ik tussen retrieval en fine-tuning om energie te besparen?

Bijgewerkt · 1 min. leestijd

In het kort

Gebruik retrieval (ophalen) wanneer het model feiten nodig heeft die veranderen of specifiek voor u zijn: zet ze in een doorzoekbare index en haal alleen de relevante passages op. Gebruik fine-tuning wanneer het model een vaardigheid, opmaak of stijl nodig heeft die het mist. Opnieuw trainen om feiten actueel te houden herhaalt de trainingskosten, terwijl hele documenten in elke prompt plakken inferentie verspilt, dus elke aanpak heeft zijn plaats.

Stappen

  1. Zet op een rij wat het model mist: feiten, een vaardigheid, een opmaak of een toon.
  2. Zet veranderende of vertrouwelijke feiten in een doorzoekbare index en haal alleen relevante passages op.
  3. Fine-tune een kleine adapter alleen voor vaardigheden, opmaak of stijlen die u met prompting niet bereikt.
  4. Werk de index bij als de inhoud verandert, en verwerk alleen wat is veranderd.
  5. Meet voor elke optie de tokens per verzoek en de kwaliteit voordat u beslist.

Haal feiten op; fine-tune vaardigheden. Wie de verkeerde kiest, betaalt keer op keer, voor opnieuw trainen of voor te grote prompts.

Wat is het verschil?

  • Retrieval-augmented generation (RAG) zoekt relevante passages op in uw eigen inhoud en geeft die samen met de vraag aan het model. Lewis en collega's introduceerden deze aanpak in 2020 voor kennisintensieve taken. De gewichten van het model veranderen niet, dus kennis bijwerken betekent een index bijwerken.
  • Fine-tuning verandert de gewichten van het model, of een kleine adapter zoals LoRA, zodat het een gedrag leert: een opmaak, een classificatieschema, een huisstijl.

Wat verbruikt minder energie?

Dat hangt af van hoe vaak dingen veranderen en hoeveel tekst elk verzoek meedraagt.

Situatie Meestal beter
Feiten veranderen wekelijks of maandelijks Retrieval
Vertrouwelijke documenten, beleid, productgegevens Retrieval
Een vaste uitvoeropmaak of labelschema Fine-tuning van een klein model
Zeer hoog volume, smalle taak Fine-tuning, zodat prompts kort kunnen blijven

GreenCode, een ITEA-onderzoeksproject, beschrijft hoe het retrieval gebruikt zodat zijn eigen AI alleen de data leest die het nodig heeft, en hoe het tussen runs alleen verwerkt wat is veranderd.

Veelgemaakte fouten

  • Opnieuw trainen om feiten toe te voegen. Elke update herhaalt de trainingskosten.
  • RAG volgens "stop alles in de prompt". Twintig lange passages ophalen waar twee volstaan, vermenigvuldigt het aantal input-tokens. Zie hoe u vectorzoeken en RAG efficiënter maakt.
  • Een groot model fine-tunen terwijl een klein gefinetuned model zou volstaan.

Lees voor het bredere principe orkestratie boven generatie.

Bronnen

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy