In het kort
Gebruik een index voor benaderend zoeken naar dichtstbijzijnde buren in plaats van elke zoekvraag met elke opgeslagen vector te vergelijken, haal een paar korte, relevante passages op in plaats van veel lange, en maak alleen opnieuw embeddings van inhoud die is gewijzigd. Gebruik daarna het kleinste generatiemodel dat met goede context goed antwoordt. De meeste verspilling in retrievalsystemen komt van brute-force zoeken en te grote prompts.
Stappen
- Vervang brute-force vectorvergelijking door een index voor benaderend zoeken naar dichtstbijzijnde buren.
- Splits documenten in korte stukken en haal alleen de beste paar op.
- Maak alleen opnieuw embeddings van nieuwe of gewijzigde inhoud in plaats van de hele index opnieuw op te bouwen.
- Log het aantal inputtokens per antwoord en kort context in die de kwaliteit niet verbetert.
- Test een kleiner generatiemodel zodra de retrievalkwaliteit goed is.
Retrieval moet ervoor zorgen dat het model minder leest, niet meer. Een goed gebouwd systeem voor retrieval-augmented generation (RAG, generatie aangevuld met opgehaalde informatie) vindt snel een paar relevante passages en geeft alleen die aan het model.
Waar verspilt RAG energie?
- Brute-force zoeken. Een zoekvraag één voor één vergelijken met elke opgeslagen embedding groeit mee met de omvang van de verzameling. De Green Software Foundation raadt in plaats daarvan een index voor benaderend zoeken naar dichtstbijzijnde buren aan.
- Te grote context. Twintig lange passages ophalen "voor de zekerheid" vermenigvuldigt het aantal inputtokens. Epoch AI schat dat een gewone vraag van ongeveer 0,3 Wh oploopt tot ongeveer 2,5 Wh bij een invoer van 10.000 tokens.
- Alles opnieuw opbouwen. Elke nacht van een hele documentverzameling opnieuw embeddings maken terwijl er maar een paar documenten zijn gewijzigd.
Wat maakt het grootste verschil?
Betere retrieval, zodat het model minder context nodig heeft. Goed opknippen in stukken, een herrangschikstap en metadatafilters (datum, afdeling, product) zorgen ervoor dat drie korte passages het werk van vijftien lange kunnen doen. Zodra de context goed is, antwoordt een kleiner generatiemodel vaak net zo goed; zie hoe u een kleiner AI-model kiest.
Veelgemaakte fouten
- Een groot embeddingmodel gebruiken waar een klein model op uw gegevens net zo goed ophaalt. Test beide.
- Geen evaluatieset. Meet de retrievalkwaliteit (kwam de juiste passage terug?) los van de kwaliteit van het antwoord.
- Niets cachen. Populaire vragen kunnen antwoorden hergebruiken; zie hoe u caching gebruikt.
Lees voor het bredere idee van hergebruiken in plaats van opnieuw genereren orkestratie boven generatie.
Bronnen
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
Gerelateerd
Hoe kies ik tussen retrieval en fine-tuning om energie te besparen?
Wanneer u retrieval (RAG) gebruikt en wanneer fine-tuning: retrieval voor veranderende feiten, fine-tuning voor vaardigheden en stijl, en waarom verwarring energie kost.
Hoe voorkom ik dat mijn chatbot steeds het hele gesprek opnieuw verstuurt?
Zo houdt u de context van een chatbot klein: beperk eerdere beurten, vat oudere berichten samen, haal relevante stukken op en cache vaste prompts.
Orkestratie boven generatie
Waarom het hergebruik van geteste onderdelen en het routeren naar het kleinste geschikte model het energieverbruik van AI kan verlagen, en wat het bewijs tot nu toe zegt.
Hoe sla ik trainingsdata voor AI op zodat pipelines minder hoeven te lezen?
Hoe kolomgebaseerde en binaire formaten, partitionering en eenmalige voorbewerking de energie verlagen die AI-pipelines besteden aan het lezen van trainingsdata.