greenai.guide

Home › Hoe doe ik…? › Hoe voorkom ik dat mijn chatbot steeds het hele gesprek opnieuw verstuurt?

Hoe doe ik…?

Hoe voorkom ik dat mijn chatbot steeds het hele gesprek opnieuw verstuurt?

Bijgewerkt · 1 min. leestijd

In het kort

De meeste chatfuncties sturen bij elke beurt het hele gesprek terug naar het model, dus de invoer groeit met elk bericht. Beperk hoeveel eerdere beurten u meestuurt, vat oudere beurten samen in een korte notitie, haal alleen de eerdere berichten of documenten op die ertoe doen, en cache vaste systeemprompts. Lange invoer kost veel meer energie dan korte.

Stappen

  1. Log het aantal invoertokens per beurt, zodat groei zichtbaar wordt.
  2. Stuur alleen de laatste paar beurten letterlijk mee.
  3. Vervang oudere beurten door een korte, doorlopende samenvatting.
  4. Haal eerdere berichten of documenten alleen op als ze relevant zijn voor de nieuwe vraag.
  5. Gebruik prompt caching voor de vaste systeemprompt en gedeelde context.

Stuur het model wat het voor deze beurt nodig heeft, niet alles wat er ooit is gezegd. Context die onbeperkt groeit, is een van de meest voorkomende verborgen kosten in chatfuncties.

Waarom doet het ertoe?

Het energieverbruik stijgt met de hoeveelheid tekst die een model leest. Delavande, Pierrard en Luccioni ontdekten dat het energieverbruik lineair toeneemt met de lengte van de prompt en van de gegenereerde tekst. Epoch AI schat dat een gewone vraag van ongeveer 0,3 Wh stijgt naar ongeveer 2,5 Wh bij een invoer van 10.000 tokens en naar bijna 40 Wh bij een invoer van 100.000 tokens. Een lang supportgesprek dat elke beurt opnieuw verstuurt, kan ongemerkt naar de dure kant opschuiven.

Hoe houd ik de context klein?

  • Een schuivend venster. Houd de laatste paar beurten woord voor woord aan.
  • Een doorlopende samenvatting. Laat na elke paar beurten een klein model (of uw eigen code) de oudere geschiedenis samenvatten in een korte notitie met besluiten en feiten.
  • Ophalen (retrieval). Sla eerdere berichten en documenten op en haal alleen de stukken op die relevant zijn voor de nieuwe vraag.
  • Prompt caching. Zie voor vaste instructies hoe u caching gebruikt.
  • Opnieuw beginnen. Bied een knop "nieuw onderwerp" aan die met een schone context begint.

Veelgemaakte fouten

  • Elke beurt hetzelfde document opnieuw bijvoegen in plaats van de relevante passage op te halen.
  • Samenvattingen die belangrijke feiten verliezen. Test of de antwoorden na het samenvatten correct blijven.
  • Niet meten. Zonder logs van invoertokens blijft groei onzichtbaar.

Gebruikers kunnen hetzelfde doen in consumententools: zie hoe u voorkomt dat lange AI-chats energie verspillen. Lees voor meer gewoonten AI efficiënt gebruiken.

Bronnen

  1. How much energy does ChatGPT use?, Epoch AI (2025)
  2. Small talk, big impact: the energy cost of thanking AI, Delavande, Pierrard and Luccioni (arXiv 2601.22357) (2026)
  3. What are tokens and how to count them?, OpenAI Help Center (2025)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy