# Wie mache ich Vektorsuche und RAG effizienter?

> So senken Sie den Rechenaufwand von Retrieval-Augmented Generation: approximative Indizes, weniger und kürzere Passagen, inkrementelle Indizierung, kleinere Modelle.

Source: https://greenai.guide/de/wie/wie-mache-ich-vektorsuche-und-rag-effizienter/  
Updated: 2026-11-19

## Kurz gesagt

Nutzen Sie einen Index für die approximative Nächste-Nachbarn-Suche, statt jede Anfrage mit jedem gespeicherten Vektor zu vergleichen, rufen Sie wenige kurze, relevante Passagen ab statt vieler langer, und erzeugen Sie Embeddings nur für geänderte Inhalte neu. Verwenden Sie dann das kleinste Generierungsmodell, das mit gutem Kontext gut antwortet. Die meiste Verschwendung in Retrieval-Systemen entsteht durch Brute-Force-Suche und übergroße Prompts.

## Steps

1. Ersetzen Sie den Brute-Force-Vergleich von Vektoren durch einen Index für die approximative Nächste-Nachbarn-Suche.
2. Teilen Sie Dokumente in kurze Abschnitte (Chunks) und rufen Sie nur die besten paar ab.
3. Erzeugen Sie Embeddings nur für neue oder geänderte Inhalte neu, statt den ganzen Index neu aufzubauen.
4. Protokollieren Sie die Eingabe-Tokens pro Antwort und kürzen Sie Kontext, der die Qualität nicht verbessert.
5. Testen Sie ein kleineres Generierungsmodell, sobald die Retrieval-Qualität gut ist.

**Retrieval sollte dafür sorgen, dass das Modell weniger liest, nicht mehr.** Ein gut gebautes System für
Retrieval-Augmented Generation (RAG) findet schnell wenige relevante Passagen und gibt nur diese an das Modell weiter.

## Wo verschwendet RAG Energie? {#where-does-rag-waste-energy}

- **Brute-Force-Suche.** Eine Anfrage nacheinander mit jedem gespeicherten Embedding zu vergleichen, wird mit der
  Größe der Sammlung immer aufwendiger. Die Green Software Foundation empfiehlt stattdessen einen Index für die
  approximative Nächste-Nachbarn-Suche.
- **Übergroßer Kontext.** Zwanzig lange Passagen „sicherheitshalber“ abzurufen, vervielfacht die Eingabe-Tokens.
  Epoch AI schätzt, dass eine typische Anfrage von etwa 0,3 Wh bei einer Eingabe von 10.000 Tokens auf etwa 2,5 Wh
  steigt.
- **Alles neu aufbauen.** Jede Nacht Embeddings für einen ganzen Dokumentenbestand neu zu erzeugen, obwohl sich nur
  wenige Dokumente geändert haben.

## Was bringt am meisten? {#what-makes-the-biggest-difference}

**Besseres Retrieval, damit das Modell weniger Kontext braucht.** Gutes Chunking, ein Reranking-Schritt und
Metadatenfilter (Datum, Abteilung, Produkt) bewirken, dass drei kurze Passagen die Arbeit von fünfzehn langen leisten
können. Ist der Kontext gut, antwortet ein kleineres Generierungsmodell oft genauso gut; siehe
[ein kleineres KI-Modell wählen](/de/wie/wie-waehle-ich-ein-kleineres-ki-modell-aus/).

## Häufige Fehler {#common-mistakes}

- **Ein großes Embedding-Modell verwenden**, wo ein kleines auf Ihren Daten genauso gut abruft. Testen Sie beide.
- **Kein Evaluierungsset.** Messen Sie die Retrieval-Qualität (kam die richtige Passage zurück?) getrennt von der
  Antwortqualität.
- **Nichts cachen.** Häufige Fragen können Antworten wiederverwenden; siehe [Caching nutzen](/de/wie/wie-senke-ich-mit-caching-den-energieverbrauch-von-llm-aufrufen/).

Zur größeren Idee, wiederzuverwenden statt neu zu generieren, lesen Sie
[Orchestrierung statt Generierung](/de/artikel/orchestrierung-statt-generierung/).

## Quellen

- [Green Software Patterns: optimise data storage formats for AI training and inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/data-handling/optimize-data-storage-ai-training.md), Green Software Foundation (2025)
- [Retrieval-augmented generation for knowledge-intensive NLP tasks](https://arxiv.org/abs/2005.11401), Lewis et al., NeurIPS (2020)
- [How much energy does ChatGPT use?](https://epoch.ai/gradient-updates/how-much-energy-does-chatgpt-use), Epoch AI (2025)
