greenai.guide

Startseite › Wie kann ich …? › Wie mache ich Vektorsuche und RAG effizienter?

Wie kann ich …?

Wie mache ich Vektorsuche und RAG effizienter?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Nutzen Sie einen Index für die approximative Nächste-Nachbarn-Suche, statt jede Anfrage mit jedem gespeicherten Vektor zu vergleichen, rufen Sie wenige kurze, relevante Passagen ab statt vieler langer, und erzeugen Sie Embeddings nur für geänderte Inhalte neu. Verwenden Sie dann das kleinste Generierungsmodell, das mit gutem Kontext gut antwortet. Die meiste Verschwendung in Retrieval-Systemen entsteht durch Brute-Force-Suche und übergroße Prompts.

Schritte

  1. Ersetzen Sie den Brute-Force-Vergleich von Vektoren durch einen Index für die approximative Nächste-Nachbarn-Suche.
  2. Teilen Sie Dokumente in kurze Abschnitte (Chunks) und rufen Sie nur die besten paar ab.
  3. Erzeugen Sie Embeddings nur für neue oder geänderte Inhalte neu, statt den ganzen Index neu aufzubauen.
  4. Protokollieren Sie die Eingabe-Tokens pro Antwort und kürzen Sie Kontext, der die Qualität nicht verbessert.
  5. Testen Sie ein kleineres Generierungsmodell, sobald die Retrieval-Qualität gut ist.

Retrieval sollte dafür sorgen, dass das Modell weniger liest, nicht mehr. Ein gut gebautes System für Retrieval-Augmented Generation (RAG) findet schnell wenige relevante Passagen und gibt nur diese an das Modell weiter.

Wo verschwendet RAG Energie?

  • Brute-Force-Suche. Eine Anfrage nacheinander mit jedem gespeicherten Embedding zu vergleichen, wird mit der Größe der Sammlung immer aufwendiger. Die Green Software Foundation empfiehlt stattdessen einen Index für die approximative Nächste-Nachbarn-Suche.
  • Übergroßer Kontext. Zwanzig lange Passagen „sicherheitshalber“ abzurufen, vervielfacht die Eingabe-Tokens. Epoch AI schätzt, dass eine typische Anfrage von etwa 0,3 Wh bei einer Eingabe von 10.000 Tokens auf etwa 2,5 Wh steigt.
  • Alles neu aufbauen. Jede Nacht Embeddings für einen ganzen Dokumentenbestand neu zu erzeugen, obwohl sich nur wenige Dokumente geändert haben.

Was bringt am meisten?

Besseres Retrieval, damit das Modell weniger Kontext braucht. Gutes Chunking, ein Reranking-Schritt und Metadatenfilter (Datum, Abteilung, Produkt) bewirken, dass drei kurze Passagen die Arbeit von fünfzehn langen leisten können. Ist der Kontext gut, antwortet ein kleineres Generierungsmodell oft genauso gut; siehe ein kleineres KI-Modell wählen.

Häufige Fehler

  • Ein großes Embedding-Modell verwenden, wo ein kleines auf Ihren Daten genauso gut abruft. Testen Sie beide.
  • Kein Evaluierungsset. Messen Sie die Retrieval-Qualität (kam die richtige Passage zurück?) getrennt von der Antwortqualität.
  • Nichts cachen. Häufige Fragen können Antworten wiederverwenden; siehe Caching nutzen.

Zur größeren Idee, wiederzuverwenden statt neu zu generieren, lesen Sie Orchestrierung statt Generierung.

Quellen

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  3. How much energy does ChatGPT use?, Epoch AI (2025)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz