Kurz gesagt
Nutzen Sie einen Index für die approximative Nächste-Nachbarn-Suche, statt jede Anfrage mit jedem gespeicherten Vektor zu vergleichen, rufen Sie wenige kurze, relevante Passagen ab statt vieler langer, und erzeugen Sie Embeddings nur für geänderte Inhalte neu. Verwenden Sie dann das kleinste Generierungsmodell, das mit gutem Kontext gut antwortet. Die meiste Verschwendung in Retrieval-Systemen entsteht durch Brute-Force-Suche und übergroße Prompts.
Schritte
- Ersetzen Sie den Brute-Force-Vergleich von Vektoren durch einen Index für die approximative Nächste-Nachbarn-Suche.
- Teilen Sie Dokumente in kurze Abschnitte (Chunks) und rufen Sie nur die besten paar ab.
- Erzeugen Sie Embeddings nur für neue oder geänderte Inhalte neu, statt den ganzen Index neu aufzubauen.
- Protokollieren Sie die Eingabe-Tokens pro Antwort und kürzen Sie Kontext, der die Qualität nicht verbessert.
- Testen Sie ein kleineres Generierungsmodell, sobald die Retrieval-Qualität gut ist.
Retrieval sollte dafür sorgen, dass das Modell weniger liest, nicht mehr. Ein gut gebautes System für Retrieval-Augmented Generation (RAG) findet schnell wenige relevante Passagen und gibt nur diese an das Modell weiter.
Wo verschwendet RAG Energie?
- Brute-Force-Suche. Eine Anfrage nacheinander mit jedem gespeicherten Embedding zu vergleichen, wird mit der Größe der Sammlung immer aufwendiger. Die Green Software Foundation empfiehlt stattdessen einen Index für die approximative Nächste-Nachbarn-Suche.
- Übergroßer Kontext. Zwanzig lange Passagen „sicherheitshalber“ abzurufen, vervielfacht die Eingabe-Tokens. Epoch AI schätzt, dass eine typische Anfrage von etwa 0,3 Wh bei einer Eingabe von 10.000 Tokens auf etwa 2,5 Wh steigt.
- Alles neu aufbauen. Jede Nacht Embeddings für einen ganzen Dokumentenbestand neu zu erzeugen, obwohl sich nur wenige Dokumente geändert haben.
Was bringt am meisten?
Besseres Retrieval, damit das Modell weniger Kontext braucht. Gutes Chunking, ein Reranking-Schritt und Metadatenfilter (Datum, Abteilung, Produkt) bewirken, dass drei kurze Passagen die Arbeit von fünfzehn langen leisten können. Ist der Kontext gut, antwortet ein kleineres Generierungsmodell oft genauso gut; siehe ein kleineres KI-Modell wählen.
Häufige Fehler
- Ein großes Embedding-Modell verwenden, wo ein kleines auf Ihren Daten genauso gut abruft. Testen Sie beide.
- Kein Evaluierungsset. Messen Sie die Retrieval-Qualität (kam die richtige Passage zurück?) getrennt von der Antwortqualität.
- Nichts cachen. Häufige Fragen können Antworten wiederverwenden; siehe Caching nutzen.
Zur größeren Idee, wiederzuverwenden statt neu zu generieren, lesen Sie Orchestrierung statt Generierung.
Quellen
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
Verwandte Themen
Soll ich Retrieval oder Fine-Tuning nutzen, um Energie zu sparen?
Wann Retrieval (RAG) und wann Fine-Tuning: Retrieval für sich ändernde Fakten, Fine-Tuning für Fähigkeiten und Stil, und warum Verwechseln Energie kostet.
Wie verhindere ich, dass mein Chatbot das ganze Gespräch erneut sendet?
So halten Sie den Chatbot-Kontext klein: frühere Runden begrenzen, ältere zusammenfassen, Relevantes abrufen und feste Prompts cachen, damit die Eingabe nicht wächst.
Orchestrierung statt Generierung
Warum die Wiederverwendung geprüfter Komponenten und das Routing zum kleinsten geeigneten Modell den Energieverbrauch von KI senken können und was die Belege bisher zeigen.
Wie speichere ich KI-Trainingsdaten so, dass Pipelines weniger lesen müssen?
Wie spaltenorientierte und binäre Formate, Partitionierung und einmalige Vorverarbeitung die Energie senken, die KI-Pipelines für das Lesen von Trainingsdaten brauchen.