Kurz gesagt
Nutzen Sie Retrieval, wenn das Modell Fakten braucht, die sich ändern oder speziell Ihre sind: Legen Sie sie in einem durchsuchbaren Index ab und rufen Sie nur die relevanten Passagen ab. Nutzen Sie Fine-Tuning, wenn dem Modell eine Fähigkeit, ein Format oder ein Stil fehlt. Neu zu trainieren, um Fakten aktuell zu halten, wiederholt die Trainingskosten, während ganze Dokumente in jedem Prompt Inferenz verschwenden; jeder Ansatz hat also seinen Platz.
Schritte
- Listen Sie auf, was dem Modell fehlt: Fakten, eine Fähigkeit, ein Format oder ein Ton.
- Legen Sie sich ändernde oder private Fakten in einem durchsuchbaren Index ab und rufen Sie nur relevante Passagen ab.
- Nutzen Sie Fine-Tuning eines kleinen Adapters nur für Fähigkeiten, Formate oder Stile, die sich per Prompt nicht erreichen lassen.
- Aktualisieren Sie den Index, wenn sich Inhalte ändern, und verarbeiten Sie nur, was sich geändert hat.
- Messen Sie für jede Option Tokens pro Anfrage und Qualität, bevor Sie entscheiden.
Fakten abrufen, Fähigkeiten feintunen. Wer das Falsche wählt, zahlt immer wieder, entweder für erneutes Training oder für überdimensionierte Prompts.
Was ist der Unterschied?
- Retrieval-Augmented Generation (RAG) sucht relevante Passagen aus Ihren eigenen Inhalten heraus und gibt sie dem Modell zusammen mit der Frage. Lewis und Kollegen haben den Ansatz 2020 für wissensintensive Aufgaben eingeführt. Die Gewichte des Modells ändern sich nicht, Wissen zu aktualisieren heißt also, einen Index zu aktualisieren.
- Fine-Tuning verändert die Gewichte des Modells oder einen kleinen Adapter wie LoRA, sodass es ein Verhalten lernt: ein Format, ein Klassifikationsschema, einen Hausstil.
Was verbraucht weniger Energie?
Das hängt davon ab, wie oft sich Dinge ändern und wie viel Text jede Anfrage mitbringt.
| Situation | Meist besser |
|---|---|
| Fakten ändern sich wöchentlich oder monatlich | Retrieval |
| Private Dokumente, Richtlinien, Produktdaten | Retrieval |
| Ein festes Ausgabeformat oder Kennzeichnungsschema | Fine-Tuning eines kleinen Modells |
| Sehr hohes Volumen, eng umrissene Aufgabe | Fine-Tuning, damit Prompts kurz sein können |
GreenCode, ein ITEA-Forschungsprojekt, beschreibt, wie es Retrieval nutzt, damit seine eigene KI nur die Daten liest, die sie braucht, und zwischen Durchläufen nur verarbeitet, was sich geändert hat.
Häufige Fehler
- Neu trainieren, um Fakten hinzuzufügen. Jede Aktualisierung wiederholt die Trainingskosten.
- RAG nach dem Motto „alles in den Prompt stopfen“. Zwanzig lange Passagen abzurufen, wo zwei reichen würden, vervielfacht die Eingabe-Tokens. Siehe wie Sie Vektorsuche und RAG effizienter machen.
- Fine-Tuning eines großen Modells, wenn ein kleines feingetuntes reichen würde.
Zum übergreifenden Prinzip lesen Sie Orchestrierung statt Generierung.
Quellen
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- Green AI and energy-aware computing, GreenCode (2026)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
Verwandte Themen
Wie mache ich Vektorsuche und RAG effizienter?
So senken Sie den Rechenaufwand von Retrieval-Augmented Generation: approximative Indizes, weniger und kürzere Passagen, inkrementelle Indizierung, kleinere Modelle.
Wie mache ich ein Fine-Tuning ohne riesige Rechenleistung?
Wie Sie ein vortrainiertes Modell mit parametereffizientem Fine-Tuning wie LoRA und QLoRA anpassen, sodass es auf eine GPU passt und viel weniger Energie braucht.
Orchestrierung statt Generierung
Warum die Wiederverwendung geprüfter Komponenten und das Routing zum kleinsten geeigneten Modell den Energieverbrauch von KI senken können und was die Belege bisher zeigen.
Das richtige Modell für die Aufgabe wählen
KI richtig dimensionieren: wann kleine oder spezialisierte Modelle reichen, wann sich ein Frontier-Modell lohnt, wie Routing funktioniert und wann man auf KI verzichtet.