greenai.guide

Startseite › Wie kann ich …? › Soll ich Retrieval oder Fine-Tuning nutzen, um Energie zu sparen?

Wie kann ich …?

Soll ich Retrieval oder Fine-Tuning nutzen, um Energie zu sparen?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Nutzen Sie Retrieval, wenn das Modell Fakten braucht, die sich ändern oder speziell Ihre sind: Legen Sie sie in einem durchsuchbaren Index ab und rufen Sie nur die relevanten Passagen ab. Nutzen Sie Fine-Tuning, wenn dem Modell eine Fähigkeit, ein Format oder ein Stil fehlt. Neu zu trainieren, um Fakten aktuell zu halten, wiederholt die Trainingskosten, während ganze Dokumente in jedem Prompt Inferenz verschwenden; jeder Ansatz hat also seinen Platz.

Schritte

  1. Listen Sie auf, was dem Modell fehlt: Fakten, eine Fähigkeit, ein Format oder ein Ton.
  2. Legen Sie sich ändernde oder private Fakten in einem durchsuchbaren Index ab und rufen Sie nur relevante Passagen ab.
  3. Nutzen Sie Fine-Tuning eines kleinen Adapters nur für Fähigkeiten, Formate oder Stile, die sich per Prompt nicht erreichen lassen.
  4. Aktualisieren Sie den Index, wenn sich Inhalte ändern, und verarbeiten Sie nur, was sich geändert hat.
  5. Messen Sie für jede Option Tokens pro Anfrage und Qualität, bevor Sie entscheiden.

Fakten abrufen, Fähigkeiten feintunen. Wer das Falsche wählt, zahlt immer wieder, entweder für erneutes Training oder für überdimensionierte Prompts.

Was ist der Unterschied?

  • Retrieval-Augmented Generation (RAG) sucht relevante Passagen aus Ihren eigenen Inhalten heraus und gibt sie dem Modell zusammen mit der Frage. Lewis und Kollegen haben den Ansatz 2020 für wissensintensive Aufgaben eingeführt. Die Gewichte des Modells ändern sich nicht, Wissen zu aktualisieren heißt also, einen Index zu aktualisieren.
  • Fine-Tuning verändert die Gewichte des Modells oder einen kleinen Adapter wie LoRA, sodass es ein Verhalten lernt: ein Format, ein Klassifikationsschema, einen Hausstil.

Was verbraucht weniger Energie?

Das hängt davon ab, wie oft sich Dinge ändern und wie viel Text jede Anfrage mitbringt.

Situation Meist besser
Fakten ändern sich wöchentlich oder monatlich Retrieval
Private Dokumente, Richtlinien, Produktdaten Retrieval
Ein festes Ausgabeformat oder Kennzeichnungsschema Fine-Tuning eines kleinen Modells
Sehr hohes Volumen, eng umrissene Aufgabe Fine-Tuning, damit Prompts kurz sein können

GreenCode, ein ITEA-Forschungsprojekt, beschreibt, wie es Retrieval nutzt, damit seine eigene KI nur die Daten liest, die sie braucht, und zwischen Durchläufen nur verarbeitet, was sich geändert hat.

Häufige Fehler

  • Neu trainieren, um Fakten hinzuzufügen. Jede Aktualisierung wiederholt die Trainingskosten.
  • RAG nach dem Motto „alles in den Prompt stopfen“. Zwanzig lange Passagen abzurufen, wo zwei reichen würden, vervielfacht die Eingabe-Tokens. Siehe wie Sie Vektorsuche und RAG effizienter machen.
  • Fine-Tuning eines großen Modells, wenn ein kleines feingetuntes reichen würde.

Zum übergreifenden Prinzip lesen Sie Orchestrierung statt Generierung.

Quellen

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz