Kurz gesagt
Installieren Sie eine lokale Laufzeitumgebung wie Ollama oder llama.cpp, laden Sie ein kleines Modell mit offenen Gewichten in einem quantisierten Format wie GGUF herunter und führen Sie es auf Ihrem eigenen Computer aus. Wählen Sie das kleinste Modell, das Ihre Aufgabe erledigt: Quantisierte Versionen brauchen weit weniger Speicher, sodass ein Modell mit 8 Milliarden Parametern, das in 16-Bit-Form rund 16 GB braucht, mit 4 Bit in etwa 4–5 GB passt.
Schritte
- Prüfen Sie den Arbeitsspeicher Ihres Computers und ob er eine nutzbare GPU oder Apple Silicon hat.
- Installieren Sie eine lokale Laufzeitumgebung wie Ollama oder llama.cpp.
- Laden Sie ein kleines Modell mit offenen Gewichten in einem quantisierten Format herunter, das in Ihren Speicher passt.
- Testen Sie es an Ihren echten Aufgaben und gehen Sie nur dann eine Größe höher, wenn es nicht ausreicht.
- Messen Sie den Energieverbrauch mit einem Steckdosen-Messgerät oder einem Tool wie CodeCarbon.
- Schließen Sie das Modell, wenn Sie es nicht nutzen, damit es weder Speicher belegt noch Strom zieht.
Ein Modell lokal zu betreiben heißt: eine Laufzeitumgebung wählen, ein passendes Modell wählen und dann messen. Die Daten bleiben auf Ihrem Rechner, und Sie sehen genau, was die KI an Energie kostet, was ein gehosteter Dienst Ihnen nie zeigt.
Was brauche ich?
- Eine Laufzeitumgebung. Ollama ist ein beliebter Weg, offene Modelle auf dem eigenen Computer zu nutzen. llama.cpp ist eine hardwarenähere C/C++-Engine, die darauf ausgelegt ist, Modelle mit minimalem Einrichtungsaufwand auf vielfältiger Hardware auszuführen.
- Eine Modelldatei. GGUF ist ein Binärformat, das für schnelles Laden und effiziente Inferenz optimiert ist, mit quantisierten Versionen von unter 2 Bit bis zu 8 Bit pro Gewicht.
- Genug Speicher. Die Dokumentation von Hugging Face nennt eine Faustregel: Ein Modell mit 8 Milliarden Parametern braucht für seine Gewichte in 16-Bit-Form rund 16 GB, mit 8 Bit etwa 8 GB und mit 4 Bit etwa 4–5 GB. Weniger Bits kosten etwas Genauigkeit.
Ist das umweltfreundlicher als die Cloud?
Nicht automatisch. Ein Notebook, das jeweils eine Anfrage bearbeitet, kann pro Antwort weniger effizient sein als ein gut ausgelasteter Server im Rechenzentrum, der Anfragen bündelt. Lokal gewinnt, wenn das Modell klein ist, die Aufgabe häufig vorkommt oder Sie sich so das Senden großer Datenmengen über das Netz sparen. Siehe Gerät oder Cloud.
Häufige Fehler
- Das größte Modell herunterladen, das Ihr Rechner fassen kann. Fangen Sie klein an; siehe ein kleineres KI-Modell auswählen.
- Das Modell den ganzen Tag geladen lassen, auf einem Desktop-Rechner mit stromhungriger GPU.
- Eine neue GPU kaufen, bevor Sie ein quantisiertes Modell ausprobiert haben; siehe wie Sie ein Modell quantisieren.
Zur Prüfung des Energieverbrauchs nutzen Sie ein Steckdosen-Messgerät oder CodeCarbon, wie unter den Energieverbrauch von KI auf Ihrem eigenen Computer messen beschrieben. Zu den Abwägungen lesen Sie Edge oder Cloud.
Quellen
- Ollama documentation, Ollama (2026)
- llama.cpp: LLM inference in C/C++, ggml-org (GitHub) (2026)
- GGUF, Hugging Face Hub documentation (2026)
- Quantization overview, Hugging Face Transformers documentation (2026)
- CodeCarbon, CodeCarbon (2026)
Verwandte Themen
Wie quantisiere ich ein Modell?
Wie Sie ein KI-Modell auf 8 oder 4 Bit quantisieren: welche Werkzeuge, wie Sie die Qualität testen und wann Quantisierung Energie spart und wann nicht.
Soll ich KI auf meinem Gerät oder in der Cloud laufen lassen?
Wie Sie KI auf dem Gerät (Edge) und in der Cloud nach Energie, Datenschutz und Qualität abwägen und welche Aufgaben wohin passen, mit ehrlichen Vorbehalten.
Wie messe ich den Energieverbrauch von KI auf meinem eigenen Computer oder meiner GPU?
Lokalen KI-Energieverbrauch messen: mit Hardwarezählern, GPU-Telemetrie oder Steckdosen-Messgerät, über den ganzen Job, abzüglich des Leerlaufwerts.
Edge oder Cloud: Wo sollte KI laufen?
On-Device- und Edge-KI gegen zentrale Rechenzentren abwägen: Energie, Netz, Hardware, Datenschutz und Resilienz, mit einer Schritt-für-Schritt-Entscheidungshilfe.