# Wie betreibe ich ein KI-Modell lokal?

> So betreiben Sie ein offenes KI-Modell mit Ollama oder llama.cpp auf eigenem Notebook oder Server, wählen ein passendes quantisiertes Modell und messen die Energie.

Source: https://greenai.guide/de/wie/wie-betreibe-ich-ein-ki-modell-lokal/  
Updated: 2026-11-19

## Kurz gesagt

Installieren Sie eine lokale Laufzeitumgebung wie Ollama oder llama.cpp, laden Sie ein kleines Modell mit offenen Gewichten in einem quantisierten Format wie GGUF herunter und führen Sie es auf Ihrem eigenen Computer aus. Wählen Sie das kleinste Modell, das Ihre Aufgabe erledigt: Quantisierte Versionen brauchen weit weniger Speicher, sodass ein Modell mit 8 Milliarden Parametern, das in 16-Bit-Form rund 16 GB braucht, mit 4 Bit in etwa 4–5 GB passt.

## Steps

1. Prüfen Sie den Arbeitsspeicher Ihres Computers und ob er eine nutzbare GPU oder Apple Silicon hat.
2. Installieren Sie eine lokale Laufzeitumgebung wie Ollama oder llama.cpp.
3. Laden Sie ein kleines Modell mit offenen Gewichten in einem quantisierten Format herunter, das in Ihren Speicher passt.
4. Testen Sie es an Ihren echten Aufgaben und gehen Sie nur dann eine Größe höher, wenn es nicht ausreicht.
5. Messen Sie den Energieverbrauch mit einem Steckdosen-Messgerät oder einem Tool wie CodeCarbon.
6. Schließen Sie das Modell, wenn Sie es nicht nutzen, damit es weder Speicher belegt noch Strom zieht.

**Ein Modell lokal zu betreiben heißt: eine Laufzeitumgebung wählen, ein passendes Modell wählen und dann messen.**
Die Daten bleiben auf Ihrem Rechner, und Sie sehen genau, was die KI an Energie kostet, was ein gehosteter Dienst
Ihnen nie zeigt.

## Was brauche ich? {#what-do-i-need}

- **Eine Laufzeitumgebung.** Ollama ist ein beliebter Weg, offene Modelle auf dem eigenen Computer zu nutzen.
  llama.cpp ist eine hardwarenähere C/C++-Engine, die darauf ausgelegt ist, Modelle mit minimalem Einrichtungsaufwand
  auf vielfältiger Hardware auszuführen.
- **Eine Modelldatei.** GGUF ist ein Binärformat, das für schnelles Laden und effiziente Inferenz optimiert ist, mit
  quantisierten Versionen von unter 2 Bit bis zu 8 Bit pro Gewicht.
- **Genug Speicher.** Die Dokumentation von Hugging Face nennt eine Faustregel: Ein Modell mit 8 Milliarden Parametern
  braucht für seine Gewichte in 16-Bit-Form rund 16 GB, mit 8 Bit etwa 8 GB und mit 4 Bit etwa 4–5 GB. Weniger Bits
  kosten etwas Genauigkeit.

## Ist das umweltfreundlicher als die Cloud? {#is-it-greener-than-the-cloud}

**Nicht automatisch.** Ein Notebook, das jeweils eine Anfrage bearbeitet, kann pro Antwort weniger effizient sein als
ein gut ausgelasteter Server im Rechenzentrum, der Anfragen bündelt. Lokal gewinnt, wenn das Modell klein ist, die
Aufgabe häufig vorkommt oder Sie sich so das Senden großer Datenmengen über das Netz sparen. Siehe
[Gerät oder Cloud](/de/wie/soll-ich-ki-auf-meinem-geraet-oder-in-der-cloud-laufen-lassen/).

## Häufige Fehler {#common-mistakes}

- **Das größte Modell herunterladen, das Ihr Rechner fassen kann.** Fangen Sie klein an; siehe
  [ein kleineres KI-Modell auswählen](/de/wie/wie-waehle-ich-ein-kleineres-ki-modell-aus/).
- **Das Modell den ganzen Tag geladen lassen**, auf einem Desktop-Rechner mit stromhungriger GPU.
- **Eine neue GPU kaufen, bevor Sie ein quantisiertes Modell ausprobiert haben**; siehe
  [wie Sie ein Modell quantisieren](/de/wie/wie-quantisiere-ich-ein-modell/).

Zur Prüfung des Energieverbrauchs nutzen Sie ein Steckdosen-Messgerät oder CodeCarbon, wie unter
[den Energieverbrauch von KI auf Ihrem eigenen Computer messen](/de/wie/wie-messe-ich-den-energieverbrauch-von-ki-auf-meinem-eigenen-computer/)
beschrieben. Zu den Abwägungen lesen Sie [Edge oder Cloud](/de/gute-praxis/edge-oder-cloud-wo-sollte-ki-laufen/).

## Quellen

- [Ollama documentation](https://docs.ollama.com), Ollama (2026)
- [llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp), ggml-org (GitHub) (2026)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
