# Wie quantisiere ich ein Modell?

> Wie Sie ein KI-Modell auf 8 oder 4 Bit quantisieren: welche Werkzeuge, wie Sie die Qualität testen und wann Quantisierung Energie spart und wann nicht.

Source: https://greenai.guide/de/wie/wie-quantisiere-ich-ein-modell/  
Updated: 2026-11-19

## Kurz gesagt

Beim Quantisieren werden die Gewichte eines Modells mit weniger Bits gespeichert, typischerweise 8 oder 4 statt 16 oder 32, sodass es weniger Speicher und oft weniger Energie pro Antwort braucht. Laden Sie eine bereits quantisierte Version oder quantisieren Sie mit den eingebauten Methoden Ihrer Bibliothek, und testen Sie es dann an Ihren eigenen Beispielen gegen das Modell in voller Genauigkeit. Behalten Sie es, wenn die Qualität hält und die Energie pro Anfrage sinkt.

## Steps

1. Prüfen Sie, ob es bereits eine quantisierte Version Ihres Modells gibt.
2. Andernfalls quantisieren Sie mit einer unterstützten Methode Ihrer Bibliothek, beginnend mit 8 Bit.
3. Lassen Sie das quantisierte und das ursprüngliche Modell auf demselben Evaluationsdatensatz laufen.
4. Versuchen Sie 4 Bit, wenn die Qualität bei 8 Bit hält und Sie mehr Speicher sparen müssen.
5. Messen Sie Energie und Latenz pro Anfrage bei Ihrer realen Batch-Größe, bevor Sie umstellen.

**Quantisierung ist bei einem Modell, das Sie selbst betreiben, oft der schnellste Effizienzgewinn.** Sie verringert
den Speicherbedarf, sodass das Modell auf weniger oder kleinere GPUs passt, und sie kann die Energie pro Antwort
senken.

## Warum ist das wichtig? {#why-does-it-matter}

Die Dokumentation von Hugging Face vermittelt einen Eindruck von der Größenordnung: Ein Modell mit 8 Milliarden
Parametern braucht für seine Gewichte bei 16-Bit-Genauigkeit etwa 16 GB, bei 8 Bit etwa 8 GB und bei 4 Bit etwa 4 bis
5 GB. Dettmers und Kollegen zeigten mit LLM.int8(), dass 8-Bit-Inferenz den benötigten Speicher halbieren kann, bei
gleicher Leistung wie in voller Genauigkeit, für Modelle bis 175 Milliarden Parameter. UNESCO und das University
College London berichten, dass Komprimierung wie Quantisierung bis zu 44 % Energie sparen kann.

## Wie mache ich das? {#how-do-i-do-it}

- **Laden Sie eine quantisierte Version herunter.** Viele offene Modelle werden in quantisierten Formaten
  veröffentlicht. GGUF, das von llama.cpp genutzt wird, bietet Quantisierungstypen von etwa 1,5 bis 8 Bit pro Gewicht.
- **Quantisieren Sie beim Laden.** Bibliotheken wie Hugging Face Transformers unterstützen mehr als 20
  Quantisierungsmethoden, von denen mehrere die Gewichte beim Laden des Modells quantisieren.
- **Kalibrieren Sie, wo nötig.** Manche Methoden nutzen eine kleine Stichprobe Ihrer Daten, um zu entscheiden, wie
  gerundet wird, was bei 4 Bit die Qualität tendenziell besser erhält.

## Häufige Fehler {#common-mistakes}

- **Den Qualitätstest auslassen.** Weniger Bits kosten etwas Genauigkeit, und jede Methode wägt Speicher,
  Geschwindigkeit und Genauigkeit unterschiedlich ab. Testen Sie an Ihren eigenen Fällen.
- **Annehmen, es sei immer schneller.** Hugging Face weist darauf hin, dass Quantisierung die Latenz wegen der
  zusätzlichen Quantisierungs- und Dequantisierungsschritte leicht erhöhen kann, wenn Sie nicht durch den
  GPU-Speicher begrenzt sind. Messen Sie die Energie, nicht nur die Geschwindigkeit.
- **Bei der Quantisierung stehen bleiben.** Kombinieren Sie sie mit einem kleineren Modell oder mit
  [Destillation](/de/wie/wie-destilliere-ich-ein-grosses-modell-in-ein-kleineres/).

Mehr dazu unter [effizientes Training und effiziente Inferenz](/de/gute-praxis/effizientes-ki-training-und-effiziente-inferenz/).

## Quellen

- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [LLM.int8(): 8-bit matrix multiplication for transformers at scale](https://arxiv.org/abs/2208.07339), Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- [Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO and University College London (2025)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
