greenai.guide

Startseite › Wie kann ich …? › Wie quantisiere ich ein Modell?

Wie kann ich …?

Wie quantisiere ich ein Modell?

Aktualisiert · 1 Min. Lesezeit

Kurz gesagt

Beim Quantisieren werden die Gewichte eines Modells mit weniger Bits gespeichert, typischerweise 8 oder 4 statt 16 oder 32, sodass es weniger Speicher und oft weniger Energie pro Antwort braucht. Laden Sie eine bereits quantisierte Version oder quantisieren Sie mit den eingebauten Methoden Ihrer Bibliothek, und testen Sie es dann an Ihren eigenen Beispielen gegen das Modell in voller Genauigkeit. Behalten Sie es, wenn die Qualität hält und die Energie pro Anfrage sinkt.

Schritte

  1. Prüfen Sie, ob es bereits eine quantisierte Version Ihres Modells gibt.
  2. Andernfalls quantisieren Sie mit einer unterstützten Methode Ihrer Bibliothek, beginnend mit 8 Bit.
  3. Lassen Sie das quantisierte und das ursprüngliche Modell auf demselben Evaluationsdatensatz laufen.
  4. Versuchen Sie 4 Bit, wenn die Qualität bei 8 Bit hält und Sie mehr Speicher sparen müssen.
  5. Messen Sie Energie und Latenz pro Anfrage bei Ihrer realen Batch-Größe, bevor Sie umstellen.

Quantisierung ist bei einem Modell, das Sie selbst betreiben, oft der schnellste Effizienzgewinn. Sie verringert den Speicherbedarf, sodass das Modell auf weniger oder kleinere GPUs passt, und sie kann die Energie pro Antwort senken.

Warum ist das wichtig?

Die Dokumentation von Hugging Face vermittelt einen Eindruck von der Größenordnung: Ein Modell mit 8 Milliarden Parametern braucht für seine Gewichte bei 16-Bit-Genauigkeit etwa 16 GB, bei 8 Bit etwa 8 GB und bei 4 Bit etwa 4 bis 5 GB. Dettmers und Kollegen zeigten mit LLM.int8(), dass 8-Bit-Inferenz den benötigten Speicher halbieren kann, bei gleicher Leistung wie in voller Genauigkeit, für Modelle bis 175 Milliarden Parameter. UNESCO und das University College London berichten, dass Komprimierung wie Quantisierung bis zu 44 % Energie sparen kann.

Wie mache ich das?

  • Laden Sie eine quantisierte Version herunter. Viele offene Modelle werden in quantisierten Formaten veröffentlicht. GGUF, das von llama.cpp genutzt wird, bietet Quantisierungstypen von etwa 1,5 bis 8 Bit pro Gewicht.
  • Quantisieren Sie beim Laden. Bibliotheken wie Hugging Face Transformers unterstützen mehr als 20 Quantisierungsmethoden, von denen mehrere die Gewichte beim Laden des Modells quantisieren.
  • Kalibrieren Sie, wo nötig. Manche Methoden nutzen eine kleine Stichprobe Ihrer Daten, um zu entscheiden, wie gerundet wird, was bei 4 Bit die Qualität tendenziell besser erhält.

Häufige Fehler

  • Den Qualitätstest auslassen. Weniger Bits kosten etwas Genauigkeit, und jede Methode wägt Speicher, Geschwindigkeit und Genauigkeit unterschiedlich ab. Testen Sie an Ihren eigenen Fällen.
  • Annehmen, es sei immer schneller. Hugging Face weist darauf hin, dass Quantisierung die Latenz wegen der zusätzlichen Quantisierungs- und Dequantisierungsschritte leicht erhöhen kann, wenn Sie nicht durch den GPU-Speicher begrenzt sind. Messen Sie die Energie, nicht nur die Geschwindigkeit.
  • Bei der Quantisierung stehen bleiben. Kombinieren Sie sie mit einem kleineren Modell oder mit Destillation.

Mehr dazu unter effizientes Training und effiziente Inferenz.

Quellen

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)

Machen Sie mit

Helfen Sie, die Umweltwirkung von KI zu senken

Erhalten Sie neue Leitfäden, Förderausschreibungen und Verzeichniseinträge etwa einmal im Monat per E-Mail. Oder tragen Sie Ihr Produkt, Ihren Kurs, Ihre PhD-Stelle oder Ihre Forschung in die Verzeichnisse ein.

Kein Tracking. Abmeldung mit einem Klick. Weitere Möglichkeiten mitzumachen · Datenschutz