greenai.guide

Home › Hoe doe ik…? › Hoe kwantiseer ik een model?

Hoe doe ik…?

Hoe kwantiseer ik een model?

Bijgewerkt · 1 min. leestijd

In het kort

Bij kwantisatie worden de gewichten van een model met minder bits opgeslagen, meestal 8 of 4 in plaats van 16 of 32, zodat het minder geheugen nodig heeft en vaak minder energie per antwoord. Laad een kant-en-klare gekwantiseerde versie of kwantiseer met de ingebouwde methoden van uw bibliotheek, en test het daarna op uw eigen voorbeelden tegen het model met volledige precisie. Houd het aan als de kwaliteit standhoudt en de energie per verzoek daalt.

Stappen

  1. Ga na of er al een kant-en-klare gekwantiseerde versie van uw model bestaat.
  2. Kwantiseer anders met een ondersteunde methode in uw bibliotheek, te beginnen bij 8 bits.
  3. Draai het gekwantiseerde en het oorspronkelijke model op dezelfde evaluatieset.
  4. Probeer 4 bits als de kwaliteit bij 8 bits standhoudt en u meer geheugen wilt besparen.
  5. Meet energie en latentie per verzoek bij uw werkelijke batchgrootte voordat u overstapt.

Kwantisatie is vaak de snelste efficiëntiewinst voor een model dat u zelf draait. Het verkleint het geheugengebruik, zodat het model op minder of kleinere GPU's past, en het kan de energie per antwoord verlagen.

Waarom is het belangrijk?

De documentatie van Hugging Face geeft een idee van de orde van grootte: een model met 8 miljard parameters heeft voor zijn gewichten ongeveer 16 GB nodig bij 16-bits precisie, ongeveer 8 GB bij 8 bits en ongeveer 4 tot 5 GB bij 4 bits. Dettmers en collega's lieten met LLM.int8() zien dat 8-bits inferentie het benodigde geheugen kan halveren met behoud van de prestaties van volledige precisie, voor modellen tot 175 miljard parameters. UNESCO en University College London melden dat compressie zoals kwantisatie tot 44% energie kan besparen.

Hoe doe ik het?

  • Download een gekwantiseerde versie. Veel open modellen worden in gekwantiseerde formaten gepubliceerd. GGUF, dat llama.cpp gebruikt, biedt kwantisatietypen van ongeveer 1,5 tot 8 bits per gewicht.
  • Kwantiseer bij het laden. Bibliotheken zoals Hugging Face Transformers ondersteunen meer dan 20 kwantisatiemethoden, waarvan een aantal de gewichten kwantiseert terwijl het model wordt geladen.
  • Kalibreer waar nodig. Sommige methoden gebruiken een kleine steekproef van uw gegevens om te bepalen hoe er wordt afgerond, wat bij 4 bits de kwaliteit meestal beter behoudt.

Veelgemaakte fouten

  • De kwaliteitstest overslaan. Minder bits kosten wat nauwkeurigheid, en elke methode weegt geheugen, snelheid en nauwkeurigheid anders af. Test op uw eigen gevallen.
  • Aannemen dat het altijd sneller is. Hugging Face merkt op dat kwantisatie de latentie licht kan verhogen als u niet door GPU-geheugen wordt beperkt, vanwege de extra stappen voor kwantiseren en dekwantiseren. Meet energie, niet alleen snelheid.
  • Bij kwantisatie stoppen. Combineer het met een kleiner model of distillatie.

Lees meer in efficiënt trainen en inferentie.

Bronnen

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)

Doe mee

Help de impact van AI op de planeet te verkleinen

Ontvang ongeveer eens per maand nieuwe gidsen, financieringsoproepen en vermeldingen per e-mail. Of voeg uw product, cursus, promotieplaats of onderzoek toe aan de gidsen.

Geen tracking. Met één klik afmelden. Andere manieren om mee te doen · Privacy