# मैं किसी मॉडल को quantise कैसे करूँ?

> AI मॉडल को 8 या 4 bits में quantise कैसे करें: कौन-से टूल इस्तेमाल करें, गुणवत्ता कैसे परखें, और quantisation कब ऊर्जा बचाता है और कब नहीं।

Source: https://greenai.guide/hi/कैसे/मैं-किसी-मॉडल-को-quantise-कैसे-करूँ/  
Updated: 2026-11-19

## संक्षेप में

Quantisation में मॉडल के weights कम bits में रखे जाते हैं, आम तौर पर 16 या 32 के बजाय 8 या 4, जिससे कम मेमोरी लगती है और अक्सर प्रति जवाब कम ऊर्जा। पहले से quantise किया गया वर्ज़न लोड करें या अपनी लाइब्रेरी के अंतर्निहित तरीकों से quantise करें, फिर अपने उदाहरणों पर उसे full-precision मॉडल से परखें। अगर गुणवत्ता बनी रहे और प्रति अनुरोध ऊर्जा घटे, तो इसे रखें।

## Steps

1. जाँचें कि क्या आपके मॉडल का पहले से quantise किया गया वर्ज़न मौजूद है।
2. वरना अपनी लाइब्रेरी के किसी समर्थित तरीके से quantise करें, 8 bits से शुरू करके।
3. quantise किए गए और मूल मॉडल को एक ही evaluation set पर चलाएँ।
4. अगर 8-bit पर गुणवत्ता बनी रहे और आपको और मेमोरी बचानी हो, तो 4 bits आज़माएँ।
5. बदलने से पहले अपने असली batch size पर प्रति अनुरोध ऊर्जा और latency मापें।

**जो मॉडल आप खुद चलाते हैं, उसके लिए quantisation अक्सर दक्षता का सबसे तेज़ फ़ायदा है।** यह मेमोरी घटाता है, जिससे मॉडल
कम या छोटे GPU पर फ़िट हो जाता है, और यह प्रति जवाब ऊर्जा घटा सकता है।

## यह क्यों मायने रखता है? {#why-does-it-matter}

Hugging Face के दस्तावेज़ पैमाने का अंदाज़ा देते हैं: 8 अरब पैरामीटर वाले मॉडल के weights को 16-bit precision पर लगभग
16 GB, 8 bits पर लगभग 8 GB और 4 bits पर लगभग 4 से 5 GB चाहिए। Dettmers और साथियों ने LLM.int8() से दिखाया कि 175 अरब
पैरामीटर तक के मॉडलों के लिए 8-bit inference full-precision प्रदर्शन बनाए रखते हुए ज़रूरी मेमोरी आधी कर सकता है।
UNESCO और University College London बताते हैं कि quantisation जैसा compression 44% तक ऊर्जा बचा सकता है।

## मैं यह कैसे करूँ? {#how-do-i-do-it}

- **quantise किया गया वर्ज़न डाउनलोड करें।** कई ओपन मॉडल quantised फ़ॉर्मेट में प्रकाशित होते हैं। llama.cpp में इस्तेमाल
  होने वाला GGUF प्रति weight लगभग 1.5 से 8 bits तक के quantisation प्रकार देता है।
- **लोड करते समय quantise करें।** Hugging Face Transformers जैसी लाइब्रेरी 20 से ज़्यादा quantisation तरीकों का समर्थन करती
  हैं, जिनमें से कई मॉडल लोड होते समय weights को quantise करते हैं।
- **ज़रूरत हो तो calibrate करें।** कुछ तरीके rounding तय करने के लिए आपके डेटा का एक छोटा नमूना इस्तेमाल करते हैं, जिससे
  4 bits पर गुणवत्ता बेहतर बनी रहती है।

## आम गलतियाँ {#common-mistakes}

- **गुणवत्ता परीक्षण छोड़ देना।** कम bits से कुछ सटीकता घटती है, और हर तरीका मेमोरी, गति और सटीकता के बीच अलग संतुलन बनाता
  है। अपने मामलों पर परखें।
- **यह मान लेना कि यह हमेशा तेज़ होता है।** Hugging Face बताता है कि अगर आप GPU मेमोरी से सीमित नहीं हैं, तो quantise और
  dequantise के अतिरिक्त कदमों के कारण latency थोड़ी बढ़ सकती है। सिर्फ़ गति नहीं, ऊर्जा मापें।
- **quantisation पर ही रुक जाना।** इसे छोटे मॉडल या [distillation](/hi/कैसे/मैं-किसी-बड़े-मॉडल-को-डिस्टिल-करके-छोटा-मॉडल-कैसे-बनाऊँ/) के साथ जोड़ें।

ज़्यादा जानकारी [कुशल ट्रेनिंग और inference](/hi/अच्छी-प्रथाएँ/कुशल-ai-ट्रेनिंग-और-इन्फ़रेंस/) में।

## स्रोत

- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [LLM.int8(): 8-bit matrix multiplication for transformers at scale](https://arxiv.org/abs/2208.07339), Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- [Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation](https://www.unesco.org/en/articles/ai-large-language-models-new-report-shows-small-changes-can-reduce-energy-use-90), UNESCO and University College London (2025)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
