greenai.guide

होम › मैं कैसे…? › मैं किसी मॉडल को quantise कैसे करूँ?

मैं कैसे…?

मैं किसी मॉडल को quantise कैसे करूँ?

अपडेट किया गया · 2 मिनट में पढ़ें

संक्षेप में

Quantisation में मॉडल के weights कम bits में रखे जाते हैं, आम तौर पर 16 या 32 के बजाय 8 या 4, जिससे कम मेमोरी लगती है और अक्सर प्रति जवाब कम ऊर्जा। पहले से quantise किया गया वर्ज़न लोड करें या अपनी लाइब्रेरी के अंतर्निहित तरीकों से quantise करें, फिर अपने उदाहरणों पर उसे full-precision मॉडल से परखें। अगर गुणवत्ता बनी रहे और प्रति अनुरोध ऊर्जा घटे, तो इसे रखें।

चरण

  1. जाँचें कि क्या आपके मॉडल का पहले से quantise किया गया वर्ज़न मौजूद है।
  2. वरना अपनी लाइब्रेरी के किसी समर्थित तरीके से quantise करें, 8 bits से शुरू करके।
  3. quantise किए गए और मूल मॉडल को एक ही evaluation set पर चलाएँ।
  4. अगर 8-bit पर गुणवत्ता बनी रहे और आपको और मेमोरी बचानी हो, तो 4 bits आज़माएँ।
  5. बदलने से पहले अपने असली batch size पर प्रति अनुरोध ऊर्जा और latency मापें।

जो मॉडल आप खुद चलाते हैं, उसके लिए quantisation अक्सर दक्षता का सबसे तेज़ फ़ायदा है। यह मेमोरी घटाता है, जिससे मॉडल कम या छोटे GPU पर फ़िट हो जाता है, और यह प्रति जवाब ऊर्जा घटा सकता है।

यह क्यों मायने रखता है?

Hugging Face के दस्तावेज़ पैमाने का अंदाज़ा देते हैं: 8 अरब पैरामीटर वाले मॉडल के weights को 16-bit precision पर लगभग 16 GB, 8 bits पर लगभग 8 GB और 4 bits पर लगभग 4 से 5 GB चाहिए। Dettmers और साथियों ने LLM.int8() से दिखाया कि 175 अरब पैरामीटर तक के मॉडलों के लिए 8-bit inference full-precision प्रदर्शन बनाए रखते हुए ज़रूरी मेमोरी आधी कर सकता है। UNESCO और University College London बताते हैं कि quantisation जैसा compression 44% तक ऊर्जा बचा सकता है।

मैं यह कैसे करूँ?

  • quantise किया गया वर्ज़न डाउनलोड करें। कई ओपन मॉडल quantised फ़ॉर्मेट में प्रकाशित होते हैं। llama.cpp में इस्तेमाल होने वाला GGUF प्रति weight लगभग 1.5 से 8 bits तक के quantisation प्रकार देता है।
  • लोड करते समय quantise करें। Hugging Face Transformers जैसी लाइब्रेरी 20 से ज़्यादा quantisation तरीकों का समर्थन करती हैं, जिनमें से कई मॉडल लोड होते समय weights को quantise करते हैं।
  • ज़रूरत हो तो calibrate करें। कुछ तरीके rounding तय करने के लिए आपके डेटा का एक छोटा नमूना इस्तेमाल करते हैं, जिससे 4 bits पर गुणवत्ता बेहतर बनी रहती है।

आम गलतियाँ

  • गुणवत्ता परीक्षण छोड़ देना। कम bits से कुछ सटीकता घटती है, और हर तरीका मेमोरी, गति और सटीकता के बीच अलग संतुलन बनाता है। अपने मामलों पर परखें।
  • यह मान लेना कि यह हमेशा तेज़ होता है। Hugging Face बताता है कि अगर आप GPU मेमोरी से सीमित नहीं हैं, तो quantise और dequantise के अतिरिक्त कदमों के कारण latency थोड़ी बढ़ सकती है। सिर्फ़ गति नहीं, ऊर्जा मापें।
  • quantisation पर ही रुक जाना। इसे छोटे मॉडल या distillation के साथ जोड़ें।

ज़्यादा जानकारी कुशल ट्रेनिंग और inference में।

स्रोत

  1. Quantization overview, Hugging Face Transformers documentation (2026)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
  4. Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
  5. GGUF, Hugging Face Hub documentation (2026)
अच्छी प्रैक्टिस

कुशल AI ट्रेनिंग और इन्फ़रेंस

डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।

मैं कैसे…?

मैं AI मॉडल को अपने कंप्यूटर पर लोकल कैसे चलाऊँ?

Ollama या llama.cpp जैसे टूल से किसी ओपन AI मॉडल को अपने लैपटॉप या सर्वर पर कैसे चलाएँ, फ़िट होने वाला क्वांटाइज़्ड मॉडल कैसे चुनें और उसकी ऊर्जा कैसे मापें।

मैं कैसे…?

प्रोडक्शन में मॉडल चलाने (सर्विंग) की ऊर्जा मैं कैसे कम करूँ?

खुद होस्ट किए गए मॉडल को प्रति अनुरोध कम ऊर्जा में कैसे चलाएँ: कुशल रनटाइम, बैचिंग, हाफ़ प्रिसिज़न, कंपाइल्ड कैश और परखा हुआ हार्डवेयर।

मैं कैसे…?

मैं किसी न्यूरल नेटवर्क को prune कैसे करूँ?

ट्रेन किए गए न्यूरल नेटवर्क को prune करके कम योगदान वाले weights कैसे हटाएँ, कितनी सटीकता बचती है यह कैसे परखें, और हार्डवेयर पर असली बचत कैसे जाँचें।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता