greenai.guide

होम › मैं कैसे…? › मैं किसी न्यूरल नेटवर्क को prune कैसे करूँ?

मैं कैसे…?

मैं किसी न्यूरल नेटवर्क को prune कैसे करूँ?

अपडेट किया गया · 2 मिनट में पढ़ें

संक्षेप में

ट्रेन किए गए नेटवर्क से सबसे कम योगदान देने वाले weights, न्यूरॉन या layers हटाकर उसे prune करें, फिर थोड़ी देर fine-tune करें ताकि वह संभल जाए, और उसे अपने गुणवत्ता मानक पर परखें। Pruning ने AlexNet के पैरामीटर बिना सटीकता खोए नौ गुना घटा दिए, और बहुत बड़े भाषा मॉडलों को एक ही बार में कम से कम 50% sparsity तक prune किया गया है। अगर आप चाहते हैं कि सामान्य हार्डवेयर तेज़ चले, तो structured pruning चुनें।

चरण

  1. पहले बिना prune किए मॉडल की सटीकता, latency और ऊर्जा मापें।
  2. structured pruning (पूरे न्यूरॉन, heads या layers) चुनें, जब तक आपका हार्डवेयर sparse weights का फ़ायदा न उठाता हो।
  3. महत्व के आधार पर, जैसे सबसे छोटे मान (magnitude) वाले, weights का एक छोटा हिस्सा हटाएँ।
  4. नेटवर्क को संभलने देने के लिए थोड़ी देर fine-tune करें।
  5. कदम-दर-कदम दोहराएँ, हर बार परखें, और गुणवत्ता आपके मानक से नीचे जाने पर रुक जाएँ।

बड़े नेटवर्क में आम तौर पर उनके काम की ज़रूरत से कहीं ज़्यादा weights होते हैं, इसलिए ट्रेनिंग के बाद कई हटाए जा सकते हैं। Pruning मॉडल को छोटा बनाता है और, सही हार्डवेयर पर, चलाने में सस्ता।

सबूत क्या दिखाते हैं?

Han और साथियों ने 2015 में दिखाया कि pruning ने AlexNet इमेज मॉडल के पैरामीटर नौ गुना और VGG-16 के तेरह गुना घटा दिए, बिना सटीकता खोए। Frankle और Carbin की lottery ticket hypothesis ने पाया कि बड़े नेटवर्कों के भीतर कहीं छोटे sub-networks होते हैं जो पूरे नेटवर्क की सटीकता की बराबरी कर सकते हैं। भाषा मॉडलों के लिए, Frantar और Alistarh के SparseGPT ने बहुत बड़े मॉडलों को बिना दोबारा ट्रेनिंग के एक ही बार में कम से कम 50% sparsity तक prune किया, और perplexity में थोड़ी ही बढ़त हुई।

Structured या unstructured?

  • Unstructured pruning अलग-अलग weights हटाता है। यह सबसे ज़्यादा हटा सकता है, लेकिन बिखरे हुए शून्य छोड़ देता है जिन्हें सामान्य GPU और CPU अक्सर छोड़ (skip) नहीं पाते।
  • Structured pruning पूरे न्यूरॉन, attention heads, channels या layers हटाता है। यह कम हटाता है, लेकिन छोटा मॉडल किसी भी हार्डवेयर पर तेज़ चलता है।

आम गलतियाँ

  • ऊर्जा मापने के बजाय शून्य गिनना। सैद्धांतिक बचत अक्सर मापी गई बचत से ज़्यादा होती है। गणितज्ञों, कंप्यूटर वैज्ञानिकों और उद्योग के लोगों के 2026 के एक UK ग्रीन AI सैंडपिट (गहन चर्चा कार्यशाला) ने कहा कि sparsity का कम इस्तेमाल होने का एक कारण यह है कि मुख्यधारा के चिप इसका फ़ायदा उठाने में संघर्ष करते हैं।
  • एक साथ बहुत ज़्यादा prune करना। कदम-दर-कदम चलें और बीच में fine-tune करें।
  • सिर्फ़ बेंचमार्क पर परखना। अपने मामले जाँचें, दुर्लभ मामले भी, जिन्हें pruning सबसे पहले नुकसान पहुँचा सकता है।

300 से ज़्यादा पेपरों का Hoefler और साथियों का 2021 का सर्वेक्षण मानक गाइड है। सिद्धांत के लिए पढ़ें कुशल AI के लिए गणित।

स्रोत

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
लेख

वह गणित जो AI को ज़्यादा कुशल बनाता है

Pruning, sparsity, sketching, random matrix theory और भौतिकी-आधारित मॉडल: गणित AI के लिए ज़रूरी कंप्यूटिंग, मेमोरी और ऊर्जा को कैसे घटाता है।

मैं कैसे…?

मैं किसी मॉडल को quantise कैसे करूँ?

AI मॉडल को 8 या 4 bits में quantise कैसे करें: कौन-से टूल इस्तेमाल करें, गुणवत्ता कैसे परखें, और quantisation कब ऊर्जा बचाता है और कब नहीं।

मैं कैसे…?

मैं किसी बड़े मॉडल को डिस्टिल करके छोटा मॉडल कैसे बनाऊँ?

नॉलेज डिस्टिलेशन कैसे काम करता है: बड़े टीचर मॉडल से अपने काम के लिए छोटा स्टूडेंट मॉडल ट्रेन करें, उसे परखें और बड़े मॉडल को बैकअप रखें।

अच्छी प्रैक्टिस

कुशल AI ट्रेनिंग और इन्फ़रेंस

डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता