संक्षेप में
AI जो ऊर्जा इस्तेमाल करता है, उसका बड़ा हिस्सा ऐसी कंप्यूटिंग और डेटा की आवाजाही पर जाता है जिसकी काम को ज़रूरत नहीं होती। Pruning, sparsity, randomised sketching, random matrix theory और अंतर्निहित संरचना वाले मॉडल जैसे गणितीय तरीक़े इस फ़ालतूपन को हटाते हैं, अक्सर सटीकता में बहुत कम या बिना किसी कमी के। वे ऊर्जा तभी बचाते हैं जब बचत को मापा जाए और उसे बस बड़े मॉडलों पर खर्च न कर दिया जाए।
मुख्य बातें
- बड़े न्यूरल नेटवर्क में ज़रूरत से ज़्यादा पैरामीटर होते हैं; ट्रेनिंग के बाद pruning उनके ज़्यादातर weights को सटीकता में थोड़ी-सी कमी के साथ हटा सकती है।
- Sparsity ऊर्जा तभी बचाती है जब हार्डवेयर और सॉफ़्टवेयर शून्यों को छोड़ सकें; वरना यह केवल काग़ज़ पर बचत है।
- डेटा को इधर-उधर ले जाने में अक्सर गणना से ज़्यादा ऊर्जा लगती है, इसलिए sketching और IO-aware attention जैसे मेमोरी ट्रैफ़िक घटाने वाले तरीक़े मायने रखते हैं।
- ज्ञात भौतिकी या समरूपता (symmetry) को मॉडल में शामिल करने से उसे ज़रूरी पैरामीटर और डेटा घट सकते हैं।
- पारंपरिक संख्यात्मक तरीक़े कभी-कभी ज़्यादा हरित जवाब होते हैं, और एक हाइब्रिड पाइपलाइन छोटे नेटवर्क को केवल वहीं इस्तेमाल कर सकती है जहाँ वह मदद करे।
कोई न्यूरल नेटवर्क जो ऊर्जा इस्तेमाल करता है, उसका ज़्यादातर हिस्सा दो चीज़ों पर जाता है: गणना, और संख्याओं को मेमोरी और प्रोसेसर के बीच ले जाना। गणित दोनों को घटा सकता है। यह लेख मुख्य तरीक़ों को सरल शब्दों में, उनके पीछे के प्रकाशित पेपरों के साथ समझाता है, और यह भी कि हर तरीक़े का फ़ायदा कहाँ ख़त्म हो जाता है।
गणितज्ञों, कंप्यूटर वैज्ञानिकों और उद्योग के लोगों के 2026 के एक UK ग्रीन AI सैंडपिट (गहन चर्चा कार्यशाला) ने इसी सवाल को अपने केंद्र में रखा: माँग बढ़ने के साथ गणितीय विज्ञान AI के लिए ज़रूरी ऊर्जा और संसाधनों को कैसे घटा सकते हैं? नीचे दिए तरीक़े वे हैं जो सबसे ज़्यादा बार सामने आए, प्रकाशित प्रमाणों के साथ रखे गए।
हटाने लायक़ फ़ालतूपन क्यों होता है?
बड़े मॉडल काम की सख़्त ज़रूरत से बड़े होते हैं, क्योंकि बड़ा आकार उन्हें प्रशिक्षित करना आसान बनाता है। ट्रेनिंग एक ऊँचे-आयाम (high-dimensional) वाले स्पेस में बेहतर काम करती है, लेकिन ट्रेनिंग पूरी होने के बाद बहुत से weights बहुत कम योगदान देते हैं।
इससे तीन तरह की बचत की गुंजाइश बनती है: कम weights (pruning), किसी भी पल कम सक्रिय मान (sparsity), और डेटा की कम आवाजाही (sketching और मेमोरी-जागरूक एल्गोरिद्म)। चौथी तरह की बचत ज्ञात संरचना को मॉडल में शामिल करके फ़ालतूपन को शुरू से ही रोकती है।
Pruning क्या है, और यह कितना हटा सकती है?
Pruning उन weights को हटाती है जो सबसे कम योगदान देते हैं, फिर नेटवर्क को संभलने देती है। Han और उनके सहयोगियों ने 2015 में दिखाया कि pruning ने AlexNet इमेज मॉडल के पैरामीटर नौ गुना और VGG-16 के तेरह गुना घटा दिए, बिना सटीकता खोए।
बाद के काम ने इस विचार को और धार दी:
- Lottery ticket hypothesis (Frankle और Carbin, 2019) ने पाया कि बड़े नेटवर्कों के भीतर कहीं छोटे उप-नेटवर्क होते हैं जो सही शुरुआती बिंदु से प्रशिक्षित किए जाने पर पूरे नेटवर्क की सटीकता के बराबर पहुँच जाते हैं।
- SparseGPT (Frantar और Alistarh, 2023) ने बहुत बड़े भाषा मॉडलों को एक ही बार में, बिना दोबारा ट्रेनिंग के, कम से कम 50% sparsity तक prune किया, और perplexity में थोड़ी ही बढ़ोतरी हुई।
- Hoefler और उनके सहयोगियों का 2021 का सर्वे, जिसमें 300 से ज़्यादा पेपर शामिल हैं, यह समझने की मानक गाइड है कि pruning कब काम करती है और कब नहीं।
क्या sparsity सच में ऊर्जा बचाती है?
केवल तब, जब शून्यों को छोड़ दिया जाए। 80% शून्यों वाला मैट्रिक्स भी पूरी लागत लेता है अगर हार्डवेयर हर प्रविष्टि का गुणा करे। यहाँ unstructured sparsity (कहीं भी बिखरे शून्य) और structured sparsity (शून्यों के पूरे ब्लॉक, चैनल या पैटर्न) में अंतर करना मदद करता है, क्योंकि मानक चिप दूसरी वाली का कहीं ज़्यादा आसानी से फ़ायदा उठा सकते हैं।
Sparsity दो जगहों पर मिलती है:
- Weights में, pruning के ज़रिए।
- Activations में, यानी वे मान जो किसी दिए गए इनपुट के लिए नेटवर्क से होकर बहते हैं। Kurtz और उनके सहयोगियों (2020) ने दिखाया कि ReLU activation function की सीमा (threshold) बढ़ाने से कहीं ज़्यादा activations ठीक शून्य हो जाते हैं, जिन्हें फिर इन्फ़रेंस के समय छोड़ा जा सकता है। Mirzadeh और उनके सहयोगियों (2024) का तर्क था कि ReLU activations इस्तेमाल करने वाले बड़े भाषा मॉडल कंप्यूटिंग घटाने के लिए इसी असर का फ़ायदा उठा सकते हैं।
Activation sparsity गतिशील होती है: कौन-से मान शून्य हैं, यह हर इनपुट के साथ बदलता है। इससे हार्डवेयर में इसका फ़ायदा उठाना कठिन हो जाता है, और यह एक कारण है कि सैंडपिट ने हार्डवेयर–सॉफ़्टवेयर के साझा डिज़ाइन को गणित का ही हिस्सा माना, बाद में सोची जाने वाली चीज़ नहीं।
डेटा की आवाजाही इतनी मायने क्यों रखती है?
मेमोरी से कोई संख्या लाने में उसके साथ गणना करने से ज़्यादा ऊर्जा लग सकती है। जो एल्गोरिद्म कम डेटा ले जाते हैं, वे अक्सर कम जोड़-घटाव करने वाले एल्गोरिद्म से ज़्यादा बचत करते हैं।
तरीक़ों के दो परिवार इस पर काम करते हैं:
- Randomised sketching। Sketch किसी बड़े मैट्रिक्स का कहीं छोटा रैंडम प्रोजेक्शन है जो आपके ज़रूरी गुणों को बनाए रखता है। Halko, Martinsson और Tropp का 2011 का पेपर और Martinsson और Tropp का 2020 का सर्वे randomised numerical linear algebra का सिद्धांत बताते हैं, जो इन अनुमानों के लिए साबित की जा सकने वाली त्रुटि-सीमाएँ देता है। न्यूरल नेटवर्क पर लागू करने पर, sketch बड़े मध्यवर्ती नतीजों को चिप से बाहर ले जाने से पहले कंप्रेस कर सकते हैं।
- IO-aware एल्गोरिद्म। FlashAttention (Dao और उनके सहयोगी, 2022) मानक तरीक़े जैसा ही attention नतीजा निकालता है, लेकिन काम को इस तरह फिर से व्यवस्थित करता है कि GPU की बड़ी, धीमी मेमोरी और उसकी छोटी, तेज़ मेमोरी के बीच पढ़ना-लिखना घटे। बचत अनुमान लगाने से नहीं, शेड्यूलिंग से आती है।
Random matrix theory क्या जोड़ती है?
Random matrix theory बताती है कि बड़े रैंडम मैट्रिक्स कैसे व्यवहार करते हैं, और ट्रेनिंग की शुरुआत में न्यूरल नेटवर्क के weights यही होते हैं। इससे गणितज्ञ किसी नेटवर्क को प्रशिक्षित करने से पहले ही उसके गुणों का अनुमान लगा सकते हैं।
Pennington और Worah (2017) ने इसका इस्तेमाल यह विश्लेषण करने के लिए किया कि सिग्नल चौड़े नेटवर्कों से कैसे गुज़रते हैं। Martin और Mahoney (2021) ने प्रशिक्षित weight मैट्रिक्स के स्पेक्ट्रम का अध्ययन किया और ऐसे पैटर्न पाए जो बताते हैं कि किसी लेयर ने कितनी अच्छी तरह सीखा है। इस तरह के नतीजे sparsity के स्तर तय करने और ज़रूरत से बड़ी लेयरों को पहचानने में मदद करते हैं, बिना कई संस्करण प्रशिक्षित करके आज़माने के।
क्या संरचना डेटा और पैरामीटर की जगह ले सकती है?
हाँ, जहाँ संरचना ज्ञात हो। अगर कोई समस्या किसी भौतिक नियम या समरूपता का पालन करती है, तो जिस मॉडल में यह ज्ञान पहले से शामिल है, उसे इसे डेटा से सीखना नहीं पड़ता।
- Physics-informed neural networks (Raissi, Perdikaris और Karniadakis, 2019) नियंत्रक समीकरणों को ट्रेनिंग के उद्देश्य में जोड़ते हैं, ताकि भौतिक रूप से असंभव जवाबों के लिए नेटवर्क को दंड मिले।
- Geometric deep learning (Bronstein और उनके सहयोगी, 2021) ऐसे नेटवर्क डिज़ाइन करती है जो घुमाव (rotation) या क्रम-परिवर्तन (permutation) जैसी समरूपताओं का सम्मान करें, ताकि उन्हें कम पैरामीटर और उदाहरण चाहिए।
- Algorithm unrolling (Monga, Li और Eldar, 2021) किसी पारंपरिक दोहराव वाले (iterative) एल्गोरिद्म के चरणों को नेटवर्क की लेयरों में बदल देता है, जिससे छोटे, समझ में आने वाले मॉडल बनते हैं।
सैंडपिट में बार-बार एक संबंधित विचार आया: हाइब्रिड पाइपलाइन। जिन चरणों में पारंपरिक या भौतिकी-आधारित तरीक़ा अच्छा है, उनके लिए उसे रखें, और छोटे नेटवर्क को केवल उस हिस्से के लिए इस्तेमाल करें जो सीखने के लायक़ हो, जैसे किसी सिमुलेशन के एक महँगे घटक का विकल्प (surrogate)। कभी-कभी सबसे हरित जवाब कोई मौजूदा संख्यात्मक तरीक़ा होता है, और कोई न्यूरल नेटवर्क नहीं।
Automatic differentiation और quantisation कहाँ फ़िट होते हैं?
Automatic differentiation (AD) किसी प्रोग्राम के सटीक अवकलज (derivatives) निकालता है, और यह ट्रेनिंग का इंजन है। Backpropagation reverse-mode AD है, जैसा Baydin और उनके सहयोगियों का 2018 का सर्वे समझाता है। कुशल AD अपने आप में ग्रीन AI के लिए मायने रखता है, और यही pruning-aware training और differentiable energy penalties जैसी तकनीकों को संभव बनाता है।
Quantisation संख्याओं को कम बिट में स्टोर करता है, उदाहरण के लिए 32-बिट floating point के बजाय 8-बिट integers में। Jacob और उनके सहयोगियों (2018) ने दिखाया कि केवल-integer इन्फ़रेंस के लिए नेटवर्कों को कैसे प्रशिक्षित करें, जिससे प्रति ऑपरेशन मेमोरी और ऊर्जा घटती है। कम बिट का मतलब यह भी है कि ले जाने के लिए कम डेटा।
क्या हम नए मॉडल प्रशिक्षित करने के बजाय मॉडलों को फिर से इस्तेमाल कर सकते हैं?
अक्सर हाँ। Wortsman और उनके सहयोगियों (2022) ने दिखाया कि एक ही मॉडल के कई fine-tune किए गए संस्करणों के weights का औसत लेना, यानी "model soup", इन्फ़रेंस पर बिना किसी अतिरिक्त लागत के सटीकता सुधार सकता है। मौजूदा मॉडलों को मिलाने और ढालने से शून्य से ट्रेनिंग की लागत दोहरानी नहीं पड़ती। जनरेशन से ज़्यादा ऑर्केस्ट्रेशन फिर से इस्तेमाल के इसी विचार को और आगे ले जाता है।
सीमाएँ क्या हैं?
दक्षता के लाभ असली हैं, लेकिन वे अपने आप बचत नहीं बनते। ऊपर के हर तरीक़े पर तीन शर्तें लागू होती हैं:
- काग़ज़ पर हुई बचत (कम पैरामीटर, कम ऑपरेशन) की पुष्टि असली हार्डवेयर पर ऊर्जा मापकर करनी होगी। देखें AI की ऊर्जा मापना।
- सटीकता को केवल बेंचमार्क औसत पर नहीं, बल्कि असली काम पर जाँचना होगा।
- सस्ती कंप्यूटिंग का इस्तेमाल आम तौर पर और ज़्यादा कंप्यूटिंग के लिए होता है। दक्षता ही पर्याप्तता नहीं है इस रिबाउंड प्रभाव को समझाता है।
आगे क्या करें
- अगर आप मॉडल प्रशिक्षित या fine-tune करते हैं, तो पहले post-training pruning और quantisation आज़माएँ: ये सबसे सस्ते फ़ायदे हैं। देखें कुशल ट्रेनिंग और इन्फ़रेंस।
- Sparsity पर भरोसा करने से पहले जाँचें कि आपका हार्डवेयर और लाइब्रेरी सच में उसका फ़ायदा उठाते हैं या नहीं।
- न्यूरल नेटवर्क की ओर बढ़ने से पहले पूछें कि क्या कोई पारंपरिक तरीक़ा, या हाइब्रिड, समस्या को पहले ही हल कर देता है।
- किसी भी बदलाव से पहले और बाद में, उसी हार्डवेयर पर ऊर्जा मापें जिसे आप इस्तेमाल करेंगे।
- शोधकर्ता: शोध और PhDs सूचियों में कुशल AI पर फ़ंड वाले प्रोजेक्ट और PhD देखें, और शोधकर्ताओं के लिए गाइड देखें।
अक्सर पूछे जाने वाले सवाल
AI में pruning क्या है?
Pruning किसी प्रशिक्षित न्यूरल नेटवर्क से उन weights या पूरे न्यूरॉन को हटाती है जो उसके आउटपुट में बहुत कम योगदान देते हैं। छोटे नेटवर्क को कम मेमोरी चाहिए, और उपयुक्त हार्डवेयर पर कम कंप्यूटिंग और ऊर्जा।
क्या sparse मॉडल हमेशा कम ऊर्जा इस्तेमाल करता है?
नहीं। शून्यों से भरा मॉडल ऊर्जा तभी बचाता है जब हार्डवेयर और सॉफ़्टवेयर उन्हें छोड़ दें। किसी मानक GPU पर unstructured sparsity शायद dense मॉडल से ज़रा भी तेज़ न चले, इसीलिए structured sparsity और sparse kernels मायने रखते हैं।
Physics-informed neural network क्या है?
ऐसा न्यूरल नेटवर्क जिसे ज्ञात भौतिक नियमों का पालन करने के लिए प्रशिक्षित किया जाता है, आम तौर पर उसके loss function में नियंत्रक समीकरण जोड़कर। यह ज्ञान पहले से शामिल होने से नेटवर्क को उपयोगी हल सीखने के लिए कम डेटा चाहिए।
क्या बेहतर चिपों के सामने गणित सच में कोई फ़र्क़ ला सकता है?
हाँ, और दोनों एक साथ काम करते हैं। बेहतर एल्गोरिद्म करने वाले काम को घटाते हैं; बेहतर हार्डवेयर वह काम सस्ते में करता है। AI में कई सबसे बड़ी बचतें, जैसे quantisation और कुशल attention, नए चिपों से नहीं, बल्कि गणित और एल्गोरिद्म से आईं।
स्रोत
- Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
- The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)
- Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
- SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
- Inducing and exploiting activation sparsity for fast inference on deep neural networks, Kurtz et al., ICML (2020)
- ReLU strikes back: exploiting activation sparsity in large language models, Mirzadeh et al., ICLR (2024)
- Finding structure with randomness: probabilistic algorithms for constructing approximate matrix decompositions, Halko, Martinsson and Tropp, SIAM Review (2011)
- Randomized numerical linear algebra: foundations and algorithms, Martinsson and Tropp, Acta Numerica (2020)
- FlashAttention: fast and memory-efficient exact attention with IO-awareness, Dao, Fu, Ermon, Rudra and Ré, NeurIPS (2022)
- Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning, Martin and Mahoney, Journal of Machine Learning Research (2021)
- Nonlinear random matrix theory for deep learning, Pennington and Worah, NeurIPS (2017)
- Physics-informed neural networks: a deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations, Raissi, Perdikaris and Karniadakis, Journal of Computational Physics (2019)
- Geometric deep learning: grids, groups, graphs, geodesics, and gauges, Bronstein, Bruna, Cohen and Veličković (2021)
- Algorithm unrolling: interpretable, efficient deep learning for signal and image processing, Monga, Li and Eldar, IEEE Signal Processing Magazine (2021)
- Automatic differentiation in machine learning: a survey, Baydin, Pearlmutter, Radul and Siskind, Journal of Machine Learning Research (2018)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- Quantization and training of neural networks for efficient integer-arithmetic-only inference, Jacob et al., CVPR (2018)
संबंधित
कुशल AI ट्रेनिंग और इन्फ़रेंस
डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।
दक्षता ही पर्याप्तता नहीं है: AI में रिबाउंड प्रभाव
AI को ज़्यादा कुशल बनाना यह गारंटी क्यों नहीं देता कि वह कुल मिलाकर कम ऊर्जा इस्तेमाल करेगा, रिबाउंड या Jevons प्रभाव क्या है, और बचत को असली कैसे बनाए रखें।
जनरेशन से पहले ऑर्केस्ट्रेशन
जाँचे-परखे हिस्सों का दोबारा इस्तेमाल और हर अनुरोध को सबसे छोटे सक्षम मॉडल तक भेजना AI की ऊर्जा कैसे घटा सकता है, और अब तक के सबूत क्या कहते हैं।
शोधकर्ताओं के लिए ग्रीन AI
शोधकर्ताओं के लिए गाइड: कुशल AI तरीक़े, शोध-पत्रों में ऊर्जा का मापन और रिपोर्टिंग, कंप्यूट बजट, फ़ंडिंग, और गणित कहाँ मदद कर सकता है।