greenai.guide

होम › अच्छी प्रैक्टिस › कुशल AI ट्रेनिंग और इन्फ़रेंस

अच्छी प्रैक्टिस

कुशल AI ट्रेनिंग और इन्फ़रेंस

अपडेट किया गया · 11 मिनट में पढ़ें

संक्षेप में

AI की ज़्यादातर ऊर्जा गुणवत्ता खोए बिना घटाई जा सकती है: शुरू से ट्रेनिंग के बजाय मॉडलों का दोबारा इस्तेमाल करके, प्रूनिंग, क्वांटाइज़ेशन और डिस्टिलेशन से उन्हें छोटा करके, बैचिंग और कैशिंग के साथ उन्हें सर्व करके, और लचीले कामों को तब और वहाँ चलाकर जब और जहाँ बिजली ज़्यादा स्वच्छ हो। हर बदलाव से पहले और बाद में ऊर्जा मापें, क्योंकि तेज़ होना हमेशा ज़्यादा हरित होना नहीं है।

मुख्य बातें

  • ट्रेनिंग से पहले दोबारा इस्तेमाल करें: GPT-3 175B की पूरी फ़ाइन-ट्यूनिंग की तुलना में LoRA से एक छोटे एडैप्टर की फ़ाइन-ट्यूनिंग ने प्रशिक्षित किए जाने वाले पैरामीटर 10,000 गुना और GPU मेमोरी तीन गुना घटा दी।
  • बड़े भाषा मॉडलों को बिना दोबारा ट्रेनिंग के एक ही बार में कम से कम 50% स्पार्सिटी तक प्रून किया जा सकता है, सटीकता में बहुत कम नुकसान के साथ (SparseGPT)।
  • 8-बिट इन्फ़रेंस गुणवत्ता खोए बिना मेमोरी की ज़रूरत आधी कर सकता है (LLM.int8()); 4-बिट भी परखें।
  • सर्विंग मायने रखती है: vLLM में बैचिंग और पेज्ड KV-कैश प्रबंधन से उसी देरी (latency) पर 2–4 गुना थ्रूपुट मिला।
  • कार्बन-अवेयर शेड्यूलिंग उत्सर्जन घटाती है, ऊर्जा नहीं; इसे दक्षता के काम के ऊपर करें, उसकी जगह कभी नहीं।

मुझे कहाँ से शुरू करना चाहिए?

मापने से शुरू करें, फिर दोबारा इस्तेमाल करें, छोटा करें, अच्छे से सर्व करें और शेड्यूल करें, इसी क्रम में। शुरुआती कदम आम तौर पर सबसे ज़्यादा बचाते हैं और उनमें जोखिम सबसे कम होता है।

Google में Patterson और उनके सहयोगियों ने 2021 में अनुमान लगाया कि मॉडल, डेटा सेंटर और प्रोसेसर का चुनाव ट्रेनिंग के कार्बन फ़ुटप्रिंट को लगभग 100 से 1,000 गुना तक बदल सकता है। इस दायरे का ज़्यादातर हिस्सा आपके हाथ में है। कुछ भी बदलने से पहले उसी हार्डवेयर और लोड पर ऊर्जा मापन तैयार करें, ताकि आप सिर्फ़ वही बदलाव रखें जो गुणवत्ता को नुकसान पहुँचाए बिना ऊर्जा बचाते हैं। गति भरोसेमंद पैमाना नहीं है: कोई बदलाव तेज़ होकर भी ज़्यादा ऊर्जा खा सकता है, या धीमा होकर भी कम।

क्या मैं शुरू से ट्रेनिंग से बच सकता हूँ?

आम तौर पर हाँ: किसी पहले से प्रशिक्षित (pre-trained) मॉडल से शुरू करें और सिर्फ़ उतना ढालें जितना ज़रूरी हो।

  • पैरामीटर-कुशल फ़ाइन-ट्यूनिंग। LoRA पूरे मॉडल के बजाय छोटे लो-रैंक एडैप्टर मैट्रिक्स प्रशिक्षित करता है। GPT-3 175B की पूरी फ़ाइन-ट्यूनिंग की तुलना में इसके लेखकों ने 10,000 गुना कम प्रशिक्षित किए जाने वाले पैरामीटर और तीन गुना कम GPU मेमोरी बताई। QLoRA इसे 4-बिट वेट के साथ जोड़ता है, और इसने 65 अरब पैरामीटर वाले मॉडल को एक अकेले 48 GB GPU पर फ़ाइन-ट्यून किया।
  • दोबारा ट्रेनिंग के बजाय रिट्रीवल। बदलते तथ्यों को खोजने योग्य इंडेक्स में रखें और क्वेरी के समय उन्हें निकालें। फ़ाइन-ट्यूनिंग कौशल और शैली के लिए करें, तथ्यों के लिए नहीं।
  • मॉडल मर्जिंग (“सूपिंग”)। Wortsman और सहयोगियों के अनुसार, एक ही बेस से फ़ाइन-ट्यून किए गए मॉडलों के वेट का औसत बिना अतिरिक्त इन्फ़रेंस लागत के सबसे अच्छे अकेले मॉडल को पछाड़ सकता है। विशेषज्ञ फ़ाइन-ट्यून को मिलाना उस काम का दोबारा इस्तेमाल है जिसकी कीमत पहले ही चुकाई जा चुकी है।
  • लगातार सीखना (continual learning)। डेटा बदलने पर शुरू से दोबारा ट्रेनिंग के बजाय मॉडल को धीरे-धीरे अपडेट करें।

प्रूनिंग और स्पार्सिटी कैसे मदद करती हैं?

किसी प्रशिक्षित नेटवर्क के ज़्यादातर वेट थोड़े-से नुकसान के साथ हटाए या निष्क्रिय छोड़े जा सकते हैं, यानी हर जवाब के लिए कम गणना और कम मेमोरी।

  • अनस्ट्रक्चर्ड प्रूनिंग अलग-अलग वेट हटाती है। SparseGPT ने GPT-परिवार के मॉडलों को बिना दोबारा ट्रेनिंग के एक ही बार में कम से कम 50% स्पार्सिटी तक प्रून किया, सटीकता में बहुत कम नुकसान के साथ, और उस समय के सबसे बड़े खुले मॉडलों पर perplexity में नगण्य बढ़ोतरी के साथ 60% तक पहुँचा।
  • स्ट्रक्चर्ड प्रूनिंग पूरे न्यूरॉन, हेड या लेयर हटाती है, जिसका फ़ायदा साधारण हार्डवेयर ज़्यादा आसानी से उठा सकता है।
  • एक्टिवेशन स्पार्सिटी किसी दिए गए इनपुट के लिए ज़्यादातर न्यूरॉन निष्क्रिय छोड़ देती है।
  • मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल हर टोकन को कुछ विशेषज्ञ उप-नेटवर्कों के पास भेजते हैं। Patterson और सहयोगियों ने पाया कि बड़े, विरल रूप से सक्रिय (sparsely activated) मॉडल बड़े घने (dense) मॉडलों की ऊर्जा के दसवें हिस्से से भी कम इस्तेमाल कर सकते हैं। फिर भी सभी एक्सपर्ट्स को मेमोरी में रहना पड़ता है।

गणितज्ञों, कंप्यूटर वैज्ञानिकों और उद्योग के लोगों के 2026 के एक UK ग्रीन AI सैंडपिट (गहन चर्चा कार्यशाला) से एक चेतावनी: स्पार्सिटी का कम इस्तेमाल होने का एक कारण यह है कि हार्डवेयर और लाइब्रेरी घने गणित के लिए बने हैं। जाँचें कि आपका रनटाइम स्पार्सिटी को सचमुच बची हुई ऊर्जा में बदलता है। सैंडपिट में ट्रेनिंग से पहले स्पार्सिटी का स्तर चुनने के लिए रैंडम मैट्रिक्स थ्योरी के इस्तेमाल पर, और attention के ऐसे विरल अनुमानों पर भी चर्चा हुई जिन्हें पहले से प्रशिक्षित मॉडलों में सीधे लगाया जा सकता है। देखें कुशल AI के लिए गणित।

क्वांटाइज़ेशन, डिस्टिलेशन और मिक्स्ड प्रिसिज़न का क्या?

जहाँ भी गुणवत्ता मानक अनुमति दे, कम बिट और छोटे मॉडल इस्तेमाल करें।

तकनीक यह क्या करती है प्रकाशित नतीजा
क्वांटाइज़ेशन वेट को 16 या 32 के बजाय 8 या 4 बिट में रखती और उन पर गणना करती है LLM.int8() ने 175B पैरामीटर तक बिना गुणवत्ता खोए इन्फ़रेंस मेमोरी आधी कर दी; UNESCO और UCL के अनुसार क्वांटाइज़ेशन जैसे मॉडल कम्प्रेशन से 44% तक ऊर्जा बचती है
डिस्टिलेशन एक छोटे “छात्र” को एक बड़े “शिक्षक” की नकल करने के लिए प्रशिक्षित करती है DistilBERT, BERT से 40% छोटा और 60% तेज़ था, और उसकी भाषा समझ का 97% बनाए रखता था
मिक्स्ड प्रिसिज़न पूरी प्रिसिज़न वाली मुख्य प्रति के साथ हाफ़ प्रिसिज़न में ट्रेनिंग करती है ट्रेनिंग में मेमोरी का इस्तेमाल लगभग आधा हो गया (Micikevicius et al.)

हर एक को अपने मूल्यांकन सेट पर परखें। Hugging Face बताता है कि जब कोई वर्कलोड मेमोरी से सीमित न हो तो क्वांटाइज़ेशन देरी (latency) बढ़ा सकता है, इसलिए पहले और बाद में प्रति अनुरोध ऊर्जा और देरी मापें।

मॉडलों को कुशलता से कैसे सर्व करूँ?

एक्सेलरेटर को उपयोगी काम में व्यस्त रखें और कुछ भी दोबारा न गिनें। कम इस्तेमाल होने वाला GPU भी काफ़ी बिजली खींचता है।

  1. अनुरोधों को बैच करें। लगातार बैचिंग (continuous batching) वाले सर्विंग इंजन एक साथ आने वाले अनुरोधों को समूह में रखते हैं। vLLM के PagedAttention ने, जो KV कैश को वर्चुअल मेमोरी की तरह सँभालता है, उसी देरी पर पहले के सिस्टमों से 2 से 4 गुना थ्रूपुट दिया।
  2. KV कैश का अच्छा इस्तेमाल करें। पहले के टोकनों की keys और values कैश करें; जहाँ आपकी लाइब्रेरी समर्थन करे, वहाँ कंपाइल किए गए forward pass के साथ स्टैटिक कैश इस्तेमाल करें।
  3. ऑप्टिमाइज़ किए गए रास्ते चालू करें। हाफ़-प्रिसिज़न वेट, कुशल attention kernel (जैसे SDPA या FlashAttention) और कंपाइलेशन अक्सर उपलब्ध होते हैं, लेकिन डिफ़ॉल्ट रूप से बंद रहते हैं।
  4. स्पेक्युलेटिव डिकोडिंग। एक छोटा ड्राफ़्ट मॉडल टोकन सुझाता है जिन्हें बड़ा मॉडल जाँचता है। Leviathan और सहयोगियों ने T5-XXL पर हूबहू वही आउटपुट के साथ 2 से 3 गुना तेज़ जनरेशन बताया।
  5. आउटपुट की लंबाई सीमित करें, उतनी जितनी काम को चाहिए, और एक जैसे अनुरोधों के जवाब कैश करें।
  6. रनटाइम और हार्डवेयर की तुलना करें। अपने असली बैच आकारों पर दो या तीन सर्विंग स्टैक का बेंचमार्क करें।

काम कब और कहाँ चलने चाहिए?

लचीले काम तब और वहाँ चलाएँ जब और जहाँ बिजली ज़्यादा स्वच्छ हो, लेकिन इसे दक्षता के ऊपर एक बोनस मानें, उसका विकल्प नहीं।

  • समय खिसकाएँ। ट्रेनिंग रन, मूल्यांकन और बैच इन्फ़रेंस अक्सर घंटों इंतज़ार कर सकते हैं। उन्हें कार्बन-तीव्रता के पूर्वानुमान के हिसाब से शेड्यूल करें; CATS जैसे टूल ऐसा करने के लिए क्लस्टर जॉब्स को लपेटते हैं। ग्रेट ब्रिटेन में Carbon Intensity API क्षेत्रीय पूर्वानुमान प्रकाशित करता है।
  • लंबे कामों को रोके जाने योग्य बनाएँ। ऑप्टिमाइज़र की स्थिति समेत नियमित रूप से checkpoint लें, ताकि ग्रिड गंदा होने पर काम रुक सके और बाद में बिना कोई काम खोए फिर शुरू हो सके।
  • क्षेत्र और हार्डवेयर चुनें। जहाँ देरी मायने न रखती हो, वहाँ कम-कार्बन क्षेत्र और कुशल एक्सेलरेटर को प्राथमिकता दें, डेटा ले जाने की लागत का ध्यान रखते हुए। देखें होस्टिंग और डेटा सेंटर।
  • कुल ऊर्जा पर नज़र रखें। कार्बन-अवेयर शेड्यूलिंग यह बदलती है कि काम कब चलता है, यह नहीं कि वह कितना इस्तेमाल करता है। कार्बन के साथ-साथ काम की प्रति इकाई ऊर्जा पर भी नज़र रखें।

जाँच-सूची

  • [ ] हर बदलाव से पहले और बाद में ऊर्जा मापी गई, एक ही सेट-अप पर, कई रन में
  • [ ] शुरू से ट्रेनिंग से पहले पहले से प्रशिक्षित मॉडल और एडैप्टर पर विचार किया गया
  • [ ] बदलते तथ्यों के लिए दोबारा ट्रेनिंग के बजाय रिट्रीवल का इस्तेमाल
  • [ ] प्रूनिंग, क्वांटाइज़ेशन या डिस्टिलेशन को गुणवत्ता मानक पर परखा गया
  • [ ] ट्रेनिंग में मिक्स्ड प्रिसिज़न का इस्तेमाल
  • [ ] सर्विंग में बैचिंग, KV-कैश ऑप्टिमाइज़ेशन और कुशल attention चालू
  • [ ] आउटपुट की लंबाई सीमित; एक जैसे अनुरोध कैश किए गए
  • [ ] लचीले कामों के checkpoint लिए गए और उन्हें स्वच्छ घंटों के लिए शेड्यूल किया गया
  • [ ] ट्रेनिंग की ऊर्जा और हार्डवेयर मॉडल कार्ड में दर्ज

आगे क्या करें

  1. अपनी ट्रेनिंग और मूल्यांकन स्क्रिप्ट में CodeCarbon जैसा उत्सर्जन ट्रैकर जोड़ें, और अपनी नतीजों की तालिका में सटीकता के बगल में ऊर्जा रखें।
  2. अपनी अगली फ़ाइन-ट्यूनिंग में LoRA या QLoRA आज़माएँ और पूरी फ़ाइन-ट्यूनिंग से तुलना करें।
  3. अपने चालू मॉडल के 8-बिट और 4-बिट संस्करण को अपने मूल्यांकन सेट पर परखें।
  4. बैचिंग और ऑप्टिमाइज़ किए गए attention रास्ते को चालू करके अपने सर्विंग स्टैक का बेंचमार्क करें।
  5. किसी एक बार-बार चलने वाले क्लस्टर जॉब को कार्बन-अवेयर शेड्यूलर में लपेटें।
  6. कोर्स डायरेक्टरी में ट्रेनिंग, और रिसर्च व PhDs में संबंधित काम खोजें।

अक्सर पूछे जाने वाले सवाल

क्या क्वांटाइज़ेशन से सटीकता घटती है?

कभी-कभी, थोड़ी-सी; 8-बिट में अक्सर ध्यान देने लायक नहीं। क्वांटाइज़ किए गए मॉडल को हमेशा अपने मूल्यांकन सेट पर परखें, और ध्यान रखें कि जब कोई वर्कलोड मेमोरी से सीमित न हो तो क्वांटाइज़ेशन देरी बढ़ा सकता है।

KV कैश क्या है?

जब कोई ट्रांसफ़ॉर्मर टेक्स्ट बनाता है, तो वह पहले के टोकनों की key और value मैट्रिक्स सँभालकर रखता है ताकि हर चरण पर उन्हें दोबारा न गिनना पड़े। उस कैश का अच्छा प्रबंधन सर्विंग की सबसे बड़ी दक्षताओं में से एक है।

ट्रेनिंग की ऊर्जा लागत बड़ी है या इन्फ़रेंस की?

यह इस पर निर्भर करता है कि मॉडल कितने व्यापक रूप से इस्तेमाल होता है। ट्रेनिंग एक बार की बड़ी लागत है; इन्फ़रेंस हर अनुरोध पर चुकाया जाता है, इसलिए लोकप्रिय मॉडलों के जीवनकाल में आम तौर पर वही हावी रहता है।

मॉडल मर्जिंग या सूपिंग क्या है?

एक ही शुरुआती बिंदु से फ़ाइन-ट्यून किए गए कई मॉडलों के वेट का औसत निकालना। नतीजा एक मॉडल की तरह चलता है, इन्फ़रेंस की कोई अतिरिक्त लागत नहीं होती, और यह सबसे अच्छे अकेले मॉडल से बेहतर प्रदर्शन कर सकता है।

स्रोत

  1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
  2. QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
  3. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
  4. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
  5. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  6. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  7. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  8. Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
  9. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
  10. Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
  11. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  12. Optimizing inference, Hugging Face Transformers documentation (2025)
  13. Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
  14. CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)
अच्छी प्रैक्टिस

AI की ऊर्जा और कार्बन कैसे मापें

AI के काम की ऊर्जा और कार्बन को मापने या अनुमान लगाने की व्यावहारिक गाइड: टूल, सिस्टम सीमाएँ, प्रति-कार्य पैमाने और अनिश्चितता का ईमानदार हिसाब।

अच्छी प्रैक्टिस

काम के हिसाब से सही मॉडल चुनें

AI को सही आकार कैसे दें: छोटे या विशेष मॉडल कब चुनें, बड़ा फ्रंटियर मॉडल कब अपनी लागत वसूलता है, रूटिंग कैसे काम करती है और AI कब न इस्तेमाल करें।

लेख

वह गणित जो AI को ज़्यादा कुशल बनाता है

Pruning, sparsity, sketching, random matrix theory और भौतिकी-आधारित मॉडल: गणित AI के लिए ज़रूरी कंप्यूटिंग, मेमोरी और ऊर्जा को कैसे घटाता है।

अच्छी प्रैक्टिस

ग्रीन AI होस्टिंग और डेटा सेंटर

AI कहाँ चले, यह कैसे चुनें: ग्रिड की कार्बन तीव्रता, PUE और WUE, नवीकरणीय ऊर्जा के दावे, पानी का उपयोग और स्थान, साथ में होस्ट से पूछने के सवाल।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता