greenai.guide

होम › मैं कैसे…? › मैं किसी मॉडल को ट्रेन करने में लगने वाली ऊर्जा कैसे कम करूँ?

मैं कैसे…?

मैं किसी मॉडल को ट्रेन करने में लगने वाली ऊर्जा कैसे कम करूँ?

अपडेट किया गया · 3 मिनट में पढ़ें

संक्षेप में

जहाँ हो सके, पहले से ट्रेन किए गए (pre-trained) मॉडल से शुरू करें, वह सबसे छोटा आर्किटेक्चर चुनें जो आपके मानक पर खरा उतर सके, मिक्स्ड प्रिसिशन में ट्रेन करें, वैलिडेशन में सुधार रुकते ही रुक जाएँ, और कम कार्बन वाले क्षेत्र और समय में कुशल हार्डवेयर पर चलाएँ। Patterson और सहयोगियों ने पाया कि मॉडल, डेटा सेंटर और प्रोसेसर का चुनाव ट्रेनिंग के कार्बन फ़ुटप्रिंट को लगभग 100 से 1,000 गुना तक कम कर सकता है। हर रन को मापें ताकि फ़ायदे-नुकसान साफ़ दिखें।

चरण

  1. देखें कि शुरू से ट्रेन करने के बजाय किसी pre-trained मॉडल को फ़ाइन-ट्यून किया जा सकता है या नहीं।
  2. पूरा रन शुरू करने से पहले विचारों को छोटे स्तर पर परखें।
  3. मिक्स्ड प्रिसिशन में ट्रेन करें और वैलिडेशन में सुधार रुकते ही जल्दी रोक दें।
  4. कम कार्बन वाले क्षेत्र में कुशल एक्सेलरेटर पर चलाएँ, और लचीले रन ज़्यादा स्वच्छ घंटों के लिए शेड्यूल करें।
  5. चेकपॉइंट सेव करें ताकि रन रुक सकें, फिर से चल सकें और शुरू से न करने पड़ें।
  6. हर रन की ऊर्जा और उत्सर्जन ट्रैक करें, नाकाम रन भी।

ट्रेनिंग की ऊर्जा ज़्यादातर रन शुरू होने से पहले लिए गए फ़ैसलों से तय होती है। आप क्या ट्रेन करते हैं, किस पर, कहाँ और कब, यह रन के दौरान किसी भी छोटे बदलाव से ज़्यादा मायने रखता है।

यह क्यों मायने रखता है?

Strubell, Ganesh और McCallum के 2019 के पेपर ने भाषा मॉडल ट्रेन करने की आर्थिक और पर्यावरणीय लागत को आँका और उसे घटाने के तरीके सुझाए। बाद में Patterson और सहयोगियों ने पाया कि मॉडल आर्किटेक्चर, डेटा सेंटर और प्रोसेसर का चुनाव ट्रेनिंग के कार्बन फ़ुटप्रिंट को लगभग 100 से 1,000 गुना तक कम कर सकता है।

सबसे बड़ा फ़र्क़ किससे पड़ता है?

  1. शुरू से ट्रेन न करना। किसी pre-trained मॉडल को, या उस पर एक एडैप्टर को, फ़ाइन-ट्यून करने में आम तौर पर प्री-ट्रेनिंग की लागत का बहुत छोटा हिस्सा लगता है। देखें शुरू से ट्रेनिंग से कैसे बचें।
  2. सही आकार। मानक पर खरा उतरने वाला छोटा आर्किटेक्चर, उससे आगे निकल जाने वाले बड़े आर्किटेक्चर से बेहतर है।
  3. मिक्स्ड प्रिसिशन। Micikevicius और सहयोगियों के काम में, पूर्ण-प्रिसिशन वाली मास्टर कॉपी के साथ हाफ़ प्रिसिशन में ट्रेनिंग ने मेमोरी का इस्तेमाल लगभग आधा कर दिया, जिससे उसी हार्डवेयर पर बड़े बैच आ सके।
  4. जल्दी रोकना। जब वैलिडेशन लॉस स्थिर हो जाए, तो रन खत्म कर दें।
  5. कहाँ और कब। कुशल एक्सेलरेटर और कम कार्बन वाला क्षेत्र चुनें, और लचीले जॉब तब चलाएँ जब ग्रिड ज़्यादा स्वच्छ हो: देखें ट्रेनिंग कैसे शेड्यूल करें।

आम गलतियाँ

  • सिर्फ़ अंतिम रन गिनना। ट्यूनिंग और नाकाम रन की लागत अक्सर ज़्यादा होती है; देखें हाइपरपैरामीटर सर्च की ऊर्जा कैसे घटाएँ।
  • चेकपॉइंट न रखना, जिससे कोई रुकावट आने पर शुरू से करना पड़ता है।
  • कोई माप नहीं। ट्रेनिंग स्क्रिप्ट में CodeCarbon जैसा ट्रैकर लगाएँ।

पूरे टूलकिट के लिए पढ़ें कुशल ट्रेनिंग और इन्फ़रेंस।

स्रोत

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)
अच्छी प्रैक्टिस

कुशल AI ट्रेनिंग और इन्फ़रेंस

डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।

मैं कैसे…?

बिना शुरू से ट्रेनिंग किए मैं अपना AI मॉडल कैसे बनाऊँ?

अपना मॉडल शुरू से pre-train करने के बजाय मौजूदा मॉडल दोबारा कैसे इस्तेमाल करें: फ़ाइन-ट्यून करें, LoRA से ढालें, फ़ाइन-ट्यून मॉडल मिलाएँ या retrieval से ज्ञान जोड़ें।

मैं कैसे…?

जब बिजली ग्रिड ज़्यादा स्वच्छ हो, तब मैं ट्रेनिंग कैसे शेड्यूल करूँ?

ग्रिड की कार्बन तीव्रता कम होने पर ट्रेनिंग और बैच AI जॉब चलाएँ: पूर्वानुमान इस्तेमाल करें, चेकपॉइंट से जॉब को रोकने लायक बनाएँ, और समय-सीमा को पक्की सीमा रखें।

मैं कैसे…?

मैं किसी मॉडल की ट्रेनिंग का कार्बन फ़ुटप्रिंट कैसे मापूँ?

CodeCarbon जैसे टूल से ट्रेनिंग रन की ऊर्जा ट्रैक करें, उसे स्थानीय ग्रिड की कार्बन तीव्रता से गुणा करें, और हार्डवेयर, समय और जगह बताएँ।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता