संक्षेप में
बड़ी grid search की जगह random या adaptive search इस्तेमाल करें, कमज़ोर trials को जल्दी रोकें, पहले छोटे डेटा या छोटे मॉडलों पर pilot चलाएँ, और अपने आर्किटेक्चर के लिए प्रकाशित डिफ़ॉल्ट से शुरू करें। सिर्फ़ विजेता की नहीं, हर trial की ऊर्जा ट्रैक करें, और शुरू करने से पहले कंप्यूट बजट तय करें। ट्यूनिंग रन अक्सर अंतिम ट्रेनिंग रन से ज़्यादा महँगे पड़ते हैं, और उनकी रिपोर्ट शायद ही कभी की जाती है।
चरण
- शुरू करने से पहले search के लिए कंप्यूट बजट तय करें।
- अपने मॉडल परिवार के लिए प्रकाशित डिफ़ॉल्ट hyperparameters से शुरू करें।
- पूरे grid की जगह random या adaptive search इस्तेमाल करें।
- जब trials अब तक के सबसे अच्छे से साफ़ तौर पर खराब हों, तो उन्हें जल्दी रोक दें।
- बड़े पैमाने पर जाने से पहले डेटा के एक हिस्से या छोटे मॉडल पर pilot चलाएँ।
- हर trial के लिए सटीकता के साथ ऊर्जा और उत्सर्जन दर्ज करें।
ज़्यादा फैलाकर नहीं, समझदारी से ट्यून करें। कई hyperparameters पर पूरा grid ट्रेनिंग की लागत को combinations की संख्या से गुणा कर देता है, और इनमें से ज़्यादातर रन शुरुआत में ही साफ़ तौर पर खराब होते हैं।
यह क्यों मायने रखता है?
Strubell, Ganesh और McCallum के 2019 के पेपर ने भाषा मॉडल विकसित करने की लागत का आकलन किया, जिसमें उनके आसपास के प्रयोग भी शामिल थे, सिर्फ़ एक अंतिम ट्रेनिंग रन नहीं। Schwartz और उनके सहयोगियों के "Green AI" ने तर्क दिया कि शोधकर्ताओं को अपने नतीजों की कंप्यूटेशनल लागत बतानी चाहिए, जिसमें वहाँ तक पहुँचने के लिए किए गए प्रयोग भी शामिल हों, ताकि सटीकता के साथ दक्षता को भी महत्व मिले।
सबसे बड़ा फ़र्क किससे पड़ता है?
- कमज़ोर trials को जल्दी रोकना। Successive-halving जैसे तरीके हर trial को छोटा बजट देते हैं और सिर्फ़ उम्मीद भरे trials को आगे बढ़ाते हैं। ज़्यादातर ट्यूनिंग लाइब्रेरी इसका समर्थन करती हैं।
- Random या adaptive search। हर combination चलाने के बजाय सेटिंग्स को random रूप से चुनें, या किसी adaptive तरीके को पहले के नतीजों के आधार पर अगला trial चुनने दें।
- छोटे pilot। डेटा के एक हिस्से या छोटे मॉडल पर विचारों को ख़ारिज करें।
- पहले डिफ़ॉल्ट। आम आर्किटेक्चर के लिए अच्छी तरह परखे गए डिफ़ॉल्ट अक्सर सबसे अच्छे के करीब होते हैं।
- हर trial को ट्रैक करें। CodeCarbon के दस्तावेज़ दिखाते हैं कि हर configuration को कैसे ट्रैक करें और सटीकता की तुलना उत्सर्जन से कैसे करें।
आम गलतियाँ
- सिर्फ़ सबसे अच्छे रन की रिपोर्ट करना। अपने कुल कंप्यूट में सभी trials शामिल करें; देखें अपने शोध की ऊर्जा खपत की रिपोर्ट कैसे करें।
- पहले दिन से पूरे डेटासेट पर ट्यूनिंग करना।
- कोई बजट न होना। बजट के बिना searches पूरे cluster को भरने तक फैल जाती हैं। देखें कंप्यूट बजट कैसे तय करें।
और जानकारी के लिए पढ़ें शोधकर्ताओं के लिए गाइड।
स्रोत
- Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
- Green AI, Schwartz, Dodge, Smith and Etzioni, Communications of the ACM (2020)
- Comparing model efficiency with carbon tracking, CodeCarbon documentation (2025)
संबंधित
मैं किसी रिसर्च प्रोजेक्ट के लिए कंप्यूट बजट कैसे तय करूँ?
AI शोध के लिए कंप्यूट बजट तय करें और ट्रैक करें: GPU-घंटों का अनुमान लगाएँ, छोटे पायलट चलाएँ, कमज़ोर रन जल्दी रोकें, मॉडल दोबारा इस्तेमाल करें और कंप्यूट के मुकाबले नतीजे बताएँ।
मैं किसी मॉडल को ट्रेन करने में लगने वाली ऊर्जा कैसे कम करूँ?
ट्रेनिंग की ऊर्जा घटाने के मुख्य तरीके: पहले से ट्रेन मॉडल से शुरू करें, सही आकार चुनें, मिक्स्ड प्रिसिशन अपनाएँ, जल्दी रोकें, स्वच्छ जगह और समय चुनें, मापें।
मैं अपने AI शोध की ऊर्जा खपत कैसे रिपोर्ट करूँ?
पेपर में कंप्यूट और ऊर्जा के बारे में क्या लिखें: हार्डवेयर, सभी रन के GPU-घंटे, ऊर्जा, जगह, कार्बन, इन्फ़रेंस की लागत और इस्तेमाल किया गया दायरा।
शोधकर्ताओं के लिए ग्रीन AI
शोधकर्ताओं के लिए गाइड: कुशल AI तरीक़े, शोध-पत्रों में ऊर्जा का मापन और रिपोर्टिंग, कंप्यूट बजट, फ़ंडिंग, और गणित कहाँ मदद कर सकता है।