संक्षेप में
अपने मुख्य प्रयोगों के लिए ज़रूरी GPU-घंटों का अनुमान लगाएँ, खोजबीन के लिए थोड़ा अतिरिक्त जोड़ें, और इस्तेमाल को पैसों की तरह उस बजट के मुकाबले ट्रैक करें। विचारों को छोटे स्तर पर परखें, कमज़ोर रन जल्दी रोकें, pre-trained मॉडल और चेकपॉइंट दोबारा इस्तेमाल करें, और नतीजों को उनमें लगे कंप्यूट के मुकाबले रिपोर्ट करें। बजट से फ़ायदे-नुकसान साफ़ दिखते हैं और अंतहीन ट्यूनिंग रुकती है।
चरण
- मुख्य प्रयोगों के GPU-घंटों का अनुमान लगाएँ और खोजबीन के लिए एक बताया गया अतिरिक्त हिस्सा जोड़ें।
- बड़ा करने से पहले विचारों को छाँटने के लिए छोटे स्तर के पायलट चलाएँ।
- हर प्रयोग के GPU-घंटे और ऊर्जा बजट के मुकाबले ट्रैक करें।
- बड़ी ग्रिड सर्च के बजाय कमज़ोर रन के लिए early stopping इस्तेमाल करें।
- जहाँ ठीक बैठें, pre-trained मॉडल और चेकपॉइंट दोबारा इस्तेमाल करें।
- नतीजे कंप्यूट के मुकाबले रिपोर्ट करें, जैसे प्रति kWh सटीकता।
पहले से तय करें कि प्रोजेक्ट कितनी कंप्यूटिंग इस्तेमाल कर सकता है, और उसे ट्रैक करें। बजट के बिना अतिरिक्त रन मुफ़्त लगते हैं, और सटीकता में छोटे सुधार की ऊर्जा को कभी उसके मुकाबले तौला नहीं जाता।
मैं बजट का अनुमान कैसे लगाऊँ?
अपनी योजना के प्रयोगों से शुरू करें: मॉडल का आकार, डेटा का आकार और रन की संख्या से मोटे तौर पर GPU-घंटे निकलते हैं। Lannelongue, Grealey और Inouye का Green Algorithms कैलकुलेटर हार्डवेयर, रन टाइम, मेमोरी और जगह को ऊर्जा और कार्बन के अनुमान में बदलता है, जिससे आप समझ पाते हैं कि बजट का मतलब क्या है। खोजबीन को खुला छोड़ने के बजाय उसके लिए एक साफ़ अतिरिक्त हिस्सा जोड़ें।
प्रोजेक्ट को बजट के अंदर क्या रखता है?
- पहले छोटे पायलट। छोटे मॉडल और डेटा के हिस्सों पर विचारों को छाँटें।
- कुशल सर्च। कमज़ोर रन जल्दी रोकें; देखें हाइपरपैरामीटर सर्च की ऊर्जा कैसे घटाएँ।
- दोबारा इस्तेमाल। pre-trained मॉडल और सेव किए गए चेकपॉइंट से शुरू करें; देखें शुरू से ट्रेनिंग से कैसे बचें।
- चुनें कि कहाँ और किस पर चलाते हैं। Patterson और सहयोगियों ने पाया कि मॉडल, डेटा सेंटर और प्रोसेसर का चुनाव ट्रेनिंग के कार्बन फ़ुटप्रिंट को लगभग 100 से 1,000 गुना तक कम कर सकता है।
आम गलतियाँ
- सिर्फ़ अंतिम रन का बजट बनाना। ज़्यादातर कंप्यूट आम तौर पर खोजबीन में जाता है।
- चेकपॉइंट न रखना, जिससे किसी गड़बड़ी का मतलब फिर से शुरू करना होता है।
- सिर्फ़ सबसे अच्छी सटीकता रिपोर्ट करना, जो ज़्यादा खर्च करने को इनाम देता है।
Lannelongue और सहयोगियों के GREENER सिद्धांत समूहों और संस्थानों के लिए एक ढाँचा देते हैं। देखें शोधकर्ताओं के लिए गाइड।
स्रोत
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
संबंधित
Hyperparameter search की ऊर्जा मैं कैसे घटाऊँ?
कम कंप्यूट में मॉडल ट्यून कैसे करें: पूरे grid की जगह समझदारी भरी search, कमज़ोर trials को जल्दी रोकना, छोटे pilot, अच्छे डिफ़ॉल्ट और एक बजट।
मैं अपने AI शोध की ऊर्जा खपत कैसे रिपोर्ट करूँ?
पेपर में कंप्यूट और ऊर्जा के बारे में क्या लिखें: हार्डवेयर, सभी रन के GPU-घंटे, ऊर्जा, जगह, कार्बन, इन्फ़रेंस की लागत और इस्तेमाल किया गया दायरा।
मैं रिसर्च क्लस्टर पर AI प्रयोगों का पर्यावरणीय असर कैसे कम करूँ?
HPC पर AI प्रयोगों की ऊर्जा घटाएँ: Slurm की ऊर्जा गणना देखें, उतना ही माँगें जितना इस्तेमाल हो, छोटे पायलट चलाएँ, चेकपॉइंट रखें और लचीले जॉब शेड्यूल करें।
शोधकर्ताओं के लिए ग्रीन AI
शोधकर्ताओं के लिए गाइड: कुशल AI तरीक़े, शोध-पत्रों में ऊर्जा का मापन और रिपोर्टिंग, कंप्यूट बजट, फ़ंडिंग, और गणित कहाँ मदद कर सकता है।