संक्षेप में
ट्रेनिंग और फ़ीचर डेटा को कॉलम-आधारित (columnar) फ़ॉर्मैट में स्टोर करें, ताकि जॉब सिर्फ़ वही कॉलम और पार्टिशन पढ़ें जिनका वे इस्तेमाल करते हैं, और कच्चे टेक्स्ट को हर रन या epoch पर दोबारा पार्स करने के बजाय एक बार बाइनरी फ़ॉर्मैट में बदल दें। बदलाव से पहले और बाद में एक सामान्य जॉब को मापें, ताकि पता चले कि बदलने की लागत वसूल होती है। मॉडल के मुकाबले डेटा संभालने को नज़रअंदाज़ करना आसान है, लेकिन यह हर प्रयोग में चलता है।
चरण
- ऐसी पाइपलाइन खोजें जो हर रन पर CSV या JSON जैसी टेक्स्ट फ़ाइलें पूरी पढ़ती हैं।
- उन्हें एक बार कॉलम-आधारित या बाइनरी फ़ॉर्मैट में बदलें।
- डेटा को उन फ़ील्ड के हिसाब से पार्टिशन करें जिन पर आप फ़िल्टर करते हैं, जैसे तारीख या स्रोत।
- एक बार प्रीप्रोसेस और टोकनाइज़ करें, और नतीजे को सभी रन और epoch में दोबारा इस्तेमाल करें।
- ट्रेनिंग से पहले दोहराया गया और इस्तेमाल न होने वाला डेटा हटा दें।
- बदलाव से पहले और बाद में एक सामान्य जॉब का समय और ऊर्जा मापें।
हर जॉब को सिर्फ़ वही पढ़ने दें जो वह इस्तेमाल करता है, और उसे सिर्फ़ एक बार पार्स करें। ट्रेनिंग डेटा अक्सर ऐसी टेक्स्ट फ़ाइलों में रहता है जो हर बार पूरी पढ़ी और पार्स की जाती हैं, भले ही मॉडल को कुछ ही कॉलम चाहिए हों।
यह क्यों मायने रखता है?
डेटा पढ़ने और पार्स करने में हर रन, हर epoch और हर प्रयोग पर CPU समय, मेमोरी और स्टोरेज ट्रैफ़िक लगता है। रिसर्च और डेवलपमेंट में, जहाँ एक ही डेटासेट सैकड़ों बार प्रोसेस होता है, यह जुड़ता जाता है। AI के लिए डेटा स्टोरेज फ़ॉर्मैट पर Green Software Foundation का पैटर्न कॉलम-आधारित फ़ॉर्मैट की सलाह देता है, ताकि जॉब सिर्फ़ ज़रूरी कॉलम और पार्टिशन पढ़ें, और टेक्स्ट को बार-बार पार्स करने के बजाय डेटा को एक बार बाइनरी फ़ॉर्मैट में बदलने की।
मुझे क्या बदलना चाहिए?
- कॉलम-आधारित फ़ॉर्मैट, जैसे Parquet, हर कॉलम अलग स्टोर करते हैं, इसलिए पचास में से पाँच कॉलम इस्तेमाल करने वाला जॉब मोटे तौर पर डेटा का दसवाँ हिस्सा पढ़ता है।
- पार्टिशनिंग, तारीख, स्रोत या लेबल के हिसाब से, जॉब को उन पूरी फ़ाइलों को छोड़ने देती है जिनकी उसे ज़रूरत नहीं।
- पहले से टोकनाइज़ किए गए डेटासेट हर epoch पर वही टेक्स्ट प्रोसेसिंग दोहराने से बचाते हैं।
- डुप्लिकेट हटाना डेटासेट को छोटा करता है, और उसके साथ ट्रेनिंग रन को भी।
आम गलतियाँ
- एक ही बार पढ़े जाने वाले डेटा को बदलना। बदलने की भी लागत है; यह बार-बार पढ़े जाने वाले डेटा के लिए ही वसूल होती है।
- हर बीच की कॉपी रखे रहना। पुराने प्रीप्रोसेस किए गए वर्ज़न स्टोरेज भरते हैं, जिसका अपना फ़ुटप्रिंट है।
- न मापना। बदलाव से पहले और बाद में एक सामान्य जॉब को CodeCarbon जैसे ट्रैकर में चलाएँ, या कम से कम उसका समय नापें।
मॉडल की तरफ़ की बचत के लिए देखें किसी मॉडल को ट्रेन करने की ऊर्जा कैसे कम करें।
स्रोत
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
संबंधित
मैं किसी मॉडल को ट्रेन करने में लगने वाली ऊर्जा कैसे कम करूँ?
ट्रेनिंग की ऊर्जा घटाने के मुख्य तरीके: पहले से ट्रेन मॉडल से शुरू करें, सही आकार चुनें, मिक्स्ड प्रिसिशन अपनाएँ, जल्दी रोकें, स्वच्छ जगह और समय चुनें, मापें।
मैं वेक्टर सर्च और RAG को ज़्यादा कुशल कैसे बनाऊँ?
retrieval-augmented generation की कंप्यूटिंग घटाने के तरीके: approximate इंडेक्स, कम और छोटे अंश, incremental indexing और छोटे मॉडल।
कुशल AI ट्रेनिंग और इन्फ़रेंस
डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।
मैं अपने कंप्यूटर या GPU पर AI की ऊर्जा खपत कैसे मापूँ?
स्थानीय AI की ऊर्जा हार्डवेयर काउंटर, GPU टेलीमेट्री या प्लग-इन मीटर से मापें, पूरे काम के दौरान रीडिंग लें, और idle बेसलाइन घटाएँ।