greenai.guide

होम › मैं कैसे…? › प्रोडक्शन में मॉडल चलाने (सर्विंग) की ऊर्जा मैं कैसे कम करूँ?

मैं कैसे…?

प्रोडक्शन में मॉडल चलाने (सर्विंग) की ऊर्जा मैं कैसे कम करूँ?

अपडेट किया गया · 2 मिनट में पढ़ें

संक्षेप में

वह सबसे छोटा मॉडल चलाएँ जो आपके मानक पर खरा उतरे, इन्फ़रेंस के लिए बने रनटाइम पर, बैचिंग चालू करके, वेट्स (weights) को हाफ़ प्रिसिज़न या क्वांटाइज़्ड रूप में रखकर, और लाइब्रेरी के ऑप्टिमाइज़्ड अटेंशन और कैश वाले रास्ते चालू करके। फिर अपने असली ट्रैफ़िक पर दो-तीन रनटाइम और हार्डवेयर विकल्पों का बेंचमार्क करें, और लेटेंसी के साथ-साथ प्रति अनुरोध ऊर्जा को देखकर चुनें।

चरण

  1. पक्का करें कि मॉडल वह सबसे छोटा मॉडल है जो आपके गुणवत्ता मानक पर खरा उतरता है।
  2. उसे ऐसे इन्फ़रेंस इंजन से चलाएँ जो लगातार बैचिंग (continuous batching) को सपोर्ट करता हो।
  3. वेट्स को हाफ़ प्रिसिज़न या किसी परखे हुए क्वांटाइज़्ड फ़ॉर्मेट में लोड करें।
  4. जहाँ आपकी लाइब्रेरी सपोर्ट करे, वहाँ कुशल अटेंशन और स्टैटिक की-वैल्यू कैश चालू करें।
  5. अपने असली बैच साइज़ पर दो-तीन रनटाइम और GPU प्रकारों का बेंचमार्क करें।
  6. ट्रैफ़िक कम होने पर क्षमता घटाएँ या शून्य तक ले जाएँ।

किसी मॉडल के जीवनकाल की ज़्यादातर ऊर्जा उसे चलाने (सर्विंग) में खर्च होती है, इसलिए सर्विंग की सेटिंग्स मायने रखती हैं। डिफ़ॉल्ट सेटिंग्स शायद ही कभी सबसे कुशल विकल्प होती हैं, और ऑप्टिमाइज़्ड रास्ते आम तौर पर खुद चालू करने पड़ते हैं।

सबसे बड़ा फ़र्क किस चीज़ से पड़ता है?

  1. बैचिंग। एक बार में एक ही अनुरोध संभालने वाला एक्सेलरेटर पूरा इस्तेमाल नहीं होता, फिर भी बिजली खींचता रहता है। Kwon और उनके सहयोगियों ने बताया कि पेज्ड की-वैल्यू कैश प्रबंधन वाले vLLM ने उसी लेटेंसी पर पहले के सिस्टमों से 2 से 4 गुना थ्रूपुट दिया। देखें AI अनुरोधों को बैच कैसे करें।
  2. प्रिसिज़न। हाफ़ प्रिसिज़न या कोई परखा हुआ क्वांटाइज़्ड मॉडल कम मेमोरी लेता है और अक्सर कम GPU में चल जाता है।
  3. ऑप्टिमाइज़्ड कोड पाथ। Hugging Face कुशल अटेंशन इम्प्लीमेंटेशन और torch.compile के साथ स्टैटिक की-वैल्यू कैश के बारे में बताता है, और उसके अनुसार इससे 4 गुना तक तेज़ी मिल सकती है।
  4. सबूत के आधार पर चुना गया रनटाइम और हार्डवेयर। Green Software Foundation कुशल फ़्रेमवर्क और इन्फ़रेंस रनटाइम चुनने की सलाह देता है; जिस चीज़ से मॉडल ट्रेन हुआ था उसे ही इस्तेमाल करने के बजाय उनका बेंचमार्क करें।

आम गलतियाँ

  • गति को ही ऊर्जा मान लेना। llama.cpp पर काम करने वाले GreenCode शोधकर्ताओं ने GPU ऊर्जा 4.7% घटाई, जबकि गति सिर्फ़ 3% बढ़ी: दोनों अलग-अलग कहानी बताते हैं। दोनों को मापें।
  • बैच साइज़ एक पर बेंचमार्क करना, जबकि प्रोडक्शन में कहीं ज़्यादा समवर्ती (concurrent) अनुरोध आते हैं, या इसका उल्टा।
  • रात भर रेप्लिका चालू छोड़ देना, ऐसे ट्रैफ़िक के लिए जो है ही नहीं। देखें GPU को खाली बैठे रहने से कैसे रोकें।
  • मापने से पहले कंपाइल किए गए मॉडलों को वॉर्म-अप न करना, जिससे आँकड़े बिगड़ जाते हैं।

पूरे टूलकिट के लिए पढ़ें कुशल ट्रेनिंग और इन्फ़रेंस।

स्रोत

  1. Optimizing inference, Hugging Face Transformers documentation (2026)
  2. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
  4. Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
मैं कैसे…?

ऊर्जा बचाने के लिए मैं AI अनुरोधों को batch में कैसे भेजूँ?

Batching कैसे एक्सेलरेटर का इस्तेमाल बढ़ाती है और हर जवाब की ऊर्जा घटाती है: लाइव ट्रैफ़िक के लिए continuous batching और ऑफ़लाइन काम के लिए कतार वाले batch।

मैं कैसे…?

मैं किसी मॉडल को quantise कैसे करूँ?

AI मॉडल को 8 या 4 bits में quantise कैसे करें: कौन-से टूल इस्तेमाल करें, गुणवत्ता कैसे परखें, और quantisation कब ऊर्जा बचाता है और कब नहीं।

मैं कैसे…?

मैं स्पेक्युलेटिव डिकोडिंग से बड़े मॉडल को तेज़ कैसे करूँ?

स्पेक्युलेटिव डिकोडिंग में एक छोटा ड्राफ़्ट मॉडल टोकन सुझाता है और बड़ा मॉडल उन्हें जाँचता है, जिससे बिल्कुल एक जैसे आउटपुट के साथ तेज़ जवाब मिलते हैं।

अच्छी प्रैक्टिस

कुशल AI ट्रेनिंग और इन्फ़रेंस

डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता