# प्रोडक्शन में मॉडल चलाने (सर्विंग) की ऊर्जा मैं कैसे कम करूँ?

> खुद होस्ट किए गए मॉडल को प्रति अनुरोध कम ऊर्जा में कैसे चलाएँ: कुशल रनटाइम, बैचिंग, हाफ़ प्रिसिज़न, कंपाइल्ड कैश और परखा हुआ हार्डवेयर।

Source: https://greenai.guide/hi/कैसे/प्रोडक्शन-में-मॉडल-चलाने-सर्विंग-की-ऊर्जा-मैं-कैसे-कम-करूँ/  
Updated: 2026-11-19

## संक्षेप में

वह सबसे छोटा मॉडल चलाएँ जो आपके मानक पर खरा उतरे, इन्फ़रेंस के लिए बने रनटाइम पर, बैचिंग चालू करके, वेट्स (weights) को हाफ़ प्रिसिज़न या क्वांटाइज़्ड रूप में रखकर, और लाइब्रेरी के ऑप्टिमाइज़्ड अटेंशन और कैश वाले रास्ते चालू करके। फिर अपने असली ट्रैफ़िक पर दो-तीन रनटाइम और हार्डवेयर विकल्पों का बेंचमार्क करें, और लेटेंसी के साथ-साथ प्रति अनुरोध ऊर्जा को देखकर चुनें।

## Steps

1. पक्का करें कि मॉडल वह सबसे छोटा मॉडल है जो आपके गुणवत्ता मानक पर खरा उतरता है।
2. उसे ऐसे इन्फ़रेंस इंजन से चलाएँ जो लगातार बैचिंग (continuous batching) को सपोर्ट करता हो।
3. वेट्स को हाफ़ प्रिसिज़न या किसी परखे हुए क्वांटाइज़्ड फ़ॉर्मेट में लोड करें।
4. जहाँ आपकी लाइब्रेरी सपोर्ट करे, वहाँ कुशल अटेंशन और स्टैटिक की-वैल्यू कैश चालू करें।
5. अपने असली बैच साइज़ पर दो-तीन रनटाइम और GPU प्रकारों का बेंचमार्क करें।
6. ट्रैफ़िक कम होने पर क्षमता घटाएँ या शून्य तक ले जाएँ।

**किसी मॉडल के जीवनकाल की ज़्यादातर ऊर्जा उसे चलाने (सर्विंग) में खर्च होती है, इसलिए सर्विंग की सेटिंग्स मायने रखती हैं।**
डिफ़ॉल्ट सेटिंग्स शायद ही कभी सबसे कुशल विकल्प होती हैं, और ऑप्टिमाइज़्ड रास्ते आम तौर पर खुद चालू करने पड़ते हैं।

## सबसे बड़ा फ़र्क किस चीज़ से पड़ता है? {#what-makes-the-biggest-difference}

1. **बैचिंग।** एक बार में एक ही अनुरोध संभालने वाला एक्सेलरेटर पूरा इस्तेमाल नहीं होता, फिर भी बिजली खींचता रहता है। Kwon और
   उनके सहयोगियों ने बताया कि पेज्ड की-वैल्यू कैश प्रबंधन वाले vLLM ने उसी लेटेंसी पर पहले के सिस्टमों से 2 से 4 गुना
   थ्रूपुट दिया। देखें [AI अनुरोधों को बैच कैसे करें](/hi/कैसे/ऊर्जा-बचाने-के-लिए-मैं-ai-अनुरोधों-को-batch-में-कैसे-भेजूँ/)।
2. **प्रिसिज़न।** हाफ़ प्रिसिज़न या कोई परखा हुआ [क्वांटाइज़्ड](/hi/कैसे/मैं-किसी-मॉडल-को-quantise-कैसे-करूँ/) मॉडल कम मेमोरी लेता है और
   अक्सर कम GPU में चल जाता है।
3. **ऑप्टिमाइज़्ड कोड पाथ।** Hugging Face कुशल अटेंशन इम्प्लीमेंटेशन और `torch.compile` के साथ स्टैटिक की-वैल्यू
   कैश के बारे में बताता है, और उसके अनुसार इससे 4 गुना तक तेज़ी मिल सकती है।
4. **सबूत के आधार पर चुना गया रनटाइम और हार्डवेयर।** Green Software Foundation कुशल फ़्रेमवर्क और इन्फ़रेंस
   रनटाइम चुनने की सलाह देता है; जिस चीज़ से मॉडल ट्रेन हुआ था उसे ही इस्तेमाल करने के बजाय उनका बेंचमार्क करें।

## आम गलतियाँ {#common-mistakes}

- **गति को ही ऊर्जा मान लेना।** llama.cpp पर काम करने वाले GreenCode शोधकर्ताओं ने GPU ऊर्जा 4.7% घटाई, जबकि गति सिर्फ़
  3% बढ़ी: दोनों अलग-अलग कहानी बताते हैं। दोनों को मापें।
- **बैच साइज़ एक पर बेंचमार्क करना**, जबकि प्रोडक्शन में कहीं ज़्यादा समवर्ती (concurrent) अनुरोध आते हैं, या इसका उल्टा।
- **रात भर रेप्लिका चालू छोड़ देना**, ऐसे ट्रैफ़िक के लिए जो है ही नहीं। देखें
  [GPU को खाली बैठे रहने से कैसे रोकें](/hi/कैसे/मैं-gpu-और-नोटबुक-को-बेकार-चालू-पड़े-रहने-से-कैसे-रोकूँ/)।
- **मापने से पहले कंपाइल किए गए मॉडलों को वॉर्म-अप न करना**, जिससे आँकड़े बिगड़ जाते हैं।

पूरे टूलकिट के लिए पढ़ें [कुशल ट्रेनिंग और इन्फ़रेंस](/hi/अच्छी-प्रथाएँ/कुशल-ai-ट्रेनिंग-और-इन्फ़रेंस/)।

## स्रोत

- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [GreenCode Constitution: agent principles for optimizing code and LLM inference energy use](https://greencode.ai/publications/greencode-constitution-agent-principles-for-optimizing-code-and-llm-inference-en/), Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- [Green Software Patterns: select efficient ML frameworks and inference runtimes](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/development/select-efficient-ml-frameworks-inference-runtimes.md), Green Software Foundation (2025)
