संक्षेप में
लाइव ट्रैफ़िक को ऐसे inference engine से चलाएँ जो continuous batching इस्तेमाल करता हो, ताकि एक साथ आने वाले अनुरोध एक्सेलरेटर साझा करें। जिस काम का जवाब तुरंत नहीं चाहिए, जैसे रात भर दस्तावेज़ों की प्रोसेसिंग, उसे कतार में रखें और बड़े batch में चलाएँ, बेहतर हो कि तब जब ग्रिड ज़्यादा साफ़ हो। एक बार में एक ही अनुरोध संभालने वाले एक्सेलरेटर का पूरा इस्तेमाल नहीं होता, फिर भी वह काफ़ी बिजली खींचता है।
चरण
- इंटरैक्टिव अनुरोधों को उस काम से अलग करें जो कुछ मिनट या घंटे इंतज़ार कर सकता है।
- इंटरैक्टिव ट्रैफ़िक को ऐसे engine से चलाएँ जो continuous batching का समर्थन करता हो।
- गैर-ज़रूरी काम को कतार में रखें और उसे batch में प्रोसेस करें।
- होस्टेड मॉडलों के लिए, जहाँ उपलब्ध हो, अपने प्रोवाइडर का batch इंटरफ़ेस इस्तेमाल करें।
- असली batch साइज़ पर प्रति अनुरोध ऊर्जा मापें, साथ में latency भी।
Batching से हार्डवेयर का एक ही पास कई अनुरोधों को संभाल लेता है। हर जवाब की ऊर्जा काफ़ी हद तक इस पर निर्भर करती है कि एक्सेलरेटर कितना व्यस्त है।
यह क्यों मायने रखता है?
GPU कम लोड पर भी काफ़ी बिजली खींचते हैं, इसलिए एक-एक करके अनुरोध संभालने से वह बिजली बहुत कम जवाबों पर बँटती है। Kwon और उनके सहयोगियों ने बताया कि continuous batching और paged key-value cache प्रबंधन वाले vLLM ने पहले के सिस्टमों की तुलना में उसी latency पर throughput 2 से 4 गुना बढ़ाया। Hugging Face के inference दस्तावेज़ों में भी continuous batching शामिल है।
दो तरह की batching
- लाइव ट्रैफ़िक के लिए continuous batching। जैसे-जैसे दूसरे अनुरोध पूरे होते हैं, serving engine नए अनुरोधों को चल रहे batch में जोड़ता जाता है, ताकि उपयोगकर्ताओं को batch भरने का इंतज़ार न करना पड़े। सरल एक-कॉल-एक-अनुरोध वाले लूप के बजाय ऐसा engine इस्तेमाल करें जो इसका समर्थन करता हो।
- इंतज़ार कर सकने वाले काम के लिए ऑफ़लाइन batch। कल के दस्तावेज़ों का सारांश बनाना, किसी आर्काइव को टैग करना या किसी डेटासेट को स्कोर करना, इन सबके लिए तुरंत जवाब नहीं चाहिए। इन्हें कतार में रखें और एक साथ प्रोसेस करें। Green Software Foundation सलाह देता है कि batch AI काम कम-कार्बन वाले क्षेत्रों और समयों में चलाए जाएँ, जहाँ latency कम अहम हो; देखें ग्रिड ज़्यादा हरित होने पर काम कैसे शेड्यूल करें।
आम गलतियाँ
- इतने बड़े batch कि इंटरैक्टिव उपयोगकर्ताओं की latency बिगड़ जाए। असली ट्रैफ़िक पर ट्यून करें।
- Padding की बर्बादी। कुछ engines में बहुत छोटे और बहुत लंबे इनपुट को एक साथ रखने से गणना बर्बाद होती है।
- काम के बीच batch सर्वर चालू छोड़ देना; देखें GPU को खाली बैठे रहने से कैसे रोकें।
और पढ़ें कुशल ट्रेनिंग और inference में।
स्रोत
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
संबंधित
प्रोडक्शन में मॉडल चलाने (सर्विंग) की ऊर्जा मैं कैसे कम करूँ?
खुद होस्ट किए गए मॉडल को प्रति अनुरोध कम ऊर्जा में कैसे चलाएँ: कुशल रनटाइम, बैचिंग, हाफ़ प्रिसिज़न, कंपाइल्ड कैश और परखा हुआ हार्डवेयर।
जब बिजली ग्रिड ज़्यादा स्वच्छ हो, तब मैं ट्रेनिंग कैसे शेड्यूल करूँ?
ग्रिड की कार्बन तीव्रता कम होने पर ट्रेनिंग और बैच AI जॉब चलाएँ: पूर्वानुमान इस्तेमाल करें, चेकपॉइंट से जॉब को रोकने लायक बनाएँ, और समय-सीमा को पक्की सीमा रखें।
कुशल AI ट्रेनिंग और इन्फ़रेंस
डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।
मैं GPU और नोटबुक को बेकार चालू पड़े रहने से कैसे रोकूँ?
बेकार पड़े AI हार्डवेयर से ऊर्जा की बर्बादी रोकें: ज़रूरत पर ही संसाधन चालू करें, खाली नोटबुक अपने आप बंद करें, काम के घंटों के बाद शून्य तक घटाएँ और खाली GPU-घंटे रिपोर्ट करें।