# ऊर्जा बचाने के लिए मैं AI अनुरोधों को batch में कैसे भेजूँ?

> Batching कैसे एक्सेलरेटर का इस्तेमाल बढ़ाती है और हर जवाब की ऊर्जा घटाती है: लाइव ट्रैफ़िक के लिए continuous batching और ऑफ़लाइन काम के लिए कतार वाले batch।

Source: https://greenai.guide/hi/कैसे/ऊर्जा-बचाने-के-लिए-मैं-ai-अनुरोधों-को-batch-में-कैसे-भेजूँ/  
Updated: 2026-11-19

## संक्षेप में

लाइव ट्रैफ़िक को ऐसे inference engine से चलाएँ जो continuous batching इस्तेमाल करता हो, ताकि एक साथ आने वाले अनुरोध एक्सेलरेटर साझा करें। जिस काम का जवाब तुरंत नहीं चाहिए, जैसे रात भर दस्तावेज़ों की प्रोसेसिंग, उसे कतार में रखें और बड़े batch में चलाएँ, बेहतर हो कि तब जब ग्रिड ज़्यादा साफ़ हो। एक बार में एक ही अनुरोध संभालने वाले एक्सेलरेटर का पूरा इस्तेमाल नहीं होता, फिर भी वह काफ़ी बिजली खींचता है।

## Steps

1. इंटरैक्टिव अनुरोधों को उस काम से अलग करें जो कुछ मिनट या घंटे इंतज़ार कर सकता है।
2. इंटरैक्टिव ट्रैफ़िक को ऐसे engine से चलाएँ जो continuous batching का समर्थन करता हो।
3. गैर-ज़रूरी काम को कतार में रखें और उसे batch में प्रोसेस करें।
4. होस्टेड मॉडलों के लिए, जहाँ उपलब्ध हो, अपने प्रोवाइडर का batch इंटरफ़ेस इस्तेमाल करें।
5. असली batch साइज़ पर प्रति अनुरोध ऊर्जा मापें, साथ में latency भी।

**Batching से हार्डवेयर का एक ही पास कई अनुरोधों को संभाल लेता है।** हर जवाब की ऊर्जा काफ़ी हद तक इस पर निर्भर करती
है कि एक्सेलरेटर कितना व्यस्त है।

## यह क्यों मायने रखता है? {#why-does-it-matter}

GPU कम लोड पर भी काफ़ी बिजली खींचते हैं, इसलिए एक-एक करके अनुरोध संभालने से वह बिजली बहुत कम जवाबों पर बँटती है।
Kwon और उनके सहयोगियों ने बताया कि continuous batching और paged key-value cache प्रबंधन वाले vLLM ने पहले के
सिस्टमों की तुलना में उसी latency पर throughput 2 से 4 गुना बढ़ाया। Hugging Face के inference दस्तावेज़ों में भी
continuous batching शामिल है।

## दो तरह की batching {#two-kinds-of-batching}

- **लाइव ट्रैफ़िक के लिए continuous batching।** जैसे-जैसे दूसरे अनुरोध पूरे होते हैं, serving engine नए अनुरोधों को
  चल रहे batch में जोड़ता जाता है, ताकि उपयोगकर्ताओं को batch भरने का इंतज़ार न करना पड़े। सरल
  एक-कॉल-एक-अनुरोध वाले लूप के बजाय ऐसा engine इस्तेमाल करें जो इसका समर्थन करता हो।
- **इंतज़ार कर सकने वाले काम के लिए ऑफ़लाइन batch।** कल के दस्तावेज़ों का सारांश बनाना, किसी आर्काइव को टैग करना या
  किसी डेटासेट को स्कोर करना, इन सबके लिए तुरंत जवाब नहीं चाहिए। इन्हें कतार में रखें और एक साथ प्रोसेस करें। Green
  Software Foundation सलाह देता है कि batch AI काम कम-कार्बन वाले क्षेत्रों और समयों में चलाए जाएँ, जहाँ latency
  कम अहम हो; देखें [ग्रिड ज़्यादा हरित होने पर काम कैसे शेड्यूल करें](/hi/कैसे/जब-बिजली-ग्रिड-ज़्यादा-स्वच्छ-हो-तब-मैं-ट्रेनिंग-कैसे-शेड्यूल-करूँ/)।

## आम गलतियाँ {#common-mistakes}

- **इतने बड़े batch कि** इंटरैक्टिव उपयोगकर्ताओं की latency बिगड़ जाए। असली ट्रैफ़िक पर ट्यून करें।
- **Padding की बर्बादी।** कुछ engines में बहुत छोटे और बहुत लंबे इनपुट को एक साथ रखने से गणना बर्बाद होती है।
- **काम के बीच batch सर्वर चालू छोड़ देना**; देखें [GPU को खाली बैठे रहने से कैसे रोकें](/hi/कैसे/मैं-gpu-और-नोटबुक-को-बेकार-चालू-पड़े-रहने-से-कैसे-रोकूँ/)।

और पढ़ें [कुशल ट्रेनिंग और inference](/hi/अच्छी-प्रथाएँ/कुशल-ai-ट्रेनिंग-और-इन्फ़रेंस/) में।

## स्रोत

- [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180), Kwon et al. (arXiv 2309.06180) (2023)
- [Optimizing inference](https://huggingface.co/docs/transformers/main/en/llm_optims), Hugging Face Transformers documentation (2026)
- [Use carbon-aware scheduling and region selection for AI workloads](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/carbon-aware-ai-scheduling.md), Green Software Foundation, Green Software Patterns (2025)
