# मैं अनुरोधों को छोटे मॉडलों की ओर कैसे भेजूँ (मॉडल रूटिंग)?

> रोज़मर्रा के अनुरोध छोटे मॉडल को और सिर्फ़ कठिन अनुरोध बड़े मॉडल को कैसे भेजें, और राउटर को कैसे ट्यून करें ताकि दोबारा कोशिशें बचत न खा जाएँ।

Source: https://greenai.guide/hi/कैसे/मैं-अनुरोधों-को-छोटे-मॉडलों-की-ओर-कैसे-भेजूँ-मॉडल-रूटिंग/  
Updated: 2026-11-19

## संक्षेप में

अपने मॉडलों के आगे एक राउटर लगाएँ: कोई नियम, एक छोटा क्लासिफ़ायर, या एक कैस्केड जो पहले छोटे मॉडल को आज़माए और भरोसा कम होने या जाँच में नाकाम होने पर आगे बढ़ाए। प्रकाशित राउटरों ने कुछ परीक्षणों में गुणवत्ता घटाए बिना लागत आधे से भी ज़्यादा कम की है। सीमा (threshold) अपने डेटा पर ट्यून करें, और लागत प्रति कॉल नहीं, प्रति सफल काम मापें।

## Steps

1. असली अनुरोधों का एक इवैल्यूएशन सेट बनाएँ, हर एक के लिए पास होने का मानक तय करके।
2. मापें कि छोटा मॉडल अपने दम पर कितनी बार पास होता है।
3. राउटर का डिज़ाइन चुनें, जैसे नियम, कठिनाई क्लासिफ़ायर या जाँच वाला कैस्केड।
4. आगे बढ़ाने (escalation) की सीमा अपने इवैल्यूएशन सेट पर ट्यून करें।
5. प्रति सफल काम लागत और ऊर्जा ट्रैक करें, जिसमें escalation और दोबारा कोशिशें भी शामिल हों।
6. किसी भी मॉडल के बदलने पर दोबारा ट्यून करें।

**रूटिंग से आपको बड़े मॉडल की ज़्यादातर गुणवत्ता, छोटे मॉडल की लागत के काफ़ी करीब मिल जाती है।** विचार सीधा है: हर अनुरोध को उस
सबसे सस्ते मॉडल के पास भेजें जो शायद उसे अच्छी तरह संभाल लेगा।

## मुझे कौन-सा डिज़ाइन इस्तेमाल करना चाहिए? {#which-design-should-i-use}

- **नियम।** अनुरोध के प्रकार, लंबाई या चैनल के हिसाब से रूट करें। समझने में आसान, और अक्सर काफ़ी।
- **कठिनाई क्लासिफ़ायर।** एक छोटा मॉडल अनुमान लगाता है कि अनुरोध कितना कठिन है। Ding और सहयोगियों का Hybrid LLM काम इसी तरह
  सवालों को छोटे और बड़े मॉडल के बीच बाँटता है, लागत और गुणवत्ता का संतुलन रखते हुए।
- **कैस्केड।** पहले छोटा मॉडल आज़माएँ; अगर जाँच नाकाम हो या भरोसा कम हो, तो बड़े मॉडल को भेजें। Chen, Zaharia और Zou के FrugalGPT
  ने लागत घटाने के लिए ऐसे कैस्केड का अध्ययन किया।
- **सीखा हुआ (learned) राउटर।** इस आधार पर ट्रेन किया गया कि किस अनुरोध पर किस मॉडल ने अच्छा किया। RouteLLM अध्ययन ने कुछ मामलों
  में जवाबों की गुणवत्ता घटाए बिना लागत में आधे से ज़्यादा कमी बताई।

## आम गलतियाँ {#common-mistakes}

- **प्रति कॉल मापना।** छोटे मॉडल की एक नाकाम कोशिश और फिर बड़े मॉडल पर दोबारा कोशिश की लागत, सीधे बड़े मॉडल के पास जाने से ज़्यादा
  हो सकती है। गणितज्ञों, कंप्यूटर वैज्ञानिकों और उद्योग के लोगों के 2026 के एक UK ग्रीन AI सैंडपिट (गहन चर्चा कार्यशाला) ने इसे
  एजेंटिक सिस्टम में एक असली जोखिम बताया। प्रति सफल काम मापें।
- **चुनाव उपयोगकर्ताओं पर छोड़ना।** रूटिंग को सिस्टम में रखें, किसी ड्रॉप-डाउन में नहीं जिसे ज़्यादातर लोग नज़रअंदाज़ कर देते हैं।
- **सेट करके भूल जाना।** escalation की दरें लॉग करें और मॉडल बदलने पर दोबारा देखें।

## सबसे बड़ा फ़र्क़ किससे पड़ता है? {#what-makes-the-biggest-difference}

**एक अच्छा इवैल्यूएशन सेट।** असली उदाहरणों और पास होने के मानक के बिना, आप न सीमा ट्यून कर सकते हैं, न बचत साबित कर सकते हैं।
इसे बनाने का तरीका जानने के लिए पढ़ें [सही मॉडल चुनें](/hi/अच्छी-प्रथाएँ/काम-के-हिसाब-से-सही-मॉडल-चुनें/)।

## स्रोत

- [RouteLLM: learning to route LLMs with preference data](https://arxiv.org/abs/2406.18665), Ong et al., ICLR 2025 (2024)
- [FrugalGPT: how to use large language models while reducing cost and improving performance](https://arxiv.org/abs/2305.05176), Chen, Zaharia and Zou, Transactions on Machine Learning Research (2023)
- [Hybrid LLM: cost-efficient and quality-aware query routing](https://arxiv.org/abs/2404.14618), Ding et al., ICLR (2024)
