greenai.guide

होम › मैं कैसे…? › मैं किसी मॉडल को एज डिवाइस के लिए इतना छोटा कैसे बनाऊँ कि वह उस पर चल सके?

मैं कैसे…?

मैं किसी मॉडल को एज डिवाइस के लिए इतना छोटा कैसे बनाऊँ कि वह उस पर चल सके?

अपडेट किया गया · 2 मिनट में पढ़ें

संक्षेप में

उस सबसे छोटे मॉडल से शुरू करें जो आपके गुणवत्ता मानक पर खरा उतर सके, फिर distillation, quantisation और pruning से उसे और छोटा करें, और हर कदम को लक्षित डिवाइस पर परखें। असली हार्डवेयर पर प्रति inference ऊर्जा, latency और सटीकता एक साथ मापें, और बैटरी कम होने या डिवाइस गर्म होने पर मॉडल को हल्के स्तर पर जाने दें।

चरण

  1. लक्षित डिवाइस के लिए गुणवत्ता मानक और मेमोरी, latency व ऊर्जा का बजट तय करें।
  2. किसी बड़े सामान्य मॉडल को छोटा करने के बजाय छोटे या distilled मॉडल से शुरू करें।
  3. weights को 8 या 4 bit में quantise करें और अपने टेस्ट मामलों पर सटीकता जाँचें।
  4. कम योगदान देने वाले weights को prune करें, फिर डिवाइस पर दोबारा टेस्ट करें।
  5. असली हार्डवेयर पर प्रति inference ऊर्जा, latency और सटीकता एक साथ मापें।
  6. बैटरी कम होने या डिवाइस गर्म होने पर छोटे मॉडल या कम दर पर चले जाएँ।

छोटे शुरुआती मॉडल को distillation, quantisation और pruning के साथ जोड़ें, और हर कदम को डिवाइस पर ही परखें। एज डिवाइस में मेमोरी कम होती है और वे अक्सर बैटरी पर चलते हैं, इसलिए बहुत बड़ा मॉडल या तो फ़िट नहीं होगा या डिवाइस की बैटरी खत्म करके उसे धीमा (throttle) कर देगा। सही आकार का मतलब यह भी है कि डेटा क्लाउड पर भेजना ज़रूरी नहीं रहता।

कौन-सी तकनीकें मॉडल को सबसे ज़्यादा छोटा करती हैं?

  • Distillation एक छोटे "student" मॉडल को बड़े "teacher" मॉडल की नकल करना सिखाता है। DistilBERT, BERT से 40% छोटा और 60% तेज़ था, और उसकी भाषा समझने की 97% क्षमता बनाए रखता था।
  • Quantisation weights को कम bits में रखता है। Hugging Face के दस्तावेज़ उदाहरण देते हैं कि 8 अरब पैरामीटर वाले मॉडल के weights को 16-bit precision पर लगभग 16 GB, 8 bits पर लगभग 8 GB और 4 bits पर लगभग 4–5 GB चाहिए, सटीकता में कुछ कमी के साथ। देखें मॉडल को quantise कैसे करें।
  • Pruning उन weights को हटाता है जिनका आउटपुट पर लगभग कोई असर नहीं होता। देखें न्यूरल नेटवर्क को prune कैसे करें।

डिवाइस पर मॉडल को कैसा व्यवहार करना चाहिए?

Green Software Foundation का edge AI पैटर्न सुझाता है कि प्रति inference ऊर्जा, latency और सटीकता को एक साथ ट्रैक करें, और हालात के हिसाब से ढलें: बैटरी कम होने या डिवाइस गर्म होने पर छोटा मॉडल या कम बार inference।

आम गलतियाँ

  • सिर्फ़ लैपटॉप पर टेस्ट करना। एक्सेलरेटर, मेमोरी और गर्मी की सीमाएँ अलग होती हैं; लक्षित हार्डवेयर पर मापें।
  • गुणवत्ता मानक से नीचे तक छोटा कर देना। जो मॉडल नाकाम होकर बैकअप के तौर पर क्लाउड को कॉल करता है, वह जितना बचाता है उससे ज़्यादा खर्च करा सकता है।
  • लगातार inference चलाना। जहाँ संभव हो, हर frame या हर सेकंड के बजाय किसी घटना (event) पर इसे चलाएँ।

एज या क्लाउड में से कौन ज़्यादा ग्रीन है, यह मामले पर निर्भर है: देखें एज या क्लाउड और एज पर AI।

स्रोत

  1. Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
  2. Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
  3. Quantization overview, Hugging Face Transformers documentation (2026)
  4. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
मैं कैसे…?

मैं किसी मॉडल को quantise कैसे करूँ?

AI मॉडल को 8 या 4 bits में quantise कैसे करें: कौन-से टूल इस्तेमाल करें, गुणवत्ता कैसे परखें, और quantisation कब ऊर्जा बचाता है और कब नहीं।

मैं कैसे…?

मैं किसी बड़े मॉडल को डिस्टिल करके छोटा मॉडल कैसे बनाऊँ?

नॉलेज डिस्टिलेशन कैसे काम करता है: बड़े टीचर मॉडल से अपने काम के लिए छोटा स्टूडेंट मॉडल ट्रेन करें, उसे परखें और बड़े मॉडल को बैकअप रखें।

मैं कैसे…?

AI को अपने डिवाइस पर चलाऊँ या क्लाउड में, यह मैं कैसे तय करूँ?

ऊर्जा, निजता और गुणवत्ता के लिहाज़ से ऑन-डिवाइस (edge) AI और क्लाउड AI को कैसे तौलें, और किस तरह के काम किसके लिए उपयुक्त हैं, सबूतों की ईमानदार सीमाओं के साथ।

अच्छी प्रैक्टिस

एज या क्लाउड: AI कहाँ चलना चाहिए?

डिवाइस पर और एज AI को केंद्रीय डेटा सेंटरों के मुकाबले कैसे तौलें: ऊर्जा, नेटवर्क, हार्डवेयर, निजता और लचीलापन, और फ़ैसला करने का चरण-दर-चरण तरीका।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता