# मैं किसी मॉडल को एज डिवाइस के लिए इतना छोटा कैसे बनाऊँ कि वह उस पर चल सके?

> फ़ोन, सेंसर और embedded बोर्ड के लिए मॉडल छोटा करें: छोटे से शुरू करें, distil, quantise और prune करें, फिर असली डिवाइस पर सटीकता और ऊर्जा जाँचें।

Source: https://greenai.guide/hi/कैसे/मैं-किसी-मॉडल-को-एज-डिवाइस-के-लिए-इतना-छोटा-कैसे-बनाऊँ-कि-वह-उस-पर-चल/  
Updated: 2026-11-19

## संक्षेप में

उस सबसे छोटे मॉडल से शुरू करें जो आपके गुणवत्ता मानक पर खरा उतर सके, फिर distillation, quantisation और pruning से उसे और छोटा करें, और हर कदम को लक्षित डिवाइस पर परखें। असली हार्डवेयर पर प्रति inference ऊर्जा, latency और सटीकता एक साथ मापें, और बैटरी कम होने या डिवाइस गर्म होने पर मॉडल को हल्के स्तर पर जाने दें।

## Steps

1. लक्षित डिवाइस के लिए गुणवत्ता मानक और मेमोरी, latency व ऊर्जा का बजट तय करें।
2. किसी बड़े सामान्य मॉडल को छोटा करने के बजाय छोटे या distilled मॉडल से शुरू करें।
3. weights को 8 या 4 bit में quantise करें और अपने टेस्ट मामलों पर सटीकता जाँचें।
4. कम योगदान देने वाले weights को prune करें, फिर डिवाइस पर दोबारा टेस्ट करें।
5. असली हार्डवेयर पर प्रति inference ऊर्जा, latency और सटीकता एक साथ मापें।
6. बैटरी कम होने या डिवाइस गर्म होने पर छोटे मॉडल या कम दर पर चले जाएँ।

**छोटे शुरुआती मॉडल को distillation, quantisation और pruning के साथ जोड़ें, और हर कदम को डिवाइस पर ही परखें।** एज
डिवाइस में मेमोरी कम होती है और वे अक्सर बैटरी पर चलते हैं, इसलिए बहुत बड़ा मॉडल या तो फ़िट नहीं होगा या डिवाइस की
बैटरी खत्म करके उसे धीमा (throttle) कर देगा। सही आकार का मतलब यह भी है कि डेटा क्लाउड पर भेजना ज़रूरी नहीं रहता।

## कौन-सी तकनीकें मॉडल को सबसे ज़्यादा छोटा करती हैं? {#which-techniques-shrink-a-model-most}

- **Distillation** एक छोटे "student" मॉडल को बड़े "teacher" मॉडल की नकल करना सिखाता है। DistilBERT, BERT से 40% छोटा
  और 60% तेज़ था, और उसकी भाषा समझने की 97% क्षमता बनाए रखता था।
- **Quantisation** weights को कम bits में रखता है। Hugging Face के दस्तावेज़ उदाहरण देते हैं कि 8 अरब पैरामीटर वाले
  मॉडल के weights को 16-bit precision पर लगभग 16 GB, 8 bits पर लगभग 8 GB और 4 bits पर लगभग 4–5 GB चाहिए, सटीकता
  में कुछ कमी के साथ। देखें [मॉडल को quantise कैसे करें](/hi/कैसे/मैं-किसी-मॉडल-को-quantise-कैसे-करूँ/)।
- **Pruning** उन weights को हटाता है जिनका आउटपुट पर लगभग कोई असर नहीं होता। देखें [न्यूरल नेटवर्क को prune कैसे करें](/hi/कैसे/मैं-किसी-न्यूरल-नेटवर्क-को-prune-कैसे-करूँ/)।

## डिवाइस पर मॉडल को कैसा व्यवहार करना चाहिए? {#how-should-the-model-behave-on-the-device}

Green Software Foundation का edge AI पैटर्न सुझाता है कि प्रति inference ऊर्जा, latency और सटीकता को एक साथ ट्रैक करें,
और हालात के हिसाब से ढलें: बैटरी कम होने या डिवाइस गर्म होने पर छोटा मॉडल या कम बार inference।

## आम गलतियाँ {#common-mistakes}

- **सिर्फ़ लैपटॉप पर टेस्ट करना।** एक्सेलरेटर, मेमोरी और गर्मी की सीमाएँ अलग होती हैं; लक्षित हार्डवेयर पर मापें।
- **गुणवत्ता मानक से नीचे तक छोटा कर देना।** जो मॉडल नाकाम होकर बैकअप के तौर पर क्लाउड को कॉल करता है, वह जितना बचाता
  है उससे ज़्यादा खर्च करा सकता है।
- **लगातार inference चलाना।** जहाँ संभव हो, हर frame या हर सेकंड के बजाय किसी घटना (event) पर इसे चलाएँ।

एज या क्लाउड में से कौन ज़्यादा ग्रीन है, यह मामले पर निर्भर है: देखें [एज या क्लाउड](/hi/अच्छी-प्रथाएँ/एज-या-क्लाउड-ai-कहाँ-चलना-चाहिए/) और
[एज पर AI](/hi/लेख/एज-पर-ai-ज़्यादा-हरित-या-बस-कम-दिखाई-देने-वाला/)।

## स्रोत

- [Optimize power consumption for edge AI inference](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/operations/optimize-edge-ai-power-performance.md), Green Software Foundation, Green Software Patterns (2025)
- [Run AI models at the edge](https://github.com/Green-Software-Foundation/patterns/blob/main/docs/architecture/system-topology/run-ai-models-edge.md), Green Software Foundation, Green Software Patterns (2025)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [DistilBERT, a distilled version of BERT](https://arxiv.org/abs/1910.01108), Sanh et al. (arXiv 1910.01108) (2019)
