# मैं AI मॉडल को अपने कंप्यूटर पर लोकल कैसे चलाऊँ?

> Ollama या llama.cpp जैसे टूल से किसी ओपन AI मॉडल को अपने लैपटॉप या सर्वर पर कैसे चलाएँ, फ़िट होने वाला क्वांटाइज़्ड मॉडल कैसे चुनें और उसकी ऊर्जा कैसे मापें।

Source: https://greenai.guide/hi/कैसे/मैं-ai-मॉडल-को-अपने-कंप्यूटर-पर-लोकल-कैसे-चलाऊँ/  
Updated: 2026-11-19

## संक्षेप में

Ollama या llama.cpp जैसा कोई लोकल रनर इंस्टॉल करें, GGUF जैसे क्वांटाइज़्ड फ़ॉर्मैट में कोई छोटा ओपन-वेट मॉडल डाउनलोड करें, और उसे अपने कंप्यूटर पर चलाएँ। वह सबसे छोटा मॉडल चुनें जो आपका काम कर दे: क्वांटाइज़्ड वर्ज़न को बहुत कम मेमोरी चाहिए, इसलिए 8 अरब पैरामीटर वाला मॉडल, जिसे 16-बिट रूप में लगभग 16 GB चाहिए, 4 बिट पर लगभग 4–5 GB में आ जाता है।

## Steps

1. अपने कंप्यूटर की मेमोरी देखें, और यह भी कि उसमें इस्तेमाल लायक GPU या Apple silicon है या नहीं।
2. Ollama या llama.cpp जैसा कोई लोकल रनर इंस्टॉल करें।
3. क्वांटाइज़्ड फ़ॉर्मैट में कोई छोटा ओपन-वेट मॉडल डाउनलोड करें जो आपकी मेमोरी में आ जाए।
4. उसे अपने असली कामों पर परखें और सिर्फ़ तभी बड़ा आकार लें जब वह कम पड़े।
5. प्लग मीटर या CodeCarbon जैसे टूल से उसकी ऊर्जा मापें।
6. इस्तेमाल न होने पर मॉडल बंद कर दें, ताकि वह मेमोरी या बिजली न घेरे।

**मॉडल को लोकल चलाने का मतलब है एक रनर चुनना, फ़िट होने वाला मॉडल चुनना, और फिर मापना।** इससे डेटा आपकी मशीन पर रहता है और
आप ठीक-ठीक देख पाते हैं कि AI ऊर्जा में कितना खर्च करता है, जो होस्टेड सेवा आपको कभी नहीं दिखाती।

## मुझे क्या चाहिए? {#what-do-i-need}

- **एक रनर।** Ollama अपने कंप्यूटर पर ओपन मॉडल इस्तेमाल करने का एक लोकप्रिय तरीका है। llama.cpp एक निचले स्तर का C/C++ इंजन है,
  जिसका मकसद कम से कम सेट-अप के साथ तरह-तरह के हार्डवेयर पर मॉडल चलाना है।
- **एक मॉडल फ़ाइल।** GGUF एक बाइनरी फ़ॉर्मैट है जो जल्दी लोड होने और कुशल इन्फ़रेंस के लिए बनाया गया है, और इसके क्वांटाइज़्ड
  वर्ज़न प्रति वेट 2 बिट से कम से लेकर 8 बिट तक होते हैं।
- **पर्याप्त मेमोरी।** Hugging Face के दस्तावेज़ एक मोटा नियम देते हैं: 8 अरब पैरामीटर वाले मॉडल के वेट को 16-बिट रूप में लगभग
  16 GB, 8 बिट पर लगभग 8 GB और 4 बिट पर लगभग 4–5 GB चाहिए। कम बिट से थोड़ी सटीकता घटती है।

## क्या यह क्लाउड से ज़्यादा ग्रीन है? {#is-it-greener-than-the-cloud}

**अपने आप नहीं।** एक बार में एक अनुरोध चलाने वाला लैपटॉप, हर जवाब के हिसाब से, व्यस्त और अच्छी तरह बैच किए गए डेटा सेंटर सर्वर
से कम कुशल हो सकता है। लोकल तब बेहतर है जब मॉडल छोटा हो, काम बार-बार होता हो, या इससे नेटवर्क पर बड़ा डेटा भेजने से बचत होती हो।
देखें [डिवाइस या क्लाउड](/hi/कैसे/ai-को-अपने-डिवाइस-पर-चलाऊँ-या-क्लाउड-में-यह-मैं-कैसे-तय-करूँ/)।

## आम गलतियाँ {#common-mistakes}

- **अपनी मशीन में आ सकने वाला सबसे बड़ा मॉडल डाउनलोड करना।** छोटे से शुरू करें; देखें
  [छोटा AI मॉडल चुनें](/hi/कैसे/मैं-छोटा-ai-मॉडल-कैसे-चुनूँ/)।
- **ज़्यादा बिजली खाने वाले GPU वाले डेस्कटॉप पर मॉडल को दिन भर लोड रखना।**
- **क्वांटाइज़्ड मॉडल आज़माने से पहले नया GPU खरीद लेना**; देखें [मॉडल को क्वांटाइज़ कैसे करें](/hi/कैसे/मैं-किसी-मॉडल-को-quantise-कैसे-करूँ/)।

ऊर्जा जाँचने के लिए प्लग-इन मीटर या CodeCarbon इस्तेमाल करें, जैसा कि
[अपने कंप्यूटर पर AI की ऊर्जा कैसे मापें](/hi/कैसे/मैं-अपने-कंप्यूटर-या-gpu-पर-ai-की-ऊर्जा-खपत-कैसे-मापूँ/) में बताया गया है। फ़ायदे-नुकसान के लिए
पढ़ें [एज या क्लाउड](/hi/अच्छी-प्रथाएँ/एज-या-क्लाउड-ai-कहाँ-चलना-चाहिए/)।

## स्रोत

- [Ollama documentation](https://docs.ollama.com), Ollama (2026)
- [llama.cpp: LLM inference in C/C++](https://github.com/ggml-org/llama.cpp), ggml-org (GitHub) (2026)
- [GGUF](https://huggingface.co/docs/hub/gguf), Hugging Face Hub documentation (2026)
- [Quantization overview](https://huggingface.co/docs/transformers/main/en/quantization/overview), Hugging Face Transformers documentation (2026)
- [CodeCarbon](https://codecarbon.io/), CodeCarbon (2026)
