greenai.guide

होम › मैं कैसे…? › ऊर्जा बचाने के लिए मैं retrieval (RAG) और फ़ाइन-ट्यूनिंग में से कैसे चुनूँ?

मैं कैसे…?

ऊर्जा बचाने के लिए मैं retrieval (RAG) और फ़ाइन-ट्यूनिंग में से कैसे चुनूँ?

अपडेट किया गया · 2 मिनट में पढ़ें

संक्षेप में

जब मॉडल को ऐसे तथ्य चाहिए जो बदलते रहते हैं या सिर्फ़ आपसे जुड़े हैं, तब retrieval इस्तेमाल करें: उन्हें खोजे जा सकने वाले index में रखें और सिर्फ़ प्रासंगिक अंश निकालें। जब मॉडल को कोई ऐसा कौशल, फ़ॉर्मेट या शैली चाहिए जो उसमें नहीं है, तब फ़ाइन-ट्यूनिंग इस्तेमाल करें। तथ्यों को अपडेट रखने के लिए दोबारा ट्रेनिंग करने से ट्रेनिंग की लागत दोहराई जाती है, जबकि हर prompt में पूरे दस्तावेज़ चिपकाने से inference बर्बाद होता है, इसलिए हर तरीके की अपनी जगह है।

चरण

  1. लिखें कि मॉडल में क्या कमी है: तथ्य, कोई कौशल, कोई फ़ॉर्मेट या कोई लहजा।
  2. बदलते या निजी तथ्यों को खोजे जा सकने वाले index में रखें और सिर्फ़ प्रासंगिक अंश निकालें।
  3. छोटा adapter सिर्फ़ उन कौशलों, फ़ॉर्मेट या शैलियों के लिए फ़ाइन-ट्यून करें जो prompting से हासिल नहीं होते।
  4. सामग्री बदलने पर index अपडेट करें, और सिर्फ़ बदले हुए हिस्से को प्रोसेस करें।
  5. फ़ैसला करने से पहले हर विकल्प के लिए प्रति अनुरोध tokens और गुणवत्ता मापें।

तथ्यों के लिए retrieval; कौशल के लिए फ़ाइन-ट्यूनिंग। गलत विकल्प चुनने का मतलब है बार-बार कीमत चुकाना, या तो दोबारा ट्रेनिंग के लिए या ज़रूरत से बड़े prompts के लिए।

फ़र्क क्या है?

  • Retrieval-augmented generation (RAG) आपकी अपनी सामग्री से प्रासंगिक अंश खोजता है और उन्हें सवाल के साथ मॉडल को देता है। Lewis और उनके सहयोगियों ने 2020 में ज्ञान-प्रधान कामों के लिए यह तरीका पेश किया। मॉडल के weights नहीं बदलते, इसलिए ज्ञान अपडेट करने का मतलब है index अपडेट करना।
  • फ़ाइन-ट्यूनिंग मॉडल के weights, या LoRA जैसे किसी छोटे adapter, को बदलती है, ताकि वह कोई व्यवहार सीख ले: कोई फ़ॉर्मेट, वर्गीकरण की कोई योजना, कोई संस्थागत शैली।

किसमें कम ऊर्जा लगती है?

यह इस पर निर्भर करता है कि चीज़ें कितनी बार बदलती हैं और हर अनुरोध में कितना टेक्स्ट जाता है।

स्थिति आम तौर पर बेहतर
तथ्य हर हफ़्ते या हर महीने बदलते हैं Retrieval
निजी दस्तावेज़, नीतियाँ, प्रोडक्ट डेटा Retrieval
तय आउटपुट फ़ॉर्मेट या लेबलिंग योजना छोटे मॉडल की फ़ाइन-ट्यूनिंग
बहुत ज़्यादा मात्रा, सीमित काम फ़ाइन-ट्यूनिंग, ताकि prompts छोटे रह सकें

GreenCode, एक ITEA रिसर्च प्रोजेक्ट, बताता है कि वह retrieval का इस्तेमाल करता है ताकि उसका अपना AI सिर्फ़ ज़रूरी डेटा पढ़े, और रन के बीच सिर्फ़ बदले हुए हिस्से को प्रोसेस करता है।

आम गलतियाँ

  • तथ्य जोड़ने के लिए दोबारा ट्रेनिंग करना। हर अपडेट ट्रेनिंग की लागत दोहराता है।
  • "सब कुछ prompt में भर दो" वाला RAG। जहाँ दो अंश काफ़ी हों, वहाँ बीस लंबे अंश निकालने से input tokens कई गुना बढ़ जाते हैं। देखें vector search और RAG को ज़्यादा कुशल कैसे बनाएँ।
  • बड़े मॉडल को फ़ाइन-ट्यून करना, जबकि छोटा फ़ाइन-ट्यून मॉडल काम कर देता।

बड़े सिद्धांत के लिए पढ़ें generation से ऊपर orchestration।

स्रोत

  1. Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
  2. Green AI and energy-aware computing, GreenCode (2026)
  3. LoRA: low-rank adaptation of large language models, Hu et al. (2021)
मैं कैसे…?

मैं वेक्टर सर्च और RAG को ज़्यादा कुशल कैसे बनाऊँ?

retrieval-augmented generation की कंप्यूटिंग घटाने के तरीके: approximate इंडेक्स, कम और छोटे अंश, incremental indexing और छोटे मॉडल।

मैं कैसे…?

बहुत ज़्यादा कंप्यूट के बिना मैं किसी मॉडल को फ़ाइन-ट्यून कैसे करूँ?

LoRA और QLoRA जैसी पैरामीटर-कुशल फ़ाइन-ट्यूनिंग से पहले से ट्रेन मॉडल को कैसे ढालें, ताकि वह एक GPU पर चल जाए और बहुत कम ऊर्जा ले।

लेख

जनरेशन से पहले ऑर्केस्ट्रेशन

जाँचे-परखे हिस्सों का दोबारा इस्तेमाल और हर अनुरोध को सबसे छोटे सक्षम मॉडल तक भेजना AI की ऊर्जा कैसे घटा सकता है, और अब तक के सबूत क्या कहते हैं।

अच्छी प्रैक्टिस

काम के हिसाब से सही मॉडल चुनें

AI को सही आकार कैसे दें: छोटे या विशेष मॉडल कब चुनें, बड़ा फ्रंटियर मॉडल कब अपनी लागत वसूलता है, रूटिंग कैसे काम करती है और AI कब न इस्तेमाल करें।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता