संक्षेप में
हर क्वेरी की तुलना हर संग्रहित वेक्टर से करने के बजाय approximate nearest-neighbour इंडेक्स इस्तेमाल करें, कई लंबे अंशों के बजाय कुछ छोटे, प्रासंगिक अंश निकालें, और सिर्फ़ बदली हुई सामग्री को दोबारा embed करें। फिर अच्छे संदर्भ (context) से अच्छा जवाब देने वाला सबसे छोटा generation मॉडल इस्तेमाल करें। retrieval सिस्टम की ज़्यादातर बर्बादी brute-force सर्च और ज़रूरत से बड़े प्रॉम्प्ट से आती है।
चरण
- brute-force वेक्टर तुलना की जगह approximate nearest-neighbour इंडेक्स लगाएँ।
- दस्तावेज़ों को छोटे टुकड़ों (chunks) में बाँटें और सिर्फ़ ऊपर के कुछ निकालें।
- पूरा इंडेक्स दोबारा बनाने के बजाय सिर्फ़ नई या बदली सामग्री को दोबारा embed करें।
- हर जवाब के input tokens लॉग करें और वह संदर्भ हटाएँ जिससे गुणवत्ता नहीं सुधरती।
- retrieval की गुणवत्ता अच्छी हो जाने पर छोटा generation मॉडल आज़माएँ।
Retrieval से मॉडल को कम पढ़ना चाहिए, ज़्यादा नहीं। अच्छी तरह बना retrieval-augmented generation (RAG) सिस्टम कुछ प्रासंगिक अंश जल्दी खोजता है और सिर्फ़ वही मॉडल को देता है।
RAG में ऊर्जा कहाँ बर्बाद होती है?
- Brute-force सर्च। किसी क्वेरी की तुलना हर संग्रहित embedding से एक-एक करके करने का खर्च संग्रह के आकार के साथ बढ़ता है। Green Software Foundation इसके बजाय approximate nearest-neighbour इंडेक्स की सलाह देता है।
- ज़रूरत से बड़ा संदर्भ। "सुरक्षा के लिए" बीस लंबे अंश निकालने से input tokens कई गुना हो जाते हैं। Epoch AI का अनुमान है कि लगभग 0.3 Wh की एक आम क्वेरी 10,000 टोकन के input के साथ लगभग 2.5 Wh तक पहुँच जाती है।
- सब कुछ दोबारा बनाना। जब सिर्फ़ कुछ दस्तावेज़ बदले हों, तब भी हर रात पूरे document store को दोबारा embed करना।
सबसे बड़ा फ़र्क किससे पड़ता है?
बेहतर retrieval, ताकि मॉडल को कम संदर्भ चाहिए। अच्छी chunking, एक reranking कदम और metadata फ़िल्टर (तारीख, विभाग, उत्पाद) का मतलब है कि तीन छोटे अंश पंद्रह लंबे अंशों का काम कर सकते हैं। संदर्भ अच्छा हो जाने पर छोटा generation मॉडल अक्सर उतना ही अच्छा जवाब देता है; देखें छोटा AI मॉडल कैसे चुनें।
आम गलतियाँ
- बड़ा embedding मॉडल इस्तेमाल करना जहाँ आपके डेटा पर छोटा मॉडल भी उतना ही अच्छा retrieval करता है। दोनों को परखें।
- कोई evaluation set न होना। retrieval की गुणवत्ता (क्या सही अंश वापस आया?) को जवाब की गुणवत्ता से अलग मापें।
- कुछ भी cache न करना। लोकप्रिय सवालों के जवाब दोबारा इस्तेमाल हो सकते हैं; देखें caching कैसे इस्तेमाल करें।
दोबारा बनाने के बजाय दोबारा इस्तेमाल करने के बड़े विचार के लिए पढ़ें generation से ज़्यादा orchestration।
स्रोत
- Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
- Retrieval-augmented generation for knowledge-intensive NLP tasks, Lewis et al., NeurIPS (2020)
- How much energy does ChatGPT use?, Epoch AI (2025)
संबंधित
ऊर्जा बचाने के लिए मैं retrieval (RAG) और फ़ाइन-ट्यूनिंग में से कैसे चुनूँ?
Retrieval (RAG) कब और फ़ाइन-ट्यूनिंग कब: बदलते तथ्यों के लिए retrieval, कौशल और शैली के लिए फ़ाइन-ट्यूनिंग, और दोनों को उलझाने से ऊर्जा क्यों बर्बाद होती है।
मैं अपने चैटबॉट को हर बार पूरी बातचीत दोबारा भेजने से कैसे रोकूँ?
चैटबॉट का कॉन्टेक्स्ट छोटा कैसे रखें: पिछले टर्न सीमित करें, पुराने संदेशों का सारांश बनाएँ, सिर्फ़ प्रासंगिक चीज़ें निकालें और तय प्रॉम्प्ट कैश करें, ताकि इनपुट बढ़ना रुके।
जनरेशन से पहले ऑर्केस्ट्रेशन
जाँचे-परखे हिस्सों का दोबारा इस्तेमाल और हर अनुरोध को सबसे छोटे सक्षम मॉडल तक भेजना AI की ऊर्जा कैसे घटा सकता है, और अब तक के सबूत क्या कहते हैं।
मैं AI ट्रेनिंग डेटा कैसे स्टोर करूँ ताकि पाइपलाइन कम पढ़ें?
कॉलम-आधारित और बाइनरी फ़ॉर्मैट, पार्टिशनिंग और एक बार की प्रीप्रोसेसिंग से AI पाइपलाइन की ट्रेनिंग डेटा पढ़ने और पार्स करने में लगने वाली ऊर्जा कैसे घटती है।