greenai.guide

होम › मैं कैसे…? › Caching से मैं LLM कॉल की ऊर्जा कैसे घटाऊँ?

मैं कैसे…?

Caching से मैं LLM कॉल की ऊर्जा कैसे घटाऊँ?

अपडेट किया गया · 2 मिनट में पढ़ें

संक्षेप में

दो परतें इस्तेमाल करें। प्रोवाइडर की prompt caching किसी तय शुरुआती हिस्से (prefix), जैसे लंबे system prompt या साझा दस्तावेज़, की प्रोसेसिंग को दोबारा इस्तेमाल करती है, इसलिए स्थिर सामग्री सबसे पहले रखें। आपका अपना response cache एक जैसे अनुरोधों के जवाब सहेजता है ताकि मॉडल को दोबारा न बुलाना पड़े। दोनों गणना, लागत और latency घटाते हैं, बशर्ते आप समझदारी से expiry समय तय करें।

चरण

  1. स्थिर सामग्री, जैसे निर्देश और संदर्भ टेक्स्ट, हर prompt की शुरुआत में रखें।
  2. अपने प्रोवाइडर के दस्तावेज़ों में बताए अनुसार prompt caching चालू करें या चिह्नित करें।
  3. अपने ऐप्लिकेशन में एक जैसे इनपुट के पूरे जवाब cache करें।
  4. Expiry समय उतना रखें जितनी बार असली जवाब बदलता है।
  5. Cache hit दर और input tokens लॉग करें, ताकि आप बचत देख सकें।

सबसे सस्ती मॉडल कॉल वह है जो आप करते ही नहीं, और उसके बाद सबसे सस्ती वह जो पहले हो चुके काम को दोबारा इस्तेमाल करती है। Caching दोनों काम करती है।

Prompt caching क्या है?

प्रोवाइडर आपके prompt के शुरुआती हिस्से का प्रोसेस किया हुआ रूप सहेज लेता है और बाद की कॉल में उसे दोबारा इस्तेमाल करता है। Anthropic के दस्तावेज़ कहते हैं कि एक जैसे हिस्सों वाले prompts के लिए prompt caching "प्रोसेसिंग समय और लागत काफ़ी घटाती है", cache से पढ़ने की कीमत सामान्य input tokens का दसवाँ हिस्सा रखी गई है, और cache डिफ़ॉल्ट रूप से पाँच मिनट तक रहता है। OpenAI समर्थित मॉडलों के लिए prompt caching डिफ़ॉल्ट रूप से चालू रखता है। दोनों सिर्फ़ बिल्कुल एक जैसे prefix पर काम करते हैं, इसलिए क्रम मायने रखता है: स्थिर निर्देश और दस्तावेज़ पहले, बदलने वाला सवाल आख़िर में।

Response caching क्या है?

आप मॉडल का जवाब सहेज लेते हैं और वही अनुरोध दोबारा आने पर उसे लौटा देते हैं। यह FAQs, दोहराई जाने वाली चीज़ों के वर्गीकरण, और ऐसे agents के लिए उपयुक्त है जो एक जैसे सवाल बार-बार पूछते हैं। Agent orchestration पर Green Software Foundation का pattern ठीक इसी तरह फ़ालतू मॉडल कॉल और दोहराई गई गणना घटाने की सलाह देता है।

कुछ टीमें "semantic" cache भी इस्तेमाल करती हैं, जो बिल्कुल एक जैसे नहीं बल्कि मिलते-जुलते सवालों को मिलाते हैं। इनसे ज़्यादा बचत होती है, लेकिन ये ज़रा-से अलग सवाल का गलत जवाब लौटा सकते हैं, इसलिए इन्हें सावधानी से परखें।

आम गलतियाँ

  • Prompt में सबसे ऊपर टाइमस्टैम्प या उपयोगकर्ता के नाम रखना, जिससे prefix और cache दोनों टूट जाते हैं।
  • हमेशा के लिए cache करना। उतनी expiry रखें जितनी जल्दी जवाब पुराना पड़ता है।
  • न मापना। Hit दर के बिना आपको पता नहीं चलेगा कि cache मदद कर रहा है या नहीं।

दोबारा बनाने के बजाय दोबारा इस्तेमाल करने के बड़े विचार के लिए पढ़ें generation से ऊपर orchestration।

स्रोत

  1. Prompt caching, Anthropic, Claude platform documentation (2026)
  2. Prompt caching, OpenAI API documentation (2026)
  3. Optimize agent orchestration to reduce unnecessary model calls, Green Software Foundation, Green Software Patterns (2025)
मैं कैसे…?

मैं अपने चैटबॉट को हर बार पूरी बातचीत दोबारा भेजने से कैसे रोकूँ?

चैटबॉट का कॉन्टेक्स्ट छोटा कैसे रखें: पिछले टर्न सीमित करें, पुराने संदेशों का सारांश बनाएँ, सिर्फ़ प्रासंगिक चीज़ें निकालें और तय प्रॉम्प्ट कैश करें, ताकि इनपुट बढ़ना रुके।

मैं कैसे…?

मैं AI एजेंटों को टोकन बर्बाद करने से कैसे रोकूँ?

AI एजेंटों के लिए व्यावहारिक सुरक्षा उपाय: रुकने की शर्तें, स्टेप और टोकन की सीमाएँ, लूप पहचानना, कॉन्टेक्स्ट छोटा करना और आसान स्टेप के लिए छोटे मॉडल।

लेख

जनरेशन से पहले ऑर्केस्ट्रेशन

जाँचे-परखे हिस्सों का दोबारा इस्तेमाल और हर अनुरोध को सबसे छोटे सक्षम मॉडल तक भेजना AI की ऊर्जा कैसे घटा सकता है, और अब तक के सबूत क्या कहते हैं।

अच्छी प्रैक्टिस

AI का कुशल उपयोग: रोज़ की आदतें

AI के उपयोग की ऊर्जा घटाने वाली रोज़ की आदतें: साफ़ prompt, कम बार दोबारा बनवाना, इमेज और वीडियो में सावधानी, caching और डिफ़ॉल्ट फ़ीचर बंद करना।

हमसे जुड़ें

धरती पर AI का असर घटाने में मदद करें

नई गाइड, फ़ंडिंग कॉल और निर्देशिका लिस्टिंग ईमेल से पाएँ, लगभग महीने में एक बार। या निर्देशिकाओं में अपना प्रोडक्ट, कोर्स, PhD या शोध जोड़ें।

कोई ट्रैकिंग नहीं। एक क्लिक में सदस्यता छोड़ें। जुड़ने के दूसरे तरीके · गोपनीयता