संक्षेप में
मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल हर टोकन को कुछ विशेषज्ञ उप-नेटवर्कों (experts) के पास भेजता है, इसलिए प्रति टोकन मॉडल का सिर्फ़ एक हिस्सा काम करता है। उदाहरण के लिए, Mixtral में 47 अरब पैरामीटर हैं, लेकिन यह प्रति टोकन 13 अरब इस्तेमाल करता है। इससे मिलती-जुलती गुणवत्ता वाले डेंस मॉडल की तुलना में प्रति उत्तर गणना घट सकती है, लेकिन हर एक्सपर्ट को फिर भी मेमोरी में रहना होता है, इसलिए अपने ही हार्डवेयर पर गुणवत्ता, लेटेंसी और प्रति अनुरोध ऊर्जा की तुलना करें।
चरण
- अपने काम के लिए एक मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल और मिलती-जुलती गुणवत्ता वाला एक डेंस मॉडल चुनें।
- सभी एक्सपर्ट्स को गिनकर जाँचें कि दोनों आपकी उपलब्ध GPU मेमोरी में समा जाते हैं।
- दोनों को अपने असली बैच साइज़ पर अपने मूल्यांकन सेट पर चलाएँ।
- गुणवत्ता, लेटेंसी और प्रति अनुरोध ऊर्जा की आमने-सामने तुलना करें।
- तीनों के आधार पर चुनें, और अगर कोई छोटा डेंस मॉडल मानक पर खरा उतरे तो उस पर विचार करें।
मिक्सचर-ऑफ़-एक्सपर्ट्स (MoE) मॉडल प्रति टोकन कम गणना में बड़े मॉडल जैसी गुणवत्ता दे सकते हैं, लेकिन कम मेमोरी में नहीं। इनसे आपकी ऊर्जा बचेगी या नहीं, यह आपके हार्डवेयर और ट्रैफ़िक पर निर्भर करता है।
मिक्सचर-ऑफ़-एक्सपर्ट्स कैसे काम करता है?
डेंस मॉडल हर टोकन के लिए हर पैरामीटर इस्तेमाल करता है। MoE मॉडल में कई "एक्सपर्ट" उप-नेटवर्क और एक छोटा राउटर होता है जो हर टोकन के लिए कुछ एक्सपर्ट चुनता है। Jiang और उनके सहयोगियों का Mixtral of Experts हर टोकन को 47 अरब पैरामीटर तक पहुँच देता है, लेकिन इन्फ़रेंस के दौरान सिर्फ़ 13 अरब सक्रिय पैरामीटर इस्तेमाल करता है, और लेखकों के अनुसार यह उनके परखे गए बेंचमार्क में Llama 2 70B और GPT-3.5 से बेहतर या उनके बराबर रहा। यह भी देखें: शब्दावली में यह प्रविष्टि।
इससे ऊर्जा कब बचती है?
- मिलती-जुलती गुणवत्ता वाले डेंस मॉडल की तुलना में, कम सक्रिय पैरामीटर का मतलब आम तौर पर प्रति टोकन कम गणना होता है।
- जब आपके पास मेमोरी हो। सभी एक्सपर्ट्स को फिर भी लोड करना पड़ता है, इसलिए आपको डेंस मॉडल जितने ही GPU की ज़रूरत पड़ सकती है। खाली पड़ी मेमोरी भी बिजली खींचती है।
- अच्छे उपयोग (utilisation) पर। बैचिंग के साथ अलग-अलग टोकन अलग-अलग एक्सपर्ट इस्तेमाल करते हैं, जिससे हार्डवेयर ज़्यादा व्यस्त रहता है।
आम गलतियाँ
- गलत बेसलाइन से तुलना करना। अगर कोई छोटा डेंस मॉडल आपके गुणवत्ता मानक पर खरा उतरता है, तो वह आम तौर पर दोनों से बेहतर रहेगा। देखें छोटा AI मॉडल कैसे चुनें।
- सक्रिय पैरामीटर्स को ही पूरी लागत मान लेना। मेमोरी, GPU के बीच संचार और रूटिंग का अतिरिक्त बोझ भी गिना जाता है।
- मापना ही नहीं। जहाँ AI Energy Score जैसी सार्वजनिक रेटिंग आपके विकल्पों को कवर करती हैं, उनका इस्तेमाल करें; वरना दोनों का एक ही हार्डवेयर पर बेंचमार्क करें।
व्यापक तरीके के लिए पढ़ें सही मॉडल चुनें।
स्रोत
- Mixtral of experts, Jiang et al., Mistral AI (2024)
- AI Energy Score, Hugging Face (2025)
संबंधित
मैं अलग-अलग AI मॉडलों की ऊर्जा खपत की तुलना कैसे करूँ?
AI मॉडलों की ऊर्जा की निष्पक्ष तुलना कैसे करें: AI Energy Score जैसे benchmark इस्तेमाल करें, या उसी काम, हार्डवेयर और सेटिंग्स पर उन्हें खुद मापें।
मैं छोटा AI मॉडल कैसे चुनूँ?
अपना काम अच्छी तरह करने वाला सबसे छोटा AI मॉडल कैसे चुनें: गुणवत्ता मानक तय करें, छोटे से बड़े तक परखें, ऊर्जा रेटिंग देखें और बड़ा मॉडल बैकअप के रूप में रखें।
प्रोडक्शन में मॉडल चलाने (सर्विंग) की ऊर्जा मैं कैसे कम करूँ?
खुद होस्ट किए गए मॉडल को प्रति अनुरोध कम ऊर्जा में कैसे चलाएँ: कुशल रनटाइम, बैचिंग, हाफ़ प्रिसिज़न, कंपाइल्ड कैश और परखा हुआ हार्डवेयर।
काम के हिसाब से सही मॉडल चुनें
AI को सही आकार कैसे दें: छोटे या विशेष मॉडल कब चुनें, बड़ा फ्रंटियर मॉडल कब अपनी लागत वसूलता है, रूटिंग कैसे काम करती है और AI कब न इस्तेमाल करें।