संक्षेप में
पहले देखें कि क्या आपके मॉडल का कोई डिस्टिल किया हुआ संस्करण पहले से मौजूद है। अगर नहीं, तो बड़े "टीचर" मॉडल से अपने काम के उदाहरणों पर लेबल लगवाएँ या उदाहरण बनवाएँ, उन पर एक छोटा "स्टूडेंट" मॉडल ट्रेन करें, और स्टूडेंट को अपने असली मामलों पर परखें। DistilBERT, एक शुरुआती उदाहरण, BERT से 40% छोटा और 60% तेज़ था, और उसकी भाषा समझने की 97% क्षमता बनाए रखता था।
चरण
- अपने काम के लिए मॉडल का कोई मौजूदा डिस्टिल किया हुआ या छोटा संस्करण खोजें।
- अपने काम से असली इनपुट का एक सेट इकट्ठा करें।
- बड़े मॉडल से उनके लेबल या आउटपुट बनवाएँ, और एक नमूने को हाथ से जाँचें।
- उस डेटा पर एक छोटा स्टूडेंट मॉडल ट्रेन करें।
- स्टूडेंट को अपने गुणवत्ता मानक पर परखें और उसके अनिश्चित मामलों को बड़े मॉडल के पास भेजें।
डिस्टिलेशन किसी बड़े मॉडल की आपके काम से जुड़ी जानकारी को ऐसे छोटे मॉडल में ले जाता है जिसे चलाना सस्ता है। आप स्टूडेंट की ट्रेनिंग के लिए एक बार कीमत चुकाते हैं, फिर हर अनुरोध पर बचत करते हैं।
यह क्यों मायने रखता है?
किसी एक सीमित काम, जैसे टिकटों का वर्गीकरण या फ़ील्ड निकालने, के लिए लगाया गया बड़ा सामान्य मॉडल उस जानकारी की भी कीमत चुकाता है जिसका वह काम कभी इस्तेमाल नहीं करता। Luccioni, Jernite और Strubell ने पाया कि उन्हीं कामों के लिए खास काम वाले सिस्टम बहु-उद्देश्यीय जनरेटिव मॉडलों की तुलना में चलाने में कई गुना (orders of magnitude) सस्ते थे। Green Software Foundation सही आकार वाले, ऊर्जा-कुशल AI मॉडलों के अपने पैटर्न में डिस्टिलेशन को शामिल करता है।
यह कैसे काम करता है?
टीचर बड़ा मॉडल है; स्टूडेंट छोटा मॉडल। पारंपरिक तरीके में स्टूडेंट सिर्फ़ टीचर के अंतिम उत्तर नहीं, बल्कि उसके आउटपुट की संभावनाओं (probabilities) से मेल खाना सीखता है, जिससे हर उदाहरण में ज़्यादा जानकारी मिलती है। Sanh और उनके सहयोगियों के DistilBERT ने इसी से BERT से 40% छोटा और 60% तेज़ मॉडल बनाया, जिसने उसकी भाषा समझने की 97% क्षमता बनाए रखी।
जनरेटिव मॉडलों के लिए एक आम व्यावहारिक रास्ता और भी सरल है: टीचर से अपने असली इनपुट के उत्तर बनवाएँ, एक नमूना जाँचें, और उन पर एक छोटे मॉडल को फ़ाइन-ट्यून करें।
आम गलतियाँ
- छोटा मॉडल पहले से मौजूद होने पर भी डिस्टिल करना। पहले खोजें: देखें खास काम वाला मॉडल कैसे खोजें।
- टीचर के आउटपुट पर आँख मूँदकर भरोसा करना। टीचर की गलतियाँ स्टूडेंट की गलतियाँ बन जाती हैं।
- कोई बैकअप न रखना। जिन मामलों में स्टूडेंट को भरोसा न हो, उनके लिए बड़े मॉडल को रखें, और मॉडल रूटिंग का इस्तेमाल करें।
- लाइसेंस को अनदेखा करना। कुछ मॉडलों की शर्तें दूसरे मॉडलों को ट्रेन करने के लिए उनके आउटपुट के इस्तेमाल पर रोक लगाती हैं।
और जानने के लिए पढ़ें कुशल ट्रेनिंग और इन्फ़रेंस।
स्रोत
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
संबंधित
सामान्य चैटबॉट के बजाय किसी खास काम के लिए बना मॉडल मैं कैसे खोजूँ?
वर्गीकरण, जानकारी निकालने या अनुवाद जैसे एक काम के लिए बना छोटा मॉडल कैसे खोजें, और जाँचें कि वह कम ऊर्जा में सामान्य चैटबॉट की बराबरी करता है।
मैं अनुरोधों को छोटे मॉडलों की ओर कैसे भेजूँ (मॉडल रूटिंग)?
रोज़मर्रा के अनुरोध छोटे मॉडल को और सिर्फ़ कठिन अनुरोध बड़े मॉडल को कैसे भेजें, और राउटर को कैसे ट्यून करें ताकि दोबारा कोशिशें बचत न खा जाएँ।
मैं किसी न्यूरल नेटवर्क को prune कैसे करूँ?
ट्रेन किए गए न्यूरल नेटवर्क को prune करके कम योगदान वाले weights कैसे हटाएँ, कितनी सटीकता बचती है यह कैसे परखें, और हार्डवेयर पर असली बचत कैसे जाँचें।
कुशल AI ट्रेनिंग और इन्फ़रेंस
डेवलपरों और शोधकर्ताओं के लिए AI की ऊर्जा घटाने की तकनीकें: प्रूनिंग, स्पार्सिटी, क्वांटाइज़ेशन, डिस्टिलेशन, KV कैश, बैचिंग, मिक्स्ड प्रिसिज़न और शेड्यूलिंग।