باختصار
تحققوا أولًا مما إذا كانت هناك نسخة مقطَّرة من نموذجكم. وإن لم تكن، فاستخدموا النموذج "المعلّم" الكبير لوسم أمثلة لمهمتكم أو توليدها، ودرّبوا عليها نموذج "طالب" صغيرًا، واختبروا الطالب على حالاتكم الحقيقية. وكان DistilBERT، وهو مثال مبكر، أصغر من BERT بنسبة 40% وأسرع منه بنسبة 60%، مع احتفاظه بنسبة 97% من قدرته على فهم اللغة.
الخطوات
- ابحثوا عن نسخة مقطَّرة أو أصغر موجودة من النموذج تناسب مهمتكم.
- اجمعوا مجموعة من المُدخلات الحقيقية من مهمتكم.
- استخدموا النموذج الكبير لإنتاج وسوم أو مخرجات لها، وافحصوا عيّنة منها يدويًا.
- درّبوا نموذج طالب صغيرًا على تلك البيانات.
- اختبروا الطالب مقابل مستوى الجودة المطلوب، ووجّهوا الحالات التي لا يكون متأكدًا منها إلى النموذج الكبير.
ينقل التقطير ما يعرفه نموذج كبير عن مهمتكم إلى نموذج صغير رخيص التشغيل. فتدفعون مرة واحدة كلفة تدريب الطالب، ثم توفّرون مع كل طلب.
لماذا يهم ذلك؟
النموذج العام الكبير الذي يُستخدم لمهمة واحدة ضيقة، مثل تصنيف التذاكر أو استخراج الحقول، يدفع ثمن معرفة لا تحتاج إليها المهمة أبدًا. ووجد Luccioni وJernite وStrubell أن الأنظمة المتخصصة في مهمة بعينها أرخص تشغيلًا بمراتب عشرية من النماذج التوليدية متعددة الأغراض لأداء المهام نفسها. وتُدرج Green Software Foundation التقطير ضمن أنماطها لنماذج الذكاء الاصطناعي ذات الحجم المناسب والموفّرة للطاقة.
كيف يعمل؟
المعلّم هو النموذج الكبير، والطالب نموذج صغير. وفي الطريقة الكلاسيكية، يتعلم الطالب مطابقة احتمالات مخرجات المعلّم، لا إجاباته النهائية فحسب، وهذا ينقل معلومات أكثر في كل مثال. واستخدم Sanh وزملاؤه هذا في DistilBERT لإنتاج نموذج أصغر من BERT بنسبة 40% وأسرع منه بنسبة 60%، احتفظ بنسبة 97% من قدرته على فهم اللغة.
أما في النماذج التوليدية، فهناك طريق عملي شائع أبسط: اجعلوا المعلّم ينتج إجابات لمُدخلاتكم الحقيقية، وافحصوا عيّنة منها، ثم اضبطوا نموذجًا صغيرًا ضبطًا دقيقًا عليها.
أخطاء شائعة
- التقطير مع وجود نموذج صغير أصلًا. ابحثوا أولًا: راجعوا كيف تجدون نموذجًا متخصصًا في مهمة بعينها.
- الثقة العمياء بمخرجات المعلّم. فأخطاء المعلّم تصبح أخطاء الطالب.
- عدم وجود بديل احتياطي. احتفظوا بالنموذج الكبير للحالات التي لا يكون الطالب متأكدًا منها، باستخدام توجيه النماذج.
- تجاهل الترخيص. فبعض شروط النماذج تقيّد استخدام مخرجاتها لتدريب نماذج أخرى.
اقرؤوا المزيد في التدريب والاستدلال الفعّالان.
المصادر
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
- Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
- Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)
ذو صلة
كيف أجد نموذجًا متخصصًا في مهمة بعينها بدلًا من استخدام روبوت محادثة عام؟
كيف تجدون نموذجًا صغيرًا مصممًا لمهمة واحدة، مثل التصنيف أو الاستخراج أو الترجمة، وتتحققون من أنه يضاهي روبوت محادثة عامًا بطاقة أقل.
كيف أوجّه الطلبات إلى نماذج ذكاء اصطناعي أصغر؟
كيف ترسلون الطلبات الروتينية إلى نموذج صغير والصعبة وحدها إلى نموذج كبير، وكيف تضبطون الموجّه حتى لا تلتهم إعادة المحاولات التوفير.
كيف أقلّم شبكة عصبية (pruning)؟
كيف تقلّمون شبكة عصبية مدرّبة لإزالة الأوزان قليلة الإسهام، وتختبرون ما يبقى من الدقة، وتتحققون من أن العتاد يحقق وفرًا فعليًا.
تدريب الذكاء الاصطناعي واستدلاله بكفاءة
تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.