greenai.guide

الرئيسية › كيف أفعل…؟ › كيف أقطّر نموذجًا كبيرًا إلى نموذج أصغر؟

كيف أفعل…؟

كيف أقطّر نموذجًا كبيرًا إلى نموذج أصغر؟

تاريخ التحديث · مدة القراءة: 1 دقيقة

باختصار

تحققوا أولًا مما إذا كانت هناك نسخة مقطَّرة من نموذجكم. وإن لم تكن، فاستخدموا النموذج "المعلّم" الكبير لوسم أمثلة لمهمتكم أو توليدها، ودرّبوا عليها نموذج "طالب" صغيرًا، واختبروا الطالب على حالاتكم الحقيقية. وكان DistilBERT، وهو مثال مبكر، أصغر من BERT بنسبة 40% وأسرع منه بنسبة 60%، مع احتفاظه بنسبة 97% من قدرته على فهم اللغة.

الخطوات

  1. ابحثوا عن نسخة مقطَّرة أو أصغر موجودة من النموذج تناسب مهمتكم.
  2. اجمعوا مجموعة من المُدخلات الحقيقية من مهمتكم.
  3. استخدموا النموذج الكبير لإنتاج وسوم أو مخرجات لها، وافحصوا عيّنة منها يدويًا.
  4. درّبوا نموذج طالب صغيرًا على تلك البيانات.
  5. اختبروا الطالب مقابل مستوى الجودة المطلوب، ووجّهوا الحالات التي لا يكون متأكدًا منها إلى النموذج الكبير.

ينقل التقطير ما يعرفه نموذج كبير عن مهمتكم إلى نموذج صغير رخيص التشغيل. فتدفعون مرة واحدة كلفة تدريب الطالب، ثم توفّرون مع كل طلب.

لماذا يهم ذلك؟

النموذج العام الكبير الذي يُستخدم لمهمة واحدة ضيقة، مثل تصنيف التذاكر أو استخراج الحقول، يدفع ثمن معرفة لا تحتاج إليها المهمة أبدًا. ووجد Luccioni وJernite وStrubell أن الأنظمة المتخصصة في مهمة بعينها أرخص تشغيلًا بمراتب عشرية من النماذج التوليدية متعددة الأغراض لأداء المهام نفسها. وتُدرج Green Software Foundation التقطير ضمن أنماطها لنماذج الذكاء الاصطناعي ذات الحجم المناسب والموفّرة للطاقة.

كيف يعمل؟

المعلّم هو النموذج الكبير، والطالب نموذج صغير. وفي الطريقة الكلاسيكية، يتعلم الطالب مطابقة احتمالات مخرجات المعلّم، لا إجاباته النهائية فحسب، وهذا ينقل معلومات أكثر في كل مثال. واستخدم Sanh وزملاؤه هذا في DistilBERT لإنتاج نموذج أصغر من BERT بنسبة 40% وأسرع منه بنسبة 60%، احتفظ بنسبة 97% من قدرته على فهم اللغة.

أما في النماذج التوليدية، فهناك طريق عملي شائع أبسط: اجعلوا المعلّم ينتج إجابات لمُدخلاتكم الحقيقية، وافحصوا عيّنة منها، ثم اضبطوا نموذجًا صغيرًا ضبطًا دقيقًا عليها.

أخطاء شائعة

  • التقطير مع وجود نموذج صغير أصلًا. ابحثوا أولًا: راجعوا كيف تجدون نموذجًا متخصصًا في مهمة بعينها.
  • الثقة العمياء بمخرجات المعلّم. فأخطاء المعلّم تصبح أخطاء الطالب.
  • عدم وجود بديل احتياطي. احتفظوا بالنموذج الكبير للحالات التي لا يكون الطالب متأكدًا منها، باستخدام توجيه النماذج.
  • تجاهل الترخيص. فبعض شروط النماذج تقيّد استخدام مخرجاتها لتدريب نماذج أخرى.

اقرؤوا المزيد في التدريب والاستدلال الفعّالان.

المصادر

  1. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  2. Green Software Patterns: right-sized, energy-efficient AI models, Green Software Foundation (2025)
  3. Power Hungry Processing: Watts Driving the Cost of AI Deployment?, Luccioni, Jernite and Strubell, ACM FAccT (2024)

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية