greenai.guide

الرئيسية › كيف أفعل…؟ › كيف أقلّم شبكة عصبية (pruning)؟

كيف أفعل…؟

كيف أقلّم شبكة عصبية (pruning)؟

تاريخ التحديث · مدة القراءة: 1 دقيقة

باختصار

قلّموا الشبكة المدرّبة بإزالة الأوزان أو العصبونات أو الطبقات الأقل إسهامًا، ثم اضبطوها ضبطًا دقيقًا لفترة وجيزة حتى تستعيد أداءها، واختبروها مقابل مستوى الجودة المطلوب. فقد خفّض التقليم معاملات AlexNet تسعة أضعاف دون أي خسارة في الدقة، وقُلّمت نماذج لغوية كبيرة جدًا إلى نسبة تناثر لا تقل عن 50% دفعة واحدة. وفضّلوا التقليم المهيكل إن أردتم أن يعمل العتاد العادي بسرعة أكبر.

الخطوات

  1. قيسوا دقة النموذج غير المقلَّم وزمن استجابته وطاقته أولًا.
  2. اختاروا التقليم المهيكل (عصبونات أو رؤوس انتباه أو طبقات كاملة) ما لم يكن عتادكم يستفيد من الأوزان المتناثرة.
  3. أزيلوا حصة معتدلة من الأوزان بحسب أهميتها، مثل الأوزان الأصغر قيمة.
  4. اضبطوا النموذج ضبطًا دقيقًا لفترة وجيزة حتى تستعيد الشبكة أداءها.
  5. كرّروا على مراحل مع الاختبار في كل مرة، وتوقفوا حين تنخفض الجودة دون المستوى المطلوب.

تحمل الشبكات الكبيرة عادةً أوزانًا تفوق كثيرًا ما تحتاج إليه مهمتها، لذا يمكن إزالة كثير منها بعد التدريب. والتقليم يجعل النموذج أصغر، وأرخص تشغيلًا على العتاد المناسب.

ماذا تُظهر الأدلة؟

أظهر Han وزملاؤه في 2015 أن التقليم خفّض معاملات نموذج الصور AlexNet بمعامل تسعة، ومعاملات VGG-16 بمعامل ثلاثة عشر، دون أي خسارة في الدقة. ووجدت فرضية "تذكرة اليانصيب" لدى Frankle وCarbin أن الشبكات الكبيرة تحتوي على شبكات فرعية أصغر بكثير يمكنها أن تضاهي دقة الشبكة الكاملة. وفي النماذج اللغوية، قلّمت طريقة SparseGPT لدى Frantar وAlistarh نماذج كبيرة جدًا إلى نسبة تناثر لا تقل عن 50% دفعة واحدة، دون إعادة تدريب، مع زيادة طفيفة في مقياس الحيرة (perplexity).

مهيكل أم غير مهيكل؟

  • التقليم غير المهيكل يزيل أوزانًا منفردة. يمكنه إزالة أكبر قدر، لكنه يترك أصفارًا متفرقة كثيرًا ما تعجز وحدات معالجة الرسومات (GPU) والمعالجات المركزية العادية عن تخطيها.
  • التقليم المهيكل يزيل عصبونات أو رؤوس انتباه أو قنوات أو طبقات كاملة. يزيل قدرًا أقل، لكن النموذج الأصغر يعمل أسرع على أي عتاد.

أخطاء شائعة

  • عدّ الأصفار بدلًا من قياس الطاقة. فالوفر النظري كثيرًا ما يتجاوز الوفر المقيس. وقد لاحظت ورشة عمل مكثفة (sandpit) بريطانية عن الذكاء الاصطناعي الأخضر عُقدت في 2026 وضمّت علماء رياضيات وعلماء حاسوب وممثلين عن الصناعة أن التناثر لا يزال قليل الاستخدام، ويعود ذلك جزئيًا إلى صعوبة استفادة الشرائح الشائعة منه.
  • التقليم المفرط دفعة واحدة. تقدّموا على مراحل واضبطوا النموذج ضبطًا دقيقًا بينها.
  • الاختبار على المعايير المرجعية فقط. تحققوا من حالاتكم الخاصة، بما فيها الحالات النادرة، فهي أول ما قد يتضرر من التقليم.

يُعدّ مسح Hoefler وزملائه لعام 2021 لأكثر من 300 ورقة بحثية الدليل المرجعي. وللاطلاع على النظرية، اقرؤوا الرياضيات من أجل ذكاء اصطناعي فعّال.

المصادر

  1. Learning both weights and connections for efficient neural networks, Han, Pool, Tran and Dally, NeurIPS (2015)
  2. SparseGPT: massive language models can be accurately pruned in one-shot, Frantar and Alistarh, ICML (2023)
  3. Sparsity in deep learning: pruning and growth for efficient inference and training in neural networks, Hoefler, Alistarh, Ben-Nun, Dryden and Peste, Journal of Machine Learning Research (2021)
  4. The lottery ticket hypothesis: finding sparse, trainable neural networks, Frankle and Carbin, ICLR (2019)

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية