باختصار
ابحثوا عن نموذج مدرَّب مسبقًا قريب من مهمتكم، ثم كيّفوه: اضبطوه ضبطًا دقيقًا، أو درّبوا محوّلًا صغيرًا مثل LoRA، أو أضيفوا المعرفة عبر الاسترجاع بدلًا من إعادة التدريب. وحيث تملكون أصلًا عدة نماذج مضبوطة من الأساس نفسه، قد يحسّن حساب متوسط أوزانها الدقة دون كلفة استدلال إضافية. ونادرًا ما يكون التدريب من الصفر ضروريًا خارج أبحاث النماذج التأسيسية.
الخطوات
- ابحثوا في مستودعات النماذج العامة عن نماذج مدرَّبة مسبقًا في مجالكم ولغتكم.
- اختبروا أقرب المرشحين على مهمتكم قبل أن تقرروا أن شيئًا ما ينقصها.
- اضبطوا نموذجًا ضبطًا دقيقًا أو درّبوا محوّل LoRA على بياناتكم.
- استخدموا الاسترجاع للمعرفة المتغيرة بدلًا من إعادة التدريب.
- أعيدوا استخدام النماذج المضبوطة من الأساس نفسه وادمجوها حيث تتوفر لديكم.
- انشروا نموذجكم المضبوط وانبعاثات تدريبه حتى يتمكن غيركم من إعادة استخدامه.
أعيدوا الاستخدام أولًا. فغالبًا ما يكون أحدهم قد درّب نموذجًا قريبًا مما تحتاجون إليه، وتكييفه يكلّف جزءًا صغيرًا من كلفة تدريب نموذجكم الخاص.
لماذا يهم ذلك؟
التدريب المسبق هو أكثر مراحل حياة النموذج استهلاكًا للطاقة. وتوصي أنماط Green Software Foundation بالاستفادة من النماذج المدرَّبة مسبقًا ومن التعلم بالنقل بدلًا من التدريب من الصفر. كما لاحظت ورشة عمل مكثفة (sandpit) بريطانية عن الذكاء الاصطناعي الأخضر عام 2026، ضمّت علماء رياضيات وعلماء حاسوب وممثلين عن الصناعة، أن كثيرًا من العمل المفيد موجود في مستودعات غير معروفة، لذا فالبحث المتأني هو الخطوة الأولى في أي مشروع.
ما الخيارات المتاحة؟
- الضبط الدقيق لنموذج مدرَّب مسبقًا على بياناتكم. فباستخدام LoRA، خفّض Hu وزملاؤه عدد المعاملات القابلة للتدريب 10,000 مرة مقارنة بالضبط الدقيق الكامل لـ GPT-3 175B. انظروا كيف تضبطون نموذجًا دون حوسبة هائلة.
- الاسترجاع للمعرفة المتغيرة: انظروا الاسترجاع أم الضبط الدقيق.
- دمج النماذج. أظهر Wortsman وزملاؤه أن حساب متوسط أوزان عدة نماذج مضبوطة من الأساس نفسه، أو ما يُسمى "حساء النماذج" (model soup)، قد يحسّن الدقة دون زيادة وقت الاستدلال.
- التقطير إلى نموذج صغير متخصص: انظروا كيف تقطّرون نموذجًا.
أخطاء شائعة
- افتراض أن مجالكم متخصص أكثر من اللازم. اختبروا النماذج العامة ونماذج المجال أولًا؛ فهي كثيرًا ما تقترب من المطلوب.
- تجاهل التراخيص، التي قد تمنع بعض أشكال إعادة الاستخدام.
- عدم المشاركة بالمقابل. فنشر نموذجكم المضبوط، مع انبعاثات التدريب في البيانات الوصفية لبطاقة النموذج كما يدعم Hugging Face، يوفّر على غيركم تكرار عملكم.
للاطلاع على الجانب البحثي، اقرؤوا الرياضيات من أجل ذكاء اصطناعي فعّال.
المصادر
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al., ICML (2022)
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- Displaying carbon emissions for your model, Hugging Face Hub documentation (2026)
ذو صلة
كيف أضبط نموذجًا ضبطًا دقيقًا من دون حوسبة ضخمة؟
كيف تكيّفون نموذجًا مدرَّبًا مسبقًا بالضبط الدقيق الموفّر للمعاملات مثل LoRA وQLoRA، ليتسع على GPU واحدة ويستهلك طاقة أقل بكثير.
هل أستخدم الاسترجاع (RAG) أم الضبط الدقيق لتوفير الطاقة؟
متى تستخدمون الاسترجاع (RAG) ومتى تلجؤون إلى الضبط الدقيق: الاسترجاع للحقائق المتغيرة، والضبط الدقيق للمهارات والأسلوب، ولماذا يهدر الخلط بينهما الطاقة.
كيف أقلل الطاقة المستهلكة في تدريب نموذج ذكاء اصطناعي؟
الروافع الرئيسية لخفض طاقة التدريب: ابدؤوا بنموذج مدرّب مسبقًا، واختاروا الحجم المناسب، واستخدموا الدقة المختلطة، وتوقفوا مبكرًا، واختاروا أماكن وأوقاتًا نظيفة، وقيسوا.
الرياضيات التي تجعل الذكاء الاصطناعي أكثر كفاءة
التقليم والتناثر والرسم العشوائي ونظرية المصفوفات العشوائية والنماذج المستنيرة بالفيزياء: كيف تقلّص الرياضيات الحوسبة والذاكرة والطاقة التي يحتاج إليها الذكاء الاصطناعي.