باختصار
ابدؤوا من نموذج مدرَّب مسبقًا، ودرّبوا محوّلًا صغيرًا بدلًا من جميع أوزانه، باستخدام LoRA، أو QLoRA مع أوزان 4-bit. فقد خفّضت LoRA المعاملات القابلة للتدريب بمقدار 10,000 مرة وذاكرة GPU بمقدار ثلاث مرات مقارنة بالضبط الدقيق الكامل لـGPT-3، وضبطت QLoRA نموذجًا من 65 مليار معامل على GPU واحدة بسعة 48 GB. قارنوا النتيجة بمستوى الجودة المطلوب قبل التفكير في أي شيء أكبر.
الخطوات
- تحققوا مما إذا كانت صياغة الموجّهات (prompting) أو الاسترجاع تلبي حاجتكم قبل الضبط الدقيق أصلًا.
- اختاروا أصغر نموذج مدرَّب مسبقًا يقترب من المطلوب في مهمتكم.
- اضبطوا محوّل LoRA، أو QLoRA إن كانت الذاكرة محدودة.
- استخدموا مجموعة بيانات صغيرة ونظيفة وخاصة بالمهمة، وتوقفوا مبكرًا حين يتوقف التحسن في التحقق.
- تتبّعوا الطاقة بأداة لتتبّع الانبعاثات وسجّلوها مع النتائج.
كيّفوا جزءًا صغيرًا من نموذج مدرَّب مسبقًا بدلًا من إعادة تدريبه كله. فالضبط الدقيق الموفّر للمعاملات يحقق معظم فوائد الضبط الدقيق الكامل بجزء صغير من الحوسبة.
لماذا يهم ذلك؟
يحدّث الضبط الدقيق الكامل كل وزن، وهذا يحتاج إلى عناقيد GPU كبيرة وعمليات تشغيل طويلة. وأظهر Hu وزملاؤه أن LoRA (التكييف منخفض الرتبة)، التي تدرّب مصفوفات إضافية صغيرة بجانب أوزان مجمّدة، يمكن أن تخفّض المعاملات القابلة للتدريب بمقدار 10,000 مرة وذاكرة GPU بمقدار ثلاث مرات مقارنة بالضبط الدقيق لـGPT-3 175B. وتجمع QLoRA التي طوّرها Dettmers وزملاؤه بين هذا وأوزان 4-bit، وقد ضبطت نموذجًا من 65 مليار معامل على GPU واحدة بسعة 48 GB.
كيف أفعل ذلك؟
- شكّكوا في الحاجة. فالضبط الدقيق يعلّم المهارات والأسلوب؛ وهو طريقة سيئة لإضافة معلومات متغيرة. راجعوا الاسترجاع أم الضبط الدقيق.
- ابدؤوا صغارًا. فنموذج صغير مضبوط ضبطًا دقيقًا على مهمتكم قد يضاهي نموذجًا عامًا أكبر بكثير في تلك المهمة.
- استخدموا مكتبة محوّلات. تدعم مكتبات مفتوحة المصدر شائعة LoRA وQLoRA ببضعة أسطر من الإعدادات.
- أبقوا البيانات محكمة. فالأمثلة الأقل والأنظف تدرّب أسرع. أزيلوا التكرارات.
- قيسوا. غلّفوا عملية التشغيل بأداة تتبّع مثل CodeCarbon، وسجّلوا الطاقة بجانب الدقة.
أخطاء شائعة
- الضبط الدقيق لأكبر نموذج متاح قبل اختبار نموذج أصغر.
- عمليات تشغيل طويلة من دون إيقاف مبكر، تواصل الإنفاق بعد أن تستقر الجودة.
- إعادة التدريب مع كل تحديث للبيانات بدلًا من تحديث فهرس الاسترجاع.
لمزيد من تقنيات التدريب، اقرؤوا التدريب والاستدلال الفعّالان.
المصادر
- LoRA: low-rank adaptation of large language models, Hu et al. (2021)
- QLoRA: efficient finetuning of quantized LLMs, Dettmers, Pagnoni, Holtzman and Zettlemoyer (2023)
- Green Software Patterns: leverage pre-trained models and transfer learning, Green Software Foundation (2025)
- CodeCarbon, CodeCarbon (2026)
ذو صلة
كيف أتجنب تدريب نموذج من الصفر؟
كيف تعيدون استخدام النماذج الموجودة بدلًا من التدريب المسبق لنموذجكم: الضبط الدقيق، أو التكييف بـ LoRA، أو دمج النماذج المضبوطة، أو استرجاع المعرفة.
هل أستخدم الاسترجاع (RAG) أم الضبط الدقيق لتوفير الطاقة؟
متى تستخدمون الاسترجاع (RAG) ومتى تلجؤون إلى الضبط الدقيق: الاسترجاع للحقائق المتغيرة، والضبط الدقيق للمهارات والأسلوب، ولماذا يهدر الخلط بينهما الطاقة.
كيف أقيس البصمة الكربونية لتدريب نموذج ذكاء اصطناعي؟
تتبّعوا طاقة جولة التدريب بأداة مثل CodeCarbon، واضربوها في كثافة الكربون في الشبكة المحلية، وأبلغوا عن العتاد والمدة والموقع.
تدريب الذكاء الاصطناعي واستدلاله بكفاءة
تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.