greenai.guide

الرئيسية › كيف أفعل…؟ › كيف أقلل الطاقة المستهلكة في تدريب نموذج ذكاء اصطناعي؟

كيف أفعل…؟

كيف أقلل الطاقة المستهلكة في تدريب نموذج ذكاء اصطناعي؟

تاريخ التحديث · مدة القراءة: 1 دقيقة

باختصار

ابدؤوا من نموذج مدرّب مسبقًا حيث أمكن، واختاروا أصغر بنية يمكنها بلوغ المستوى المطلوب، ودرّبوا بالدقة المختلطة، وتوقفوا حين يتوقف التحسن في التحقق، وشغّلوا التدريب على عتاد فعّال في منطقة وزمن منخفضَي الكربون. وجد Patterson وزملاؤه أن اختيار النموذج ومركز البيانات والمعالج يمكن أن يخفض البصمة الكربونية للتدريب بما يصل إلى نحو 100 إلى 1,000 ضعف. قيسوا كل جولة لتظهر المفاضلات بوضوح.

الخطوات

  1. تحققوا إن كان يمكن ضبط نموذج مدرّب مسبقًا ضبطًا دقيقًا بدلًا من التدريب من الصفر.
  2. جرّبوا الأفكار على نطاق صغير قبل إطلاق جولة كاملة.
  3. درّبوا بالدقة المختلطة وتوقفوا مبكرًا حين يتوقف التحسن في التحقق.
  4. شغّلوا التدريب على مسرّعات فعّالة في منطقة منخفضة الكربون، وجدولوا الجولات المرنة في ساعات أنظف.
  5. احفظوا نقاط التحقق حتى يمكن إيقاف الجولات واستئنافها وتجنّب البدء من جديد.
  6. تتبّعوا الطاقة والانبعاثات لكل جولة، بما فيها الجولات الفاشلة.

تتحدد طاقة التدريب في معظمها بقرارات تُتخذ قبل بدء الجولة. فما الذي تدرّبونه، وعلى أي عتاد، وأين ومتى، أهم من أي تعديل أثناء الجولة.

لماذا يهم ذلك؟

قاست ورقة Strubell وGanesh وMcCallum لعام 2019 الكلفة المالية والبيئية لتدريب النماذج اللغوية واقترحت طرقًا لخفضها. ثم وجد Patterson وزملاؤه أن اختيار بنية النموذج ومركز البيانات والمعالج يمكن أن يخفض البصمة الكربونية للتدريب بما يصل إلى نحو 100 إلى 1,000 ضعف.

ما الذي يُحدث الفرق الأكبر؟

  1. عدم التدريب من الصفر. فالضبط الدقيق لنموذج مدرّب مسبقًا، أو لمحوِّل (adapter) مضاف إليه، يكلّف عادةً جزءًا ضئيلًا من التدريب المسبق. راجعوا كيف تتجنبون التدريب من الصفر.
  2. اختيار الحجم المناسب. فبنية أصغر تبلغ المستوى المطلوب أفضل من بنية كبيرة تتجاوزه.
  3. الدقة المختلطة. التدريب بنصف الدقة مع نسخة رئيسية كاملة الدقة خفّض استخدام الذاكرة إلى النصف تقريبًا في عمل Micikevicius وزملائه، فأتاح وضع دفعات أكبر على العتاد نفسه.
  4. الإيقاف المبكر. أنهوا الجولات حين تستقر خسارة التحقق.
  5. المكان والزمان. اختاروا مسرّعات فعّالة ومنطقة منخفضة الكربون، وشغّلوا المهام المرنة حين تكون الشبكة أنظف: راجعوا كيف تجدولون التدريب.

أخطاء شائعة

للاطلاع على مجموعة الأدوات الكاملة، اقرؤوا التدريب والاستدلال الفعّالان.

المصادر

  1. Carbon emissions and large neural network training, Patterson et al. (2021)
  2. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  3. Energy and policy considerations for deep learning in NLP, Strubell, Ganesh and McCallum, ACL (2019)
  4. CodeCarbon, CodeCarbon (2026)
ممارسات جيدة

تدريب الذكاء الاصطناعي واستدلاله بكفاءة

تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.

كيف أفعل…؟

كيف أتجنب تدريب نموذج من الصفر؟

كيف تعيدون استخدام النماذج الموجودة بدلًا من التدريب المسبق لنموذجكم: الضبط الدقيق، أو التكييف بـ LoRA، أو دمج النماذج المضبوطة، أو استرجاع المعرفة.

كيف أفعل…؟

كيف أجدول تدريب النماذج في الأوقات التي تكون فيها شبكة الكهرباء أنظف؟

شغّلوا مهام التدريب والذكاء الاصطناعي الدفعية حين تكون كثافة الكربون في الشبكة منخفضة: استخدموا التوقعات، واجعلوا المهام قابلة للإيقاف بنقاط التحقق، وتمسّكوا بالمواعيد النهائية.

كيف أفعل…؟

كيف أقيس البصمة الكربونية لتدريب نموذج ذكاء اصطناعي؟

تتبّعوا طاقة جولة التدريب بأداة مثل CodeCarbon، واضربوها في كثافة الكربون في الشبكة المحلية، وأبلغوا عن العتاد والمدة والموقع.

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية