باختصار
قدّروا ساعات وحدات معالجة الرسومات (GPU) التي تحتاج إليها تجاربكم الرئيسية، وأضيفوا هامشًا للاستكشاف، وتتبّعوا الاستخدام مقابل تلك الميزانية كما تتبّعون المال. جرّبوا الأفكار على نطاق صغير، وأوقفوا الجولات الضعيفة مبكرًا، وأعيدوا استخدام النماذج المدرّبة مسبقًا ونقاط التحقق، وأبلغوا عن النتائج مقابل الحوسبة التي استهلكتها. فالميزانية تجعل المفاضلات واضحة وتوقف الضبط الذي لا ينتهي.
الخطوات
- قدّروا ساعات وحدات معالجة الرسومات للتجارب الرئيسية وأضيفوا هامشًا محددًا للاستكشاف.
- أجروا تجارب أولية صغيرة لاستبعاد الأفكار قبل التوسع.
- تتبّعوا ساعات وحدات معالجة الرسومات والطاقة لكل تجربة مقابل الميزانية.
- استخدموا الإيقاف المبكر للجولات الضعيفة بدلًا من عمليات البحث الشبكي الكبيرة.
- أعيدوا استخدام النماذج المدرّبة مسبقًا ونقاط التحقق حيث تناسب.
- أبلغوا عن النتائج مقابل الحوسبة، مثل الدقة لكل كيلوواط ساعة.
قرّروا مسبقًا مقدار الحوسبة التي يجوز للمشروع استخدامها، وتتبّعوه. فمن دون ميزانية تبدو الجولات الإضافية مجانية، ولا تُوزن طاقة مكسب صغير في الدقة مقابله أبدًا.
كيف أقدّر الميزانية؟
انطلقوا من التجارب الواردة في خطتكم: حجم النموذج وحجم البيانات وعدد الجولات تعطي عددًا تقريبيًا من ساعات وحدات معالجة الرسومات. وتحوّل حاسبة Green Algorithms من Lannelongue وGrealey وInouye العتاد ومدة التشغيل والذاكرة والموقع إلى تقدير للطاقة والكربون، وهو ما يساعدكم على فهم ما تعنيه الميزانية. وأضيفوا هامشًا صريحًا للاستكشاف بدلًا من تركه مفتوحًا.
ما الذي يُبقي المشروع ضمن الميزانية؟
- التجارب الأولية الصغيرة أولًا. استبعدوا الأفكار على نماذج صغيرة ومجموعات فرعية من البيانات.
- عمليات بحث فعّالة. أوقفوا الجولات الضعيفة مبكرًا؛ راجعوا خفض طاقة عمليات البحث عن المعاملات الفائقة.
- إعادة الاستخدام. ابدؤوا من نماذج مدرّبة مسبقًا ونقاط تحقق محفوظة؛ راجعوا تجنّب التدريب من الصفر.
- اختيار مكان التشغيل والعتاد. وجد Patterson وزملاؤه أن اختيار النموذج ومركز البيانات والمعالج يمكن أن يخفض البصمة الكربونية للتدريب بما يصل إلى نحو 100 إلى 1,000 ضعف.
أخطاء شائعة
- وضع ميزانية للجولات النهائية فقط. فالاستكشاف يمثل عادةً معظم الحوسبة.
- غياب نقاط التحقق، فيعني أي عطل البدء من جديد.
- الإبلاغ عن أفضل دقة فقط، وهو ما يكافئ الإنفاق الأكبر.
تقدّم مبادئ GREENER من Lannelongue وزملائه إطارًا للمجموعات البحثية والمؤسسات. راجعوا دليل الباحثين.
المصادر
- GREENER principles for environmentally sustainable computational science, Lannelongue et al., Nature Computational Science (2023)
- Green Algorithms: quantifying the carbon footprint of computation, Lannelongue, Grealey and Inouye, Advanced Science (2021)
- Carbon emissions and large neural network training, Patterson et al. (2021)
ذو صلة
كيف أقلل الطاقة المستهلكة في البحث عن المعاملات الفائقة؟
كيف تضبطون النماذج بحوسبة أقل: بحث أذكى من الشبكات الكاملة، وإيقاف مبكر للتجارب الضعيفة، وتجارب أولية صغيرة، وقيم افتراضية جيدة، وميزانية محددة.
كيف أُبلغ عن استهلاك الطاقة في بحثي عن الذكاء الاصطناعي؟
ما الذي تضعونه في الورقة البحثية عن الحوسبة والطاقة: العتاد، وساعات GPU لكل الجولات، والطاقة، والموقع، والكربون، وكلفة الاستدلال، وحدود القياس.
كيف أقلل البصمة البيئية لتجارب الذكاء الاصطناعي على عنقود حوسبة بحثي؟
خفّضوا طاقة تجارب الذكاء الاصطناعي على الحوسبة عالية الأداء: اقرؤوا محاسبة الطاقة في Slurm، واطلبوا ما تستخدمونه فقط، وجرّبوا على نطاق صغير، واحفظوا نقاط التحقق.
الذكاء الاصطناعي الأخضر للباحثين
دليل للباحثين عن الأساليب الموفّرة في الذكاء الاصطناعي، وقياس الطاقة والإبلاغ عنها في الأوراق البحثية، وميزانيات الحوسبة، والتمويل، ومواضع إسهام الرياضيات.