greenai.guide

الرئيسية › كيف أفعل…؟ › كيف أخزّن بيانات تدريب الذكاء الاصطناعي بحيث تقرأ خطوط المعالجة قدرًا أقل؟

كيف أفعل…؟

كيف أخزّن بيانات تدريب الذكاء الاصطناعي بحيث تقرأ خطوط المعالجة قدرًا أقل؟

تاريخ التحديث · مدة القراءة: 1 دقيقة

باختصار

خزّنوا بيانات التدريب والسمات بصيغة عمودية حتى لا تقرأ المهام إلا الأعمدة والأقسام التي تستخدمها، وحوّلوا النص الخام إلى صيغة ثنائية مرة واحدة بدل إعادة تحليله في كل تشغيل أو حقبة (epoch). قيسوا مهمة نموذجية قبل التحويل وبعده للتحقق من أنه يعوّض كلفته. فمن السهل إغفال التعامل مع البيانات إلى جانب النموذج، لكنه يجري في كل تجربة.

الخطوات

  1. حدّدوا خطوط المعالجة التي تقرأ ملفات نصية مثل CSV أو JSON كاملة في كل تشغيل.
  2. حوّلوها مرة واحدة إلى صيغة عمودية أو ثنائية.
  3. قسّموا البيانات حسب الحقول التي تصفّون بها، مثل التاريخ أو المصدر.
  4. عالجوا البيانات مسبقًا وقسّموها إلى رموز (tokens) مرة واحدة، وأعيدوا استخدام النتيجة عبر مرات التشغيل والحقب.
  5. احذفوا البيانات المكررة وغير المستخدمة قبل التدريب.
  6. وقّتوا مهمة نموذجية وقيسوها قبل التغيير وبعده.

اجعلوا كل مهمة تقرأ ما تستخدمه فقط، وتحلّله مرة واحدة فقط. فبيانات التدريب كثيرًا ما تكون في ملفات نصية تُقرأ وتُحلَّل كاملة في كل مرة، حتى حين لا يحتاج النموذج إلا إلى عدد قليل من الأعمدة.

لماذا يهم ذلك؟

تكلّف قراءة البيانات وتحليلها وقتًا من المعالج وذاكرةً وحركةً في التخزين في كل تشغيل وكل حقبة وكل تجربة. وفي البحث والتطوير، حيث تُعالَج مجموعة البيانات نفسها مئات المرات، تتراكم هذه الكلفة. ويوصي نمط Green Software Foundation الخاص بصيغ تخزين البيانات للذكاء الاصطناعي بالصيغ العمودية، حتى لا تقرأ المهام إلا الأعمدة والأقسام التي تحتاج إليها، وبتحويل البيانات إلى صيغة ثنائية مرة واحدة بدل إعادة تحليل النص.

ما الذي ينبغي أن أغيّره؟

  • الصيغ العمودية مثل Parquet تخزّن كل عمود على حدة، فالمهمة التي تستخدم خمسة أعمدة من خمسين تقرأ نحو عُشر البيانات.
  • التقسيم حسب التاريخ أو المصدر أو التصنيف يتيح للمهمة تخطي ملفات كاملة لا تحتاج إليها.
  • مجموعات البيانات المقسّمة مسبقًا إلى رموز توفّر تكرار معالجة النص نفسها في كل حقبة.
  • إزالة التكرار تقلّص مجموعة البيانات، ومعها تشغيل التدريب.

أخطاء شائعة

  • تحويل بيانات تُقرأ مرة واحدة. فللتحويل كلفة أيضًا؛ وهو يعوّضها في البيانات التي تُقرأ مرارًا.
  • الاحتفاظ بكل نسخة وسيطة. فالنسخ القديمة المعالَجة مسبقًا تملأ تخزينًا له بصمته الخاصة.
  • عدم القياس. غلّفوا مهمة نموذجية بأداة تتبع مثل CodeCarbon، أو وقّتوها على الأقل، قبل التغيير وبعده.

لوفورات من جهة النموذج، انظروا كيف تخفّضون طاقة تدريب نموذج.

المصادر

  1. Green Software Patterns: optimise data storage formats for AI training and inference, Green Software Foundation (2025)
  2. CodeCarbon, CodeCarbon (2026)
كيف أفعل…؟

كيف أقلل الطاقة المستهلكة في تدريب نموذج ذكاء اصطناعي؟

الروافع الرئيسية لخفض طاقة التدريب: ابدؤوا بنموذج مدرّب مسبقًا، واختاروا الحجم المناسب، واستخدموا الدقة المختلطة، وتوقفوا مبكرًا، واختاروا أماكن وأوقاتًا نظيفة، وقيسوا.

كيف أفعل…؟

كيف أجعل البحث المتجهي وRAG أكثر كفاءة؟

طرق لخفض حوسبة التوليد المعزّز بالاسترجاع: فهارس تقريبية، ومقاطع أقل وأقصر، وفهرسة تدريجية، ونماذج أصغر.

ممارسات جيدة

تدريب الذكاء الاصطناعي واستدلاله بكفاءة

تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.

كيف أفعل…؟

كيف أقيس الطاقة التي يستهلكها الذكاء الاصطناعي على حاسوبي أو وحدة معالجة الرسومات لديّ؟

قيسوا طاقة الذكاء الاصطناعي المحلي بعدّادات العتاد أو بيانات قياس GPU أو مقياس يوصل بالمقبس، وخذوا عينات طوال المهمة واطرحوا خط الأساس في وضع الخمول.

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية