باختصار
ابدؤوا من أصغر نموذج يمكن أن يبلغ مستوى الجودة المطلوب، ثم صغّروه أكثر بالتقطير والتكميم والتقليم، مع اختبار كل خطوة على الجهاز المستهدف. وقيسوا الطاقة لكل عملية استدلال وزمن الاستجابة والدقة معًا على العتاد الفعلي، واجعلوا النموذج يتراجع إلى مستوى أخف حين تنخفض البطارية أو يسخن الجهاز.
الخطوات
- حدّدوا مستوى للجودة وميزانية للذاكرة وزمن الاستجابة والطاقة للجهاز المستهدف.
- ابدؤوا من نموذج صغير أو مقطَّر بدلًا من تصغير نموذج عام كبير.
- كمّموا الأوزان إلى 8 أو 4 bits وتحققوا من الدقة على حالات الاختبار الخاصة بكم.
- قلّموا الأوزان قليلة الإسهام، ثم أعيدوا الاختبار على الجهاز.
- قيسوا الطاقة لكل عملية استدلال وزمن الاستجابة والدقة معًا على العتاد الفعلي.
- انتقلوا إلى نموذج أصغر أو معدل أقل حين تنخفض البطارية أو يسخن الجهاز.
اجمعوا بين نموذج بداية صغير والتقطير والتكميم والتقليم، وقيّموا كل خطوة على الجهاز نفسه. فالأجهزة الطرفية ذاكرتها قليلة وكثيرًا ما تعمل بالبطاريات، لذا فالنموذج الكبير جدًا إما لا يتسع لها وإما يستنزفها فتُخفّض أداءها. وضبط الحجم الصحيح يعني أيضًا أن البيانات لا تحتاج إلى أن تُرسل إلى السحابة.
أي التقنيات تصغّر النموذج أكثر؟
- التقطير يدرّب "طالبًا" صغيرًا على محاكاة "معلّم" كبير. فقد كان DistilBERT أصغر من BERT بنسبة 40% وأسرع منه بنسبة 60%، مع احتفاظه بنسبة 97% من قدرته على فهم اللغة.
- التكميم يخزّن الأوزان بعدد أقل من البتات. وتضرب وثائق Hugging Face مثالًا بنموذج من 8 مليارات معامل يحتاج إلى نحو 16 GB لأوزانه بدقة 16-bit، ونحو 8 GB بدقة 8 bits، ونحو 4–5 GB بدقة 4 bits، مع بعض الخسارة في الدقة. راجعوا كيف تكمّمون نموذجًا.
- التقليم يزيل الأوزان التي تكاد لا تؤثر في المخرجات. راجعوا كيف تقلّمون شبكة عصبية.
كيف ينبغي أن يتصرف النموذج على الجهاز؟
يوصي نمط الذكاء الاصطناعي على الأجهزة الطرفية من Green Software Foundation بتتبّع الطاقة لكل عملية استدلال وزمن الاستجابة والدقة معًا، والتكيف مع الظروف: نموذج أصغر أو تكرار أقل للاستدلال حين تنخفض البطارية أو يسخن الجهاز.
أخطاء شائعة
- الاختبار على حاسوب محمول فقط. فالمسرّعات والذاكرة والحدود الحرارية تختلف؛ قيسوا على العتاد المستهدف.
- التصغير إلى ما دون مستوى الجودة. فالنموذج الذي يفشل ويضطر إلى استدعاء السحابة كبديل احتياطي قد يكلّف أكثر مما يوفّر.
- تشغيل الاستدلال باستمرار. شغّلوه عند وقوع أحداث حيث أمكن، بدلًا من كل إطار أو كل ثانية.
أيهما أكثر مراعاة للبيئة، الجهاز الطرفي أم السحابة، يتوقف على الحالة: راجعوا الجهاز الطرفي أم السحابة و الذكاء الاصطناعي على الأجهزة الطرفية.
المصادر
- Optimize power consumption for edge AI inference, Green Software Foundation, Green Software Patterns (2025)
- Run AI models at the edge, Green Software Foundation, Green Software Patterns (2025)
- Quantization overview, Hugging Face Transformers documentation (2026)
- DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
ذو صلة
كيف أجري تكميمًا (quantisation) لنموذج ذكاء اصطناعي؟
كيف تكمّمون نموذج ذكاء اصطناعي إلى 8 أو 4 بتات: أي الأدوات تستخدمون، وكيف تختبرون الجودة، ومتى يوفّر التكميم الطاقة ومتى لا يوفّرها.
كيف أقطّر نموذجًا كبيرًا إلى نموذج أصغر؟
كيف يعمل تقطير المعرفة: استخدموا نموذجًا معلّمًا كبيرًا لتدريب نموذج طالب صغير على مهمتكم، ثم اختبروه واحتفظوا بالنموذج الكبير احتياطيًا.
هل أشغّل الذكاء الاصطناعي على جهازي أم في السحابة؟
كيف توازنون الذكاء الاصطناعي على الجهاز (الحافة) بالذكاء الاصطناعي السحابي من حيث الطاقة والخصوصية والجودة، وأي المهام تناسب كلًّا منهما، مع تحفظات صادقة على الأدلة.
الحافة أم السحابة: أين ينبغي أن يعمل الذكاء الاصطناعي؟
كيف توازنون بين الذكاء الاصطناعي على الجهاز وعلى الحافة ومراكز البيانات المركزية: الطاقة والشبكة والعتاد والخصوصية والصمود، مع طريقة متدرجة لاتخاذ القرار.