باختصار
قدّموا أصغر نموذج يبلغ مستوى الجودة المطلوب، على بيئة تشغيل مصمَّمة للاستدلال، مع تفعيل التجميع في دفعات، وبأوزان بنصف الدقة أو مكمّمة، ومع تفعيل مسارات الانتباه والذاكرة المؤقتة المحسّنة في المكتبة. ثم اختبروا بيئتي تشغيل أو ثلاثًا وخيارات عتاد بحركتكم الفعلية، واختاروا بناءً على الطاقة لكل طلب إلى جانب زمن الاستجابة.
الخطوات
- تأكدوا من أن النموذج هو الأصغر الذي يبلغ مستوى الجودة المطلوب.
- قدّموه بمحرك استدلال يدعم التجميع المستمر.
- حمّلوا الأوزان بنصف الدقة أو بصيغة تكميم مُختبَرة.
- فعّلوا الانتباه الفعّال وذاكرة مؤقتة ثابتة للمفاتيح والقيم حيث تدعمها مكتبتكم.
- اختبروا بيئتي تشغيل أو ثلاثًا وأنواعًا من GPU بأحجام دفعاتكم الفعلية.
- قلّصوا الموارد أو أوقفوها تمامًا حين تكون الحركة منخفضة.
تُنفق معظم طاقة النموذج طوال عمره على خدمته، لذا فإعدادات الخدمة مهمة. ونادرًا ما تكون الإعدادات الافتراضية الخيار الأكفأ، والمسارات المحسّنة تحتاج في العادة إلى تفعيل.
ما الذي يُحدث الفرق الأكبر؟
- التجميع في دفعات. المسرّع الذي يخدم طلبًا واحدًا في كل مرة يكون مستغَلًّا دون طاقته لكنه يظل يسحب الكهرباء. أفاد Kwon وزملاؤه بأن vLLM، بفضل إدارة ذاكرة التخزين المؤقت للمفاتيح والقيم على هيئة صفحات، حقق إنتاجية تبلغ 2 إلى 4 أضعاف الأنظمة السابقة عند زمن الاستجابة نفسه. انظروا كيف تجمّعون طلبات الذكاء الاصطناعي في دفعات.
- الدقة العددية. يحتاج نموذج بنصف الدقة أو نموذج مكمّم مُختبَر إلى ذاكرة أقل، وكثيرًا ما يحتاج إلى وحدات GPU أقل.
- مسارات الشيفرة المحسّنة. توثّق Hugging Face تطبيقات انتباه فعّالة وذاكرة مؤقتة ثابتة للمفاتيح والقيم مقترنة بـ
torch.compile، وتقول إنها قد تحقق تسريعًا يصل إلى 4 أضعاف. - بيئة تشغيل وعتاد مختاران بناءً على الأدلة. توصي Green Software Foundation باختيار أطر عمل وبيئات تشغيل استدلال فعّالة؛ اختبروها بدلًا من استخدام ما دُرّب به النموذج أيًّا كان.
أخطاء شائعة
- اعتبار السرعة مرادفة للطاقة. فقد خفّض باحثو GreenCode العاملون على llama.cpp طاقة GPU بنسبة 4.7% بينما ارتفعت السرعة 3% فقط: والمقياسان يرويان قصتين مختلفتين. قيسوا الاثنين.
- الاختبار بحجم دفعة واحد بينما يعمل الإنتاج بتزامن أعلى بكثير، أو العكس.
- ترك النسخ المتماثلة تعمل طوال الليل لحركة غير موجودة. انظروا كيف تمنعون بقاء وحدات GPU خاملة.
- عدم تسخين النماذج المُترجَمة قبل القياس، ما يشوّه الأرقام.
للاطلاع على مجموعة الأدوات كاملة، اقرؤوا التدريب والاستدلال بكفاءة.
المصادر
- Optimizing inference, Hugging Face Transformers documentation (2026)
- Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
- GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
- Green Software Patterns: select efficient ML frameworks and inference runtimes, Green Software Foundation (2025)
ذو صلة
كيف أجمّع طلبات الذكاء الاصطناعي في دفعات لتوفير الطاقة؟
كيف يرفع التجميع في دفعات استغلال المسرّعات ويخفّض الطاقة لكل إجابة: التجميع المستمر للحركة الحية، والدفعات المؤجلة في طابور للعمل غير المتصل.
كيف أجري تكميمًا (quantisation) لنموذج ذكاء اصطناعي؟
كيف تكمّمون نموذج ذكاء اصطناعي إلى 8 أو 4 بتات: أي الأدوات تستخدمون، وكيف تختبرون الجودة، ومتى يوفّر التكميم الطاقة ومتى لا يوفّرها.
كيف أسرّع نموذجًا كبيرًا باستخدام فك الترميز التخميني (speculative decoding)؟
كيف يتيح فك الترميز التخميني لنموذج مسودة صغير أن يقترح رموزًا يتحقق منها نموذج كبير، فيعطي إجابات أسرع بنواتج مطابقة.
تدريب الذكاء الاصطناعي واستدلاله بكفاءة
تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.