greenai.guide

الرئيسية › كيف أفعل…؟ › كيف أجمّع طلبات الذكاء الاصطناعي في دفعات لتوفير الطاقة؟

كيف أفعل…؟

كيف أجمّع طلبات الذكاء الاصطناعي في دفعات لتوفير الطاقة؟

تاريخ التحديث · مدة القراءة: 1 دقيقة

باختصار

قدّموا الحركة الحية بمحرك استدلال يستخدم التجميع المستمر، حتى تتشارك الطلبات المتزامنة المسرّع. وضعوا في طابور العمل الذي لا يحتاج إلى إجابة فورية، مثل معالجة المستندات ليلًا، وشغّلوه في دفعات كبيرة، ويُفضَّل أن يكون ذلك حين تكون الشبكة أنظف. فالمسرّع الذي يخدم طلبًا واحدًا في كل مرة يكون مستغَلًّا دون طاقته لكنه يظل يسحب قدرًا كبيرًا من الكهرباء.

الخطوات

  1. افصلوا الطلبات التفاعلية عن العمل الذي يمكنه الانتظار دقائق أو ساعات.
  2. قدّموا الحركة التفاعلية بمحرك يدعم التجميع المستمر.
  3. ضعوا العمل غير العاجل في طابور وعالجوه في دفعات.
  4. استخدموا واجهة الدفعات لدى مزوّدكم للنماذج المستضافة حيثما وُجدت.
  5. قيسوا الطاقة لكل طلب بأحجام الدفعات الفعلية، إلى جانب زمن الاستجابة.

يتيح التجميع في دفعات لتمريرة واحدة من العتاد أن تخدم طلبات كثيرة. فالطاقة لكل إجابة تعتمد اعتمادًا كبيرًا على مدى انشغال المسرّع.

لماذا يهم ذلك؟

تسحب وحدات GPU قدرًا كبيرًا من الكهرباء حتى عندما يكون حملها خفيفًا، لذا فإن خدمة الطلبات واحدًا تلو الآخر توزّع تلك الكهرباء على عدد قليل جدًا من الإجابات. وأفاد Kwon وزملاؤه بأن vLLM، بفضل التجميع المستمر وإدارة ذاكرة التخزين المؤقت للمفاتيح والقيم على هيئة صفحات، حسّن الإنتاجية بمقدار 2 إلى 4 مرات عند زمن الاستجابة نفسه مقارنة بالأنظمة السابقة. كما تتناول وثائق الاستدلال لدى Hugging Face التجميع المستمر.

نوعان من التجميع في دفعات

  • التجميع المستمر للحركة الحية. يضيف محرك الخدمة الطلبات الجديدة إلى دفعة قيد التشغيل كلما انتهت طلبات أخرى، فلا ينتظر المستخدمون امتلاء الدفعة. استخدموا محركًا يدعم ذلك بدلًا من حلقة بسيطة تعالج طلبًا واحدًا في كل استدعاء.
  • دفعات غير متصلة للعمل الذي يمكنه الانتظار. تلخيص مستندات الأمس أو وسم أرشيف أو تقييم مجموعة بيانات لا يحتاج إلى إجابات فورية. ضعوه في طابور وعالجوه بالجملة. وتوصي Green Software Foundation بتشغيل أعباء الذكاء الاصطناعي المجمّعة في مناطق وأوقات منخفضة الكربون حيث يكون زمن الاستجابة أقل أهمية؛ انظروا كيف تجدولون العمل حين تكون الشبكة أنظف.

أخطاء شائعة

  • دفعات كبيرة إلى حد يضر بزمن الاستجابة للمستخدمين التفاعليين. اضبطوها على الحركة الفعلية.
  • هدر الحشو (padding). فتجميع مُدخلات قصيرة جدًا وطويلة جدًا معًا يهدر الحوسبة في بعض المحركات.
  • ترك خوادم الدفعات تعمل بين المهام؛ انظروا كيف تمنعون بقاء وحدات GPU خاملة.

اقرؤوا المزيد في التدريب والاستدلال بكفاءة.

المصادر

  1. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. Use carbon-aware scheduling and region selection for AI workloads, Green Software Foundation, Green Software Patterns (2025)
كيف أفعل…؟

كيف أقلل استهلاك الطاقة عند تشغيل نموذج في بيئة الإنتاج؟

كيف تخدمون نموذجًا مستضافًا ذاتيًا بطاقة أقل لكل طلب: بيئات تشغيل فعّالة، وتجميع في دفعات، ونصف الدقة، وذاكرات مؤقتة مُترجَمة، وعتاد مُختبَر.

كيف أفعل…؟

كيف أجدول تدريب النماذج في الأوقات التي تكون فيها شبكة الكهرباء أنظف؟

شغّلوا مهام التدريب والذكاء الاصطناعي الدفعية حين تكون كثافة الكربون في الشبكة منخفضة: استخدموا التوقعات، واجعلوا المهام قابلة للإيقاف بنقاط التحقق، وتمسّكوا بالمواعيد النهائية.

ممارسات جيدة

تدريب الذكاء الاصطناعي واستدلاله بكفاءة

تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.

كيف أفعل…؟

كيف أمنع وحدات GPU ودفاتر Notebooks من البقاء خاملة؟

أوقفوا هدر الطاقة في عتاد الذكاء الاصطناعي الخامل: شغّلوا الموارد عند الطلب، وأوقفوا الدفاتر الخاملة تلقائيًا، وخفّضوا السعة إلى الصفر خارج الدوام، وأبلغوا عن ساعات GPU الخاملة.

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية