greenai.guide

الرئيسية › ممارسات جيدة › تدريب الذكاء الاصطناعي واستدلاله بكفاءة

ممارسات جيدة

تدريب الذكاء الاصطناعي واستدلاله بكفاءة

تاريخ التحديث · مدة القراءة: 5 دقيقة

باختصار

يمكن خفض معظم طاقة الذكاء الاصطناعي (AI) دون خسارة في الجودة: بإعادة استخدام النماذج بدلًا من تدريبها من الصفر، وتصغيرها بالتقليم والتكميم والتقطير، وتقديمها بالتجميع والتخزين المؤقت، وتشغيل المهام المرنة حين تكون الكهرباء أنظف وحيث تكون أنظف. قيسوا الطاقة قبل كل تغيير وبعده، لأن الأسرع ليس دائمًا الأكثر اخضرارًا.

النقاط الرئيسية

  • أعيدوا الاستخدام قبل أن تدرّبوا: خفض الضبط الدقيق لمحوّل صغير بطريقة LoRA عدد المعاملات القابلة للتدريب 10,000 مرة وذاكرة GPU ثلاث مرات مقارنةً بالضبط الدقيق الكامل لنموذج GPT-3 175B.
  • يمكن تقليم النماذج اللغوية الكبيرة (LLM) إلى تناثر لا يقل عن 50% دفعة واحدة دون إعادة تدريب، مع خسارة ضئيلة في الدقة (SparseGPT).
  • يمكن للاستدلال بـ8 بت أن يخفض الحاجة إلى الذاكرة إلى النصف دون خسارة في الجودة (LLM.int8())؛ واختبروا 4 بت أيضًا.
  • طريقة التقديم مهمة: أعطى التجميع وإدارة ذاكرة KV المؤقتة المقسّمة إلى صفحات إنتاجيةً أعلى بـ2–4 مرات في vLLM مع زمن الاستجابة نفسه.
  • الجدولة المراعية للكربون تخفض الانبعاثات لا الطاقة؛ طبّقوها فوق أعمال الكفاءة، لا بدلًا منها أبدًا.

من أين أبدأ؟

ابدؤوا بالقياس، ثم أعيدوا الاستخدام، فصغّروا، فأحسنوا التقديم، فجدولوا، بهذا الترتيب. فالخطوات الأولى توفّر عادةً أكثر من غيرها وتحمل أقل قدر من المخاطر.

قدّر Patterson وزملاؤه في Google عام 2021 أن اختيار النموذج ومركز البيانات والمعالج يمكن أن يغيّر البصمة الكربونية للتدريب بما يصل إلى نحو 100 إلى 1,000 مرة. ومعظم هذا النطاق في أيديكم. وقبل أن تغيّروا أي شيء، جهّزوا قياس الطاقة على العتاد نفسه وبالحِمل نفسه، لتُبقوا فقط على التغييرات التي توفّر الطاقة دون الإضرار بالجودة. والسرعة ليست بديلًا موثوقًا: فقد يكون التغيير أسرع وأشرَه للطاقة، أو أبطأ وأقل استهلاكًا.

هل يمكنني تجنّب التدريب من الصفر؟

في العادة، نعم: ابدؤوا من نموذج مدرَّب مسبقًا وكيّفوا فقط ما تحتاجون إليه.

  • الضبط الدقيق الموفّر للمعاملات. تدرّب طريقة LoRA مصفوفات محوّلات صغيرة منخفضة الرتبة بدلًا من النموذج كاملًا. ومقارنةً بالضبط الدقيق الكامل لنموذج GPT-3 175B، أفاد مؤلفوها بعدد معاملات قابلة للتدريب أقل بـ10,000 مرة وذاكرة GPU أقل بثلاث مرات. وتجمع QLoRA ذلك مع أوزان بـ4 بت، وقد ضبطت نموذجًا من 65 مليار معامل على وحدة GPU واحدة بذاكرة 48 GB.
  • الاسترجاع بدلًا من إعادة التدريب. ضعوا الحقائق المتغيرة في فهرس قابل للبحث واسترجعوها وقت الاستعلام. واجعلوا الضبط الدقيق للمهارات والأسلوب، لا للحقائق.
  • دمج النماذج («الحساء» souping). وفقًا لـWortsman وزملائه، قد يتفوق أخذ متوسط أوزان نماذج خضعت للضبط الدقيق من الأساس نفسه على أفضل نموذج منفرد دون تكلفة استدلال إضافية. ودمج نسخ الضبط الدقيق المتخصصة طريقة لإعادة استخدام عمل دُفع ثمنه بالفعل.
  • التعلّم المستمر. حدّثوا النموذج تدريجيًا بدلًا من إعادة تدريبه من الصفر عند تغيّر البيانات.

كيف يساعد التقليم والتناثر؟

يمكن إزالة معظم الأوزان في شبكة مدرَّبة أو تركها غير نشطة مع خسارة طفيفة، وهذا يعني حوسبة وذاكرة أقل لكل إجابة.

  • التقليم غير المهيكل يزيل أوزانًا منفردة. قلّمت SparseGPT نماذج من عائلة GPT إلى تناثر لا يقل عن 50% دفعة واحدة دون إعادة تدريب، مع خسارة ضئيلة في الدقة، وبلغت 60% في أكبر النماذج المفتوحة في ذلك الوقت مع زيادة لا تُذكر في الحيرة (perplexity).
  • التقليم المهيكل يزيل عصبونات أو رؤوس انتباه أو طبقات كاملة، وهو ما يستطيع العتاد العادي الاستفادة منه بسهولة أكبر.
  • تناثر التفعيلات يترك معظم العصبونات غير نشطة لمُدخل معيّن.
  • نماذج مزيج الخبراء ترسل كل رمز إلى عدد قليل من الشبكات الفرعية المتخصصة. ووجد Patterson وزملاؤه أن النماذج الكبيرة ذات التفعيل المتناثر قد تستهلك أقل من عُشر طاقة النماذج الكبيرة الكثيفة. لكن جميع الخبراء يجب أن تبقى في الذاكرة.

تحفّظ من ورشة عمل مكثفة (sandpit) بريطانية عن الذكاء الاصطناعي الأخضر عُقدت في 2026 وجمعت علماء رياضيات وعلماء حاسوب وممثلين عن الصناعة: التناثر قليل الاستخدام جزئيًا لأن العتاد والمكتبات البرمجية مبنية للرياضيات الكثيفة. تحقّقوا من أن بيئة التشغيل لديكم تحوّل التناثر فعلًا إلى طاقة موفَّرة. وناقشت الورشة أيضًا استخدام نظرية المصفوفات العشوائية لاختيار مستويات التناثر قبل التدريب، وتقريبات متناثرة لآلية الانتباه يمكن إدراجها في نماذج مدرَّبة مسبقًا. راجعوا الرياضيات من أجل ذكاء اصطناعي أكفأ.

ماذا عن التكميم والتقطير والدقة المختلطة؟

استخدموا عددًا أقل من البتات ونماذج أصغر حيثما سمح مستوى الجودة المطلوب.

التقنية ما تفعله النتيجة المنشورة
التكميم تخزّن الأوزان وتحسب بها بـ8 أو 4 بت بدلًا من 16 أو 32 خفضت LLM.int8() ذاكرة الاستدلال إلى النصف دون خسارة في الجودة حتى 175B معامل؛ وتفيد UNESCO وUCL بأن ضغط النماذج، كالتكميم، يوفّر ما يصل إلى 44% من الطاقة
التقطير يدرّب «تلميذًا» صغيرًا على محاكاة «معلّم» كبير كان DistilBERT أصغر من BERT بنسبة 40% وأسرع بنسبة 60% مع احتفاظه بـ97% من قدرته على فهم اللغة
الدقة المختلطة تدرّب بنصف الدقة مع نسخة رئيسية كاملة الدقة خفضت استهلاك الذاكرة في التدريب إلى النصف تقريبًا (Micikevicius et al.)

اختبروا كلًّا منها على مجموعة التقييم الخاصة بكم. وتنبّه Hugging Face إلى أن التكميم قد يزيد زمن الاستجابة حين لا يكون عبء العمل محدودًا بالذاكرة، لذا قيسوا الطاقة وزمن الاستجابة لكل طلب قبل التغيير وبعده.

كيف أقدّم النماذج بكفاءة؟

أبقوا المسرّع مشغولًا بعمل مفيد وتجنّبوا إعادة حساب أي شيء. فوحدة GPU غير المستغَلة بالكامل تظل تسحب قدرًا كبيرًا من الكهرباء.

  1. جمّعوا الطلبات. تجمع محرّكات التقديم ذات التجميع المستمر الطلبات المتزامنة. وأعطت آلية PagedAttention في vLLM، التي تدير ذاكرة KV المؤقتة كما تُدار الذاكرة الافتراضية، إنتاجيةً أعلى بـ2 إلى 4 مرات من الأنظمة السابقة مع زمن الاستجابة نفسه.
  2. أحسنوا استخدام ذاكرة KV المؤقتة. خزّنوا المفاتيح والقيم الخاصة بالرموز السابقة؛ واستخدموا ذاكرة مؤقتة ثابتة مع تمرير أمامي مُصرَّف حيث تدعم مكتبتكم ذلك.
  3. فعّلوا المسارات المُحسَّنة. الأوزان بنصف الدقة، ونوى الانتباه الفعّالة (مثل SDPA أو FlashAttention)، والتصريف (compilation) متاحة غالبًا لكنها معطّلة افتراضيًا.
  4. فك الترميز التخميني (Speculative decoding). يقترح نموذج مسودة صغير رموزًا يتحقق منها النموذج الكبير. وأفاد Leviathan وزملاؤه بتوليد أسرع بـ2 إلى 3 مرات على T5-XXL مع مُخرجات متطابقة.
  5. حدّوا طول المُخرجات بما تحتاج إليه المهمة، وخزّنوا مؤقتًا إجابات الطلبات المتطابقة.
  6. قارنوا بيئات التشغيل والعتاد. اختبروا أداء حزمتين أو ثلاث حزم تقديم بأحجام الدفعات الحقيقية لديكم.

متى وأين ينبغي تشغيل المهام؟

شغّلوا الأعمال المرنة حين تكون الكهرباء أنظف وحيث تكون أنظف، لكن اعتبروا ذلك مكسبًا إضافيًا فوق الكفاءة، لا بديلًا عنها.

  • أزيحوا التوقيت. عمليات التدريب والتقييم والاستدلال على دفعات يمكنها غالبًا الانتظار ساعات. جدولوها وفق توقعات شدة الكربون؛ وأدوات مثل CATS تغلّف مهام العنقود الحاسوبي لتفعل ذلك. وفي بريطانيا العظمى، تنشر Carbon Intensity API توقعات إقليمية.
  • اجعلوا المهام الطويلة قابلة للإيقاف المؤقت. احفظوا نقاط تحقق بانتظام، بما فيها حالة المُحسِّن، لتتمكن المهمة من التوقف حين تكون الشبكة الكهربائية ملوِّثة والاستئناف لاحقًا دون ضياع العمل.
  • اختاروا المنطقة والعتاد. حيث لا يهم زمن الاستجابة، فضّلوا منطقة منخفضة الكربون ومسرّعات فعّالة، مع احتساب تكلفة نقل البيانات. راجعوا الاستضافة ومراكز البيانات.
  • راقبوا الطاقة المطلقة. الجدولة المراعية للكربون تغيّر وقت تشغيل العمل، لا مقدار ما يستهلكه. تتبّعوا الطاقة لكل وحدة عمل إلى جانب الكربون.

قائمة التحقق

  • [ ] قياس الطاقة قبل كل تغيير وبعده، بالإعداد نفسه، وعبر عدة تشغيلات
  • [ ] النظر في نموذج مدرَّب مسبقًا ومحوّلات قبل التدريب من الصفر
  • [ ] استخدام الاسترجاع للحقائق المتغيرة بدلًا من إعادة التدريب
  • [ ] اختبار التقليم أو التكميم أو التقطير مقابل مستوى الجودة المطلوب
  • [ ] استخدام الدقة المختلطة في التدريب
  • [ ] تفعيل التجميع وتحسين ذاكرة KV المؤقتة والانتباه الفعّال في التقديم
  • [ ] تحديد سقف لطول المُخرجات؛ وتخزين الطلبات المتطابقة مؤقتًا
  • [ ] حفظ نقاط تحقق للمهام المرنة وجدولتها في الساعات الأنظف
  • [ ] تسجيل طاقة التدريب والعتاد في بطاقة النموذج

ماذا تفعلون بعد ذلك

  1. أضيفوا أداة لتتبّع الانبعاثات مثل CodeCarbon إلى نصوص التدريب والتقييم البرمجية، وضعوا الطاقة بجانب الدقة في جدول نتائجكم.
  2. جرّبوا LoRA أو QLoRA في عملية الضبط الدقيق التالية وقارنوها بالضبط الدقيق الكامل.
  3. اختبروا نسخة بـ8 بت ونسخة بـ4 بت من النموذج المنشور لديكم على مجموعة التقييم الخاصة بكم.
  4. اختبروا أداء حزمة التقديم لديكم مع تفعيل التجميع ومسار الانتباه المُحسَّن.
  5. غلّفوا مهمة متكررة واحدة على العنقود الحاسوبي بمجدول يراعي الكربون.
  6. ابحثوا عن التدريب في دليل الدورات وعن الأعمال ذات الصلة في الأبحاث و منح الدكتوراه.

الأسئلة المتكررة

هل يقلّل التكميم الدقة؟

أحيانًا وبقدر طفيف؛ وكثيرًا لا يكون ذلك ملحوظًا مع 8 بت. اختبروا دائمًا النموذج المكمَّم على مجموعة التقييم الخاصة بكم، ولاحظوا أن التكميم قد يزيد زمن الاستجابة حين لا يكون عبء العمل محدودًا بالذاكرة.

ما ذاكرة KV المؤقتة؟

حين يولّد نموذج المحوّل (transformer) نصًا، يخزّن مصفوفات المفاتيح والقيم الخاصة بالرموز (tokens) السابقة كي لا يعيد حسابها في كل خطوة. وإدارة هذه الذاكرة المؤقتة جيدًا من أكبر مصادر الكفاءة في التقديم.

أيهما يستهلك طاقة أكبر: التدريب أم الاستدلال؟

يعتمد ذلك على مدى انتشار استخدام النموذج. التدريب تكلفة كبيرة لمرة واحدة؛ أما الاستدلال فيُدفع ثمنه مع كل طلب، لذا يطغى عادةً في النماذج الشائعة على مدى عمر النموذج.

ما دمج النماذج أو «الحساء» (souping)؟

أخذ متوسط أوزان عدة نماذج خضعت للضبط الدقيق انطلاقًا من نقطة البداية نفسها. والنتيجة تعمل نموذجًا واحدًا، دون تكلفة استدلال إضافية، وقد تتفوق على أفضل نموذج منفرد.

المصادر

  1. LoRA: Low-Rank Adaptation of Large Language Models, Hu et al. (arXiv 2106.09685) (2021)
  2. QLoRA: Efficient Finetuning of Quantized LLMs, Dettmers et al. (arXiv 2305.14314) (2023)
  3. SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot, Frantar and Alistarh (arXiv 2301.00774) (2023)
  4. LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Dettmers et al. (arXiv 2208.07339) (2022)
  5. DistilBERT, a distilled version of BERT, Sanh et al. (arXiv 1910.01108) (2019)
  6. Mixed Precision Training, Micikevicius et al. (arXiv 1710.03740) (2017)
  7. Efficient Memory Management for Large Language Model Serving with PagedAttention, Kwon et al. (arXiv 2309.06180) (2023)
  8. Fast Inference from Transformers via Speculative Decoding, Leviathan et al. (arXiv 2211.17192) (2022)
  9. Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time, Wortsman et al. (arXiv 2203.05482) (2022)
  10. Carbon Emissions and Large Neural Network Training, Patterson et al. (arXiv 2104.10350) (2021)
  11. AI large language models: new report shows small changes can reduce energy use by 90%, UNESCO (2025)
  12. Optimizing inference, Hugging Face Transformers documentation (2025)
  13. Green Software Patterns: carbon-aware scheduling and region selection for AI workloads, Green Software Foundation (2025)
  14. CATS: Climate-Aware Task Scheduler, GreenScheduler (2025)
ممارسات جيدة

كيف تقيسون طاقة الذكاء الاصطناعي وانبعاثاته الكربونية

دليل عملي لقياس طاقة أعمال الذكاء الاصطناعي وكربونها أو تقديرهما: الأدوات، وحدود النظام، ومقاييس لكل مهمة، والإفصاح الصادق عن عدم اليقين.

ممارسات جيدة

اختاروا النموذج المناسب للمهمة

كيف تختارون ذكاءً اصطناعيًا بالحجم المناسب: متى تستخدمون نماذج صغيرة أو متخصصة، ومتى يستحق نموذج متقدم كلفته، وكيف يعمل التوجيه، ومتى لا تستخدمون الذكاء الاصطناعي.

مقالة

الرياضيات التي تجعل الذكاء الاصطناعي أكثر كفاءة

التقليم والتناثر والرسم العشوائي ونظرية المصفوفات العشوائية والنماذج المستنيرة بالفيزياء: كيف تقلّص الرياضيات الحوسبة والذاكرة والطاقة التي يحتاج إليها الذكاء الاصطناعي.

ممارسات جيدة

استضافة الذكاء الاصطناعي الأخضر ومراكز البيانات

كيف تختارون مكان تشغيل الذكاء الاصطناعي: شدة الكربون في الشبكة، وPUE وWUE، وادعاءات الطاقة المتجددة، واستهلاك المياه، واختيار المواقع، مع أسئلة تطرحونها على المستضيفين.

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية