greenai.guide

الرئيسية › كيف أفعل…؟ › كيف أسرّع نموذجًا كبيرًا باستخدام فك الترميز التخميني (speculative decoding)؟

كيف أفعل…؟

كيف أسرّع نموذجًا كبيرًا باستخدام فك الترميز التخميني (speculative decoding)؟

تاريخ التحديث · مدة القراءة: 1 دقيقة

باختصار

اقرنوا نموذجكم الكبير بنموذج مسودة صغير من العائلة نفسها: يقترح نموذج المسودة عدة رموز (tokens)، ويتحقق منها النموذج الكبير في تمريرة واحدة، محتفظًا فقط بما يوافق عليه. والناتج مطابق لناتج النموذج الكبير وحده، وأفادت الدراسة الأصلية باستدلال أسرع بمرتين إلى ثلاث مرات. تحققوا من أن منظومة التقديم لديكم تدعمه، ثم قيسوا الطاقة لكل طلب، لا السرعة فقط.

الخطوات

  1. تحققوا مما إذا كانت مكتبة الاستدلال أو محرك التقديم لديكم يدعم فك الترميز التخميني أو المساعَد.
  2. اختاروا نموذج مسودة صغيرًا يشترك مع النموذج الكبير في المقسِّم إلى رموز (tokeniser).
  3. فعّلوه وتأكدوا من تطابق النواتج على حمل العمل الخاص بكم.
  4. قيسوا الطاقة لكل طلب وزمن الاستجابة عند أحجام الدفعات الحقيقية لديكم.
  5. لا تحتفظوا به إلا إذا انخفضت الطاقة لكل طلب، لا زمن الاستجابة فقط.

دعوا نموذجًا صغيرًا يخمّن، والنموذج الكبير يتحقق. فالنماذج الكبيرة تولّد رمزًا (token) واحدًا في كل مرة، فتُبقي عتادًا كبيرًا مشغولًا لكل كلمة؛ ويتيح لها فك الترميز التخميني تأكيد عدة رموز دفعة واحدة.

كيف يعمل؟

يقترح نموذج مسودة صغير بسرعة الرموز القليلة التالية. ثم يتحقق النموذج الهدف الكبير منها كلها في تمريرة أمامية واحدة، ويقبل ما كان سينتجه هو نفسه. وحيث يختلف، يستبدلها برمزه الخاص ويُستأنف إعداد المسودة. وقد أظهر Leviathan وKalman وMatias تسريعًا بمرتين إلى ثلاث مرات على نموذج T5-XXL بنواتج مطابقة. وتشير وثائق Hugging Face إلى عدم وجود أي تراجع في الدقة، لأن تمريرة التحقق تضمن توليد النواتج نفسها.

ومن صيغه فك الترميز بالبحث في الطلب (prompt lookup decoding)، الذي يعدّ المسودة من نص موجود أصلًا في الطلب، ويناسب مهام مثل التحرير أو التلخيص حيث تكرر الإجابة المُدخل.

هل الأسرع يعني الأكثر مراعاة للبيئة؟

ليس تلقائيًا. فأنتم تشغّلون الآن نموذجين، والنموذج الكبير يؤدي عمل تحقق إضافيًا. ويعتمد انخفاض الطاقة لكل طلب على مدى تكرار قبول المسودات، وحجم الدفعة، والعتاد لديكم. ووجد باحثو GreenCode على llama.cpp أن الطاقة والسرعة قد تحكيان قصتين مختلفتين: فقد وفّر أحد التغييرات 4.7% من طاقة GPU مع مكسب في السرعة لا يتجاوز 3%. قيسوا الطاقة مباشرة.

أخطاء شائعة

  • نموذج مسودة أكبر من اللازم، يبطئ كل شيء.
  • مقسِّمات رموز غير متطابقة بين نموذج المسودة والنموذج الهدف.
  • الاختبار على حمل عمل مختلف عن بيئة الإنتاج؛ فمعدلات القبول تختلف باختلاف المهمة.

لتقنيات تقديم أخرى، انظروا كيف تخفّضون طاقة تقديم نموذج والتدريب والاستدلال بكفاءة.

المصادر

  1. Fast inference from transformers via speculative decoding, Leviathan, Kalman and Matias, ICML 2023 (2022)
  2. Optimizing inference, Hugging Face Transformers documentation (2026)
  3. GreenCode Constitution: agent principles for optimizing code and LLM inference energy use, Kapenekakis, Kim, Ionescu, Thomsen and Albano, GreenAI workshop, ECML PKDD 2026 (2026)
كيف أفعل…؟

كيف أقلل استهلاك الطاقة عند تشغيل نموذج في بيئة الإنتاج؟

كيف تخدمون نموذجًا مستضافًا ذاتيًا بطاقة أقل لكل طلب: بيئات تشغيل فعّالة، وتجميع في دفعات، ونصف الدقة، وذاكرات مؤقتة مُترجَمة، وعتاد مُختبَر.

كيف أفعل…؟

كيف أجمّع طلبات الذكاء الاصطناعي في دفعات لتوفير الطاقة؟

كيف يرفع التجميع في دفعات استغلال المسرّعات ويخفّض الطاقة لكل إجابة: التجميع المستمر للحركة الحية، والدفعات المؤجلة في طابور للعمل غير المتصل.

ممارسات جيدة

تدريب الذكاء الاصطناعي واستدلاله بكفاءة

تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.

مقالة

الرياضيات التي تجعل الذكاء الاصطناعي أكثر كفاءة

التقليم والتناثر والرسم العشوائي ونظرية المصفوفات العشوائية والنماذج المستنيرة بالفيزياء: كيف تقلّص الرياضيات الحوسبة والذاكرة والطاقة التي يحتاج إليها الذكاء الاصطناعي.

انضموا إلينا

ساعدوا في خفض أثر الذكاء الاصطناعي على الكوكب

تلقّوا الأدلة الجديدة ودعوات التمويل وإدراجات الأدلة بالبريد الإلكتروني، مرة في الشهر تقريبًا. أو أضيفوا منتجكم أو دورتكم أو منحة الدكتوراه أو بحثكم إلى الأدلة.

بلا تتبّع. ألغوا الاشتراك بنقرة واحدة. طرق أخرى للانضمام · الخصوصية