باختصار
يخزّن التكميم أوزان النموذج ببتات أقل، عادةً 8 أو 4 بدلًا من 16 أو 32، فيحتاج إلى ذاكرة أقل، وكثيرًا ما يستهلك طاقة أقل لكل إجابة. حمّلوا نسخة مكمّمة جاهزة أو كمّموا النموذج بالأساليب المدمجة في مكتبتكم، ثم اختبروه على أمثلتكم الخاصة مقابل النموذج كامل الدقة. احتفظوا به إن بقيت الجودة وانخفضت الطاقة لكل طلب.
الخطوات
- تحققوا إن كانت توجد أصلًا نسخة مكمّمة جاهزة من نموذجكم.
- وإلا فكمّموه بأسلوب مدعوم في مكتبتكم، بدءًا من 8 بتات.
- شغّلوا النموذج المكمّم والنموذج الأصلي على مجموعة التقييم نفسها.
- جرّبوا 4 بتات إن بقيت جودة 8 بتات وكنتم تحتاجون إلى توفير مزيد من الذاكرة.
- قيسوا الطاقة وزمن الاستجابة لكل طلب عند حجم الدفعة الفعلي لديكم قبل التحويل.
كثيرًا ما يكون التكميم أسرع مكسب في الكفاءة لنموذج تشغّلونه بأنفسكم. فهو يقلّص الذاكرة، فيتسع النموذج على عدد أقل من وحدات معالجة الرسومات (GPU) أو على وحدات أصغر، وقد يخفض الطاقة لكل إجابة.
لماذا يهم؟
تعطي وثائق Hugging Face فكرة عن الحجم: يحتاج نموذج بـ 8 مليارات معامل إلى نحو 16 GB لأوزانه بدقة 16 بت، ونحو 8 GB بدقة 8 بتات، ونحو 4 إلى 5 GB بدقة 4 بتات. وأظهر Dettmers وزملاؤه باستخدام LLM.int8() أن الاستدلال بـ 8 بتات يمكن أن يخفض الذاكرة المطلوبة إلى النصف مع الحفاظ على أداء الدقة الكاملة، في نماذج تصل إلى 175 مليار معامل. وتفيد UNESCO وUniversity College London بأن الضغط، مثل التكميم، يمكن أن يوفّر ما يصل إلى 44% من الطاقة.
كيف أفعل ذلك؟
- نزّلوا نسخة مكمّمة. كثير من النماذج المفتوحة منشور بصيغ مكمّمة. وتوفّر صيغة GGUF، التي يستخدمها llama.cpp، أنواع تكميم من نحو 1.5 إلى 8 بتات لكل وزن.
- كمّموا عند التحميل. تدعم مكتبات مثل Hugging Face Transformers أكثر من 20 أسلوبًا للتكميم، وعدد منها يكمّم الأوزان أثناء تحميل النموذج.
- عايِروا عند الحاجة. تستخدم بعض الأساليب عينة صغيرة من بياناتكم لاختيار طريقة التقريب، وهو ما يحافظ عادةً على الجودة بصورة أفضل عند 4 بتات.
أخطاء شائعة
- تخطي اختبار الجودة. فالبتات الأقل تكلّف شيئًا من الدقة، وكل أسلوب يوازن بين الذاكرة والسرعة والدقة بطريقة مختلفة. اختبروا على حالاتكم الخاصة.
- افتراض أنه أسرع دائمًا. تشير Hugging Face إلى أنه إن لم تكونوا مقيّدين بذاكرة وحدة معالجة الرسومات، فقد يزيد التكميم زمن الاستجابة قليلًا بسبب خطوات التكميم وإلغاء التكميم الإضافية. قيسوا الطاقة، لا السرعة فقط.
- التوقف عند التكميم. اجمعوه مع نموذج أصغر أو مع التقطير.
اقرؤوا المزيد في التدريب والاستدلال الفعّالان.
المصادر
- Quantization overview, Hugging Face Transformers documentation (2026)
- Optimizing inference, Hugging Face Transformers documentation (2026)
- LLM.int8(): 8-bit matrix multiplication for transformers at scale, Dettmers, Lewis, Belkada and Zettlemoyer, NeurIPS (2022)
- Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation, UNESCO and University College London (2025)
- GGUF, Hugging Face Hub documentation (2026)
ذو صلة
تدريب الذكاء الاصطناعي واستدلاله بكفاءة
تقنيات للمطوّرين والباحثين لخفض طاقة الذكاء الاصطناعي: التقليم والتناثر والتكميم والتقطير وذاكرة KV المؤقتة والتجميع والدقة المختلطة والجدولة.
كيف أشغّل نموذج ذكاء اصطناعي محليًا على جهازي؟
كيف تشغّلون نموذج ذكاء اصطناعي مفتوحًا على حاسوبكم المحمول أو خادمكم بأدوات مثل Ollama أو llama.cpp، وتختارون نموذجًا مكمّمًا يناسب جهازكم، وتقيسون طاقته.
كيف أقلل استهلاك الطاقة عند تشغيل نموذج في بيئة الإنتاج؟
كيف تخدمون نموذجًا مستضافًا ذاتيًا بطاقة أقل لكل طلب: بيئات تشغيل فعّالة، وتجميع في دفعات، ونصف الدقة، وذاكرات مؤقتة مُترجَمة، وعتاد مُختبَر.
كيف أقلّم شبكة عصبية (pruning)؟
كيف تقلّمون شبكة عصبية مدرّبة لإزالة الأوزان قليلة الإسهام، وتختبرون ما يبقى من الدقة، وتتحققون من أن العتاد يحقق وفرًا فعليًا.