ضبط النماذج اللغوية الصغيرة (SLMs) ونشرها على أجهزة الحافة للمؤسسات

تتسبب النماذج الضخمة في بطء الاستجابة وارتفاع تكاليف الحوسبة السحابية. بينما تقدم النماذج المتخصصة (1B إلى 8B) دقة فائقة في استخراج البيانات المنظمة وتصنيف النصوص مع التشغيل المباشر على الأجهزة المحلية وبطاقات الجوال.

باستخدام تقنيات التكيف منخفض الرتبة (LoRA) والتكميم (QLoRA)، يتم تجميد أوزان النموذج الأساسية وتدريب مصفوفات دقيقة فقط بدقة 4-bit، مما يقلل استهلاك الذاكرة من 48GB إلى أقل من 8GB دون التأثير على ذكاء النموذج.

يتطلب النشر على الأجهزة تحويل الأوزان إلى صيغ تشغيل عالية الكفاءة مثل GGUF و AWQ، مما يتيح الاستفادة من محركات المعالجة العصبية (CoreML/TensorRT) والتشغيل الفوري داخل متصفحات الويب.

يضمن تشغيل النماذج محلياً عدم خروج بيانات العملاء الحساسة خارج بيئة المؤسسة، مما يتوافق تماماً مع أعلى معايير الخصوصية والأمان مع استمرار العمل حتى في حال انقطاع الإنترنت.