نموذج Laya-MLX يمكنه التشغيل على ذاكرة محلية بسعة 1 جيجابايت، ويوفر اتخاذ قرارات سريع

icon MarsBit
مشاركة
AI summary iconملخص
كشف إعلان مشروع جديد أن نموذج Laya-MLX يمكنه الآن التشغيل على 1 جيجابايت من الذاكرة المحلية، مُحسّنًا لإطار عمل MLX الخاص بـ Apple. يصل الإصدار متعدد اللغات إلى 687.6 ميغابايت، مع معالجة 395 سؤالًا في الثانية على M3 Max بتأخير منخفض. يسلط هذا التحديث الإخباري على السلسلة الضوء على دعم النشر المحلي لأجهزة Mac المزودة بشرائح Apple Silicon. المشروع مفتوح المصدر متاح على GitHub.

لا، Jev فقط اشتهر منذ أسبوع واحد، وتم إصدار نسخة محلية بحجم أقل من 1 جيجابايت؟؟؟

قام مطور بترحيل النسخة المفتوحة المصدر البديلة لـ Laya الأصلية إلى Apple MLX، مما أدى إلى إنشاء Laya-MLX—

إصدار بـ 421M معلمة، استهلاك ذاكرة MLX الذروة هو فقط 943.6MiB.

تم التحويل إلى الإصدار متعدد اللغات بحجم 322 ميغابايت، وانخفض مباشرة إلى 687.6 ميغابايت.

نموذج القرار

لا حاجة لاستخدام واجهة برمجة تطبيقات السحابة، ولا حاجة لبيئات تشغيل PyTorch و Transformers، يمكن تشغيل النموذج مباشرة على جهاز Mac.

وحتى مع صغر حجمه، فإن سرعته مذهلة.

على M3 Max، يستغرق Laya-MLX أسرع قرار قصير P50 فقط 7.39 مللي ثانية؛ الإصدار 421M يستغرق فقط 13.42 مللي ثانية.

إذا أُدخلت 50 سؤالًا في وقت واحد، يمكن لسعة الإخراج للإصدار متعدد اللغات بحجم 322M أن تصل إلى 395 سؤالًا/ثانية.

نسخة مفتوحة المصدر من Jev

يجب أن يكون الجميع قد اعتاد على جيڤ خلال هذين اليومين.

أكبر فرق بينه وبين نماذج LM العادية هو أنه قطع مباشرةً عملية توليد النصوص التي تستهلك أكبر قدر من الوقت، فلا يتحدث، ولا يكتب أكوادًا، ولا يلمس مقالات... بل يركز فقط على مهمة واحدة: اتخاذ قرارات.

(بيرت: ها؟ يبدو أنني سمعت هذا المحتوى من قبل.)

بسبب نقص خطوة توليد الرموز واحدة تلو الأخرى، فإن سرعة الاستدلال تختلف بالطبع عن نماذج LLM التقليدية.

بفضل هذا الأسلوب البسيط والصريح، انتشر Jev بسرعة بعد إطلاقه.

نموذج القرار

ثم جاء البديل مفتوح المصدر.

Laya، نموذج قرار من النوع System 1 متعدد اللغات وغير ذاتي الإعادة.

فكرة مشابهة لـ Jev، ولا تُهدر قوة الحوسبة في توليد النصوص، بل تُنتج نتائج قرار مباشرةً للمسائل المهيكلة، وقد جمعت بالفعل 10.4k نجمة على GitHub.

نموذج القرار

إنه يُنفّذ حاليًا ثلاثة أنواع رئيسية من المهام:

choice، اختر واحدًا من عدة خيارات؛ score، قم بمنح درجة وفقًا للمعايير المحددة؛ noul، حدد احتمال أن تكون قضية ما صحيحة.

أدخل حالة وسؤالًا يجب تقييمه معًا، واحصل على النتيجة مباشرة من عملية تقدم واحدة.

يوجد حاليًا ثلاثة نقاط تحقق رئيسية لـ Laya.

مبنية على ModernBERT-large، 421M معلمة؛

الإصدارات متعددة اللغات مبنية على mmBERT-base، ولها فقط 322 مليون معلمة، وتدعم أكثر من 100 لغة؛

بالإضافة إلى ذلك، هناك إصدار 421M مخصص لعملية typed-decisions.

نموذج القرار

يحتوي النموذج على بضع مئات الملايين من المعلمات فقط، وهو سريع جدًا.

في الإصدار الأصلي من Laya، يستغرق سؤال واحد حوالي 33 مللي ثانية على Tesla T4؛ عند المعالجة الدُفعية، يمكن تحقيق متوسط 7.2 مللي ثانية/سؤال، مع تحقيق أقصى إنتاجية لبطاقة واحدة تصل إلى مئات الأسئلة في الثانية.

التأخير المُستمد من الطرف الثالث Jev P50 في المشروع يتراوح بين 236 و276 مللي ثانية، بينما قاس لايا التأخير الفردي بـ 32.8 مللي ثانية، أي أسرع بحوالي 7 إلى 8 مرات.

في اختبار 2000 قرار لـ yped-decisions، حققت النسخة المُعدّلة خصيصًا من Laya دقة قدرها 76.6% (كانت النتائج السابقة التي نشرها Jev 72.7%).

نموذج القرار

النسخة المفتوحة المصدر متاحة، والسرعة ليست بطيئة.

بعد ذلك بدأ البعض يتساءلون: هل يمكن أن يكون أصغر من ذلك؟

ثم جاءت Laya-MLX.

يمكن تشغيله محليًا بذاكرة 1 جيجابايت

Laya-MLX يحرك مكدس الاستدلال الخاص بـ Laya.

تمكن المطورون بالفعل من نشر Laya الأصلي بأنفسهم، لكنهم يشغلونه بشكل رئيسي في بيئة PyTorch وTransformers.

ميزوريwww أعاد تنفيذ بنية الشبكة العصبية الكاملة لـ Laya على إطار عمل Apple MLX، مما يسمح للنموذج بالتشغيل بشكل أصلي على Apple Silicon.

يمكن إزالة PyTorch وTransformers runtime، ولا حاجة لطلب واجهات برمجة تطبيقات السحابة.

وأيضًا، بعد تغيير كومة الاستدلال، يجب أن تتطابق النتائج السابقة.

تم التحقق من Laya-MLX باستخدام ثلاث نقاط تحقق بتنسيق FP32 وFP16، وتم التوافق التام مع إجابات Laya الأصلية على جميع المسائل الـ63.

ثلاثة نماذج، دقتان، تم تجاوز 378/378 مقارنة دون أي انحراف في النتائج الاستنتاجية.

جهاز الاختبار هو M3 Max، بمعالج GPU بـ 40 نواة و128 جيجابايت من الذاكرة الموحدة.

نموذج القرار

عند معالجة سؤال قصير باللغة الإنجليزية، بلغ التخصيص الأقصى لـ MLX في النسخة 421M 943.6 MiB؛ وانخفضت النسخة متعددة اللغات 322M إلى 687.6 MiB.

لكن السرعة لم تنخفض.

على نفس جهاز M3 Max، يبلغ تأخير P50 عند معالجة سؤال قصير 13.42 مللي ثانية لإصدار 421M، و7.39 مللي ثانية لإصدار 322M متعدد اللغات.

P95 هي أيضًا 13.92 مللي ثانية و7.79 مللي ثانية على التوالي.

إذا أُدخلت 50 سؤالًا في وقت واحد، فسيمكن للنسخة متعددة اللغات تحقيق إنتاجية تصل إلى 395 سؤالًا/ثانية.

نموذج القرار

وهذه الأوقات ليست التأخيرات المجردة لعمليات النموذج الأساسية.

يغطي نطاق التوقيت للمشروع إعداد الـ prompt وتقسيم الرموز وبناء التنسورات والتناظر في الاستدلال والمعايرة وتنسيق النتيجة النهائية، مع استبعاد وقت تحميل النموذج فقط.

بعبارة أخرى، فإن 7.39 مللي ثانية تقاس كتأخير طرف إلى طرف من دخول قرار قصير حتى ظهور النتيجة.

Laya-MLX can make decisions in Snake at a speed of 60 times per second.

في كل خطوة هنا، يتم استدعاء Laya فعليًا لإعادة اتخاذ قرار بناءً على الحالة الحالية، بينما تقوم طبقة سلامة الدورة من الخارج بتصحيح الإجراءات الخطرة.

بعد فتح المشروع وتطبيق التحسينات على التجميع وإعادة استخدام البادئة، تم التشغيل المتواصل لـ 2400 خطوة على نفس جهاز M3 Max—

75.40 حركة/ثانية، 0 وفيات.

خلال العملية بأكملها، تدخلت طبقة الأمان مرتين، وتم تعديل الإجراءات في حالات قليلة فقط.

Three-line run

الأصدقاء المهتمون يمكنهم النشر المحلي مباشرة على أجهزة Apple Silicon Mac.

المشروع يتطلب حاليًا Python 3.11+ وmacOS 14+.

بعد تثبيت التبعيات، يمكنك استيراد المكتبة مباشرة واستخدامها، وتحميل نقطة التحقق المحولة مسبقًا:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

ما عليك سوى تمرير الحالة والسؤال إلى agent.predict().

سيتم تنزيل نقطة التحقق تلقائيًا عند التشغيل الأول، ويمكن إجراء الاستدلالات اللاحقة بالكامل محليًا.

نموذج القرار

Of course, there is a cost to being small.

421M الإصدار الإنجليزي للسياق يحتوي فقط على 512 رمزًا؛

إصدار 322M متعدد اللغات وإصدار 421M typed-decisions، وكلاهما يحتوي فقط على 1024 رمزًا.

يحتاج السياق البالغ 1k إلى استيعاب الحالة والتعليمات والخيارات في نفس الوقت، لذا فهو أكثر ملاءمة للمهام القرارية ذات المدخلات القصيرة والطلب المتكرر والنتائج ذات البنية الواضحة.

النقاط الضعيفة موجودة بشكل موضوعي، لكنها لا تمنع المطورين المفتوحين المصدر من المتابعة الليلية، نعم، نحن بالفعل نعمل على الإصدار التالي من dream!

جيف: لقد اشتهرت للتو لأسبوع واحد...

عنوان المشروع: https://github.com/mizorewww/laya-mlx

هذا المقال من حساب ويشات الرسمي "كيوانغ تشي"، الكاتب: وين ليو

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات. يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.