Laya-MLX ماڈل 1GB لوکل میموری پر چل سکتا ہے، جو تیز فیصلہ سازی فراہم کرتا ہے

icon MarsBit
بانٹیں
AI summary iconخلاصہ
ایک نیا منصوبہ اعلان کرتا ہے کہ Laya-MLX ماڈل اب 1GB مقامی میموری پر چل رہا ہے، جو Apple کے MLX فریم ورک کے لیے بہتر بنایا گیا ہے۔ بہ زبانی ورژن M3 Max پر کم لیٹنسی کے ساتھ فی سیکنڈ 395 سوالات کو پروسیس کرتا ہے اور اس کی اعظمی میموری استعمال 687.6MiB ہے۔ یہ آن-چین خبر کا اپڈیٹ Apple Silicon Macs کے لیے مقامی ڈیپلومنٹ کی سپورٹ کو ظاہر کرتا ہے۔ یہ اوپن سورس منصوبہ GitHub پر دستیاب ہے۔

نہیں، جیو صرف ایک ہفتہ سے مقبول ہوا ہے، اور 1 جی بی سے کم کا لوکل ورژن بھی تیار کر دیا گیا؟؟؟

ایک ڈیولپر نے اوپن سورس کا متبادل Laya نیٹیو کو Apple MLX پر اپلوڈ کرکے Laya-MLX تیار کیا ہے—

421M پیرامیٹرز ورژن، اچھی سطح پر MLX میموری استعمال صرف 943.6MiB ہے۔

322M کے متعدد زبانوں والے ورژن میں تبدیل کرنے پر، یہ براہ راست 687.6MiB ہو گیا۔

ڈیسیژن ماڈل

بالکل کلاؤڈ API کی ضرورت نہیں، PyTorch اور Transformers رن ٹائم کی بھی ضرورت نہیں، مدل کو Mac میں ڈاؤن لوڈ کرکے براہ راست چلایا جا سکتا ہے۔

اور چھوٹا ہونے کے باوجود، یہ کافی تیز ہے۔

M3 Max پر، Laya-MLX کا ایک مختصر فیصلہ P50 صرف 7.39 ملی سیکنڈ میں؛ 421M ورژن صرف 13.42 ملی سیکنڈ میں۔

اگر ایک بار میں 50 سوالات ڈال دیے جائیں، تو 322M متعدد زبانوں والے ورژن کی ٹھوس رفتار 395 سوالات/سیکنڈ تک پہنچ سکتی ہے۔

اوپن سورس ورژن Jev

جیو، آپ لوگوں نے اس دو دنوں میں اسے پہچان لیا ہونا چاہیے۔

اس کا عام LLM سے بڑا فرق یہ ہے کہ یہ سب سے زیادہ وقت لینے والی متن تخلیق کو بالکل ختم کر دیتا ہے، چیٹ نہیں کرتا، کوڈ نہیں لکھتا، مضمون نہیں لکھتا… صرف ایک ہی کام پر توجہ دیتا ہے، فیصلہ کرنا۔

(برٹ: ایم؟ میں لگتا ہوں کہ میں نے اس کام کے بارے میں کہیں سنہا ہے؟)

ایک ٹوکن کے بعد ایک ٹوکن بنانے کے مرحلے کو چھوڑ دیا جائے تو استدلال کی رفتار قدرتی طور پر روایتی LLM سے الگ ہو جاتی ہے۔

اسی سادہ اور بے رحم طریقہ کار کی بدولت، جیو کے جاری ہونے کے بعد فوراً وائرل ہو گیا۔

ڈیسیژن ماڈل

فوراً، ایک اوپن سورس متبادل آ گیا۔

لایا، ایک بہ زبانی، غیر خودکار System 1 فیصلہ سازی ماڈل۔

یہ سوچ Jev کے مشابہ ہے، جو حساب کی طاقت کو متن پیدا کرنے پر نہیں، بلکہ ساختی مسائل کے لیے فیصلے فوری طور پر نکالنے پر مرکوز کرتی ہے، اور GitHub پر 10.4k ستارے حاصل کر چکی ہے۔

ڈیسیژن ماڈل

یہ ابھی تک بنیادی طور پر تین قسم کے کام کرتا ہے:

چوائس، کچھ اختیارات میں سے ایک منتخب کریں؛ اسکور، دی گئی معیار کے مطابق اسکور دیں؛ نول، کسی بات کو سچ ثابت کرنے کی احتمال کا جائزہ لیں۔

ایک حالت اور جانچنے کے لیے درخواست کو ایک ساتھ ڈال دیں، تاکہ ایک فارورڈ سے فوری نتیجہ حاصل ہو سکے۔

لیا کے پاس ابھی تک تین اہم چیک پوائنٹس ہیں۔

انگلش ورژن ModernBERT-large، 421M پیرامیٹرز پر مبنی ہے؛

بہت سی زبانوں کا ورژن mmBERT-base پر مبنی ہے، جس میں صرف 322M پیرامیٹرز ہیں اور 100 سے زیادہ زبانوں کی حمایت کرتا ہے؛

ایک اور 421M ورژن typed-decisions ورک فلو کے لیے بھی دستیاب ہے۔

ڈیسیژن ماڈل

ماڈل میں صرف تین یا چار ارب پیرامیٹرز ہیں، اور رفتار بھی کافی تیز ہے۔

اصلی Laya Tesla T4 پر، ایک منفرد سوال کے لیے تقریباً 33 ملی سیکنڈ؛ جب بیچ پروسیسنگ کی جائے تو اوسطاً 7.2 ملی سیکنڈ/سوال، اور ایک کارڈ کی زیادہ سے زیادہ ٹھروٹل میں فی سیکنڈ سینکڑوں سوالات شامل ہو سکتے ہیں۔

پروجیکٹ کی طرف سے حوالہ دیا گیا تیسری طرف کا Jev P50 تاخیر 236–276 ملی سیکنڈ ہے، جبکہ لایا نے اپنے آپ کو 32.8 ملی سیکنڈ کے ایک سوال کے طور پر پایا، جو تقریباً 7–8 گنا تیز ہے۔

yped-decisions کے 2000 فیصلوں کے ٹیسٹ میں، خصوصی طور پر تربیت دیا گیا Laya ورژن 76.6% درستگی کے ساتھ کام کرتا ہے (پہلے Jev کا علیحدہ اعداد و شمار 72.7% تھا)۔

ڈیسیژن ماڈل

اوپن سورس ورژن دستیاب ہے، اور اس کی رفتار بھی تیز نہیں ہے۔

فوراً کچھ لوگوں نے سوچنا شروع کر دیا کہ کیا اسے اور چھوٹا کیا جا سکتا ہے؟

اس طرح Laya-MLX آ گیا۔

مقامی 1GB چل سکتا ہے

Laya-MLX Laya کے انفریسٹیک کو چلاتا ہے۔

ڈیولپرز اب اصل Laya کو خود ڈیپلوی کر سکتے ہیں، لیکن وہ بنیادی طور پر PyTorch اور Transformers کے ماحول میں چل رہے ہیں۔

میزورے وی وی نے Apple MLX فریم ورک پر لایا کی مکمل نیورل نیٹ ورک آرکیٹیکچر کو دوبارہ تعمیر کیا ہے، جس سے ماڈل Apple Silicon پر نیٹیو طور پر چل سکتا ہے۔

PyTorch اور Transformers رن ٹائم دونوں کو ختم کیا جا سکتا ہے، اور کلاؤڈ API کی درخواست بھی نہیں کرنی پڑتی۔

اور ریزنگ اسٹیک بدلنے کے بعد، پہلے کے نتائج بھی مطابق ہونے چاہئیں۔

لایا-MLX نے تین چیکپوائنٹس کو الگ الگ FP32 اور FP16 پر ٹیسٹ کیا، اور 63 تصدیقی سوالات میں سے ہر ایک پر اصل لایا کے انتخاب کے جوابات سے مطابقت رکھی۔

تین ماڈلز، دو درجاتِ دقت، کل 378/378 مقابلے کامیاب، کوئی استدلالی نتیجہ کشیدگی نہیں آئی۔

ٹیسٹنگ ماشین ایک M3 Max ہے، جس میں 40 کور GPU اور 128GB یونیفائیڈ میموری ہے۔

ڈیسیژن ماڈل

421M انگریزی ورژن کو ایک مختصر سوال کے لیے پردازت کرتے ہوئے، MLX کی اسلاکی مقدار 943.6MiB تک پہنچی؛ 322M متعدد زبانوں والی ورژن نے اسے مزید کم کرکے 687.6MiB تک کم کر دیا۔

لیکن رفتار میں کمی نہیں آئی۔

ایک ہی M3 Max پر، 421M ورژن ایک مختصر سوال کو پروسیس کرتا ہے جس کا P50 لیٹنسی 13.42 ملی سیکنڈ ہے؛ 322M متعدد زبانوں والا ورژن 7.39 ملی سیکنڈ ہے۔

P95 بھی صرف 13.92 ملی سیکنڈ اور 7.79 ملی سیکنڈ ہیں۔

اگر ایک بار میں 50 سوالات ڈال دیے جائیں، تو متعدد زبانوں کی ٹھیکہ رفتار فوراً 395 سوالات/سیکنڈ تک پہنچ سکتی ہے۔

ڈیسیژن ماڈل

اور یہ وقت مدل کے مرکزی آپریٹرز کی خالی لیٹنسی نہیں ہیں۔

پروجیکٹ کے ٹائمنگ میں پرامپٹ تیار کرنا، ٹوکنائزیشن، ٹینسر بنانا، سینکرونائزڈ انفرنس، کیلبریشن اور آخری نتائج کی فارمیٹنگ شامل ہے، صرف ماڈل لوڈنگ کا وقت除外 ہے۔

دوسروں کے الفاظ میں، 7.39 ملی سیکنڈ پر ایک مختصر فیصلے کے لیے داخلہ سے نتیجہ تک کی اینڈ تو اینڈ لیٹنسی کا جائزہ لیا جاتا ہے۔

Laya-MLX کا سانپ کھیل کے فیصلے لینے کا رفتار فی سیکنڈ 60 ہے۔

یہاں ہر قدم پر Laya کو موجودہ حالت کے مطابق دوبارہ فیصلہ لینے کے لیے فراہم کیا جاتا ہے، اور باہر cycle safety layer خطرناک اقدامات کو درست کرتا ہے۔

پروجیکٹ کے ٹیسٹ کردہ کمپائل اور prefix reuse کے بہتری کے بعد، ایک ہی M3 Max پر 2400 اسٹیپس لگاتار چلائیں—

75.40 حرکتیں/سیکنڈ، 0 موتیں۔

پورے عمل کے دوران، سیکورٹی لیئر نے دو بار مداخلت کی، اور صرف کچھ مخصوص صورتوں میں اقدامات میں ترمیم کی گئی۔

تین لائنز چل رہی ہیں

دلچسپی رکھنے والے افراد Apple Silicon Mac پر مقامی طور پر ڈپلوی کر سکتے ہیں۔

ابھی کے لیے پروجیکٹ کی ضرورت Python 3.11+، macOS 14+ ہے۔

انڈیپینڈنسز کی نصب کے بعد، آپ براہ راست لائبریری کو درج کر سکتے ہیں اور پہلے سے تبدیل کردہ چیک پوائنٹ کو لوڈ کر سکتے ہیں:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

اب صرف state اور سوال کو agent.predict() کو دے دیں۔

پہلی بار چلانے پر چیکپوائنٹ خودکار طور پر ڈاؤن لوڈ ہو جائے گا، اور اس کے بعد کی تمام تر انفرینس مکمل طور پر مقامی طور پر رہ سکتی ہے۔

ڈیسیژن ماڈل

بے شک، چھوٹے ہونے کی بھی قیمت ہوتی ہے۔

421M انگریزی ورژن کا کنٹیکس صرف 512 ٹوکنز ہے؛

322M متعدد زبانہ اور 421M ٹائپڈ-ڈیسیژنز ورژن، صرف 1024 ٹوکنز ہیں۔

1k کنٹیکسٹ کو state، instructions اور options کو одно ساتھ شamil کرنا ہوگا، اس لیے یہ مختصر ان پٹ، اعلیٰ فریکوئنسی کالز، اور واضح سٹرکچرڈ آؤٹ پٹ والے فیصلہ سازی کے کاموں کے لیے زیادہ مناسب ہے۔

کمزوریاں موجود ہیں، لیکن اوپن سورس کے بڑے ماہرین نے رات بھر کام کرکے اس کا جواب دے دیا، ہاں! ہم تو اب دیم کی اگلی ورژن پر کام کر چکے ہیں!

جیو: میں نے صرف ایک ہفتہ کے لیے مشہوری حاصل کی ہے...

پروجیکٹ کا پتہ: https://github.com/mizorewww/laya-mlx

یہ مضمون ویچن گروپ "Quantum Bits" سے ہے، مصنف: ون لے

اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔ ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔