Laya-MLX मॉडल 1GB स्थानीय मेमोरी पर चल सकता है, जो त्वरित निर्णय लेने की सुविधा प्रदान करता है

icon MarsBit
साझा करें
AI summary iconसारांश
एक नए प्रोजेक्ट की घोषणा में बताया गया है कि Laya-MLX मॉडल अब 1GB स्थानीय मेमोरी पर चल सकता है, जो Apple के MLX फ्रेमवर्क के लिए अनुकूलित है। बहुभाषी संस्करण M3 Max पर 687.6MiB तक पहुँचता है और कम लेटेंसी के साथ प्रति सेकंड 395 प्रश्नों को प्रोसेस करता है। यह ऑन-चेन समाचार अपडेट Apple Silicon Macs के लिए स्थानीय डिप्लॉयमेंट समर्थन पर प्रकाश डालता है। यह ओपन-सोर्स प्रोजेक्ट GitHub पर उपलब्ध है।

नहीं, Jev तो सिर्फ एक हफ्ते पहले लोकप्रिय हुआ है, और 1GB से कम का स्थानीय संस्करण भी तैयार कर दिया गया है??>

एक डेवलपर ने ओपन सोर्स विकल्प Laya को Apple MLX पर स्थानांतरित करके Laya-MLX बनाया है—

421M पैरामीटर संस्करण, शीर्ष MLX मेमोरी उपयोग केवल 943.6MiB है।

322M के बहुभाषी संस्करण में बदलने पर, यह सीधे 687.6MiB तक गिर गया।

डिसिजन मॉडल

बादल के API का उपयोग न करें, PyTorch और Transformers रनटाइम की आवश्यकता न हो, मॉडल को Mac में डाउनलोड करें और सीधे चलाएं।

और छोटा होने के बावजूद, यह काफी तेज़ है।

M3 Max पर, Laya-MLX का एक छोटा निर्णय P50 सबसे तेज़ 7.39 मिलीसेकंड में; 421M संस्करण केवल 13.42 मिलीसेकंड है।

अगर एक साथ 50 प्रश्न डाले जाएँ, तो 322M बहुभाषी संस्करण की थ्रूपुट 395 प्रश्न/सेकंड तक पहुँच सकती है।

Open Source Jev

Jev लोग इन दो दिनों में पहले से ही परिचित हो चुके होंगे।

इसका सामान्य LLM से सबसे बड़ा अंतर यह है कि यह सबसे समय लेने वाले टेक्स्ट जनरेशन को सीधे हटा देता है, यह बातचीत नहीं करता, कोड नहीं लिखता, लेख भी नहीं बनाता... केवल एक ही काम पर ध्यान केंद्रित करता है, निर्णय लेना।

(बर्ट: अह? मुझे लगता है कि मैंने इस कार्य के बारे में कहीं सुना है?)

एक-एक करके टोकन उत्पन्न करने के चरण की कमी के कारण, निष्कर्ष गति पारंपरिक LLM से स्वाभाविक रूप से अलग हो गई।

इस सरल और सीधी रणनीति के आधार पर, Jev के प्रकाशन के तुरंत बाद यह तेजी से लोकप्रिय हो गया।

डिसिजन मॉडल

इसके तुरंत बाद, ओपन सोर्स विकल्प आ गया।

Laya, एक बहुभाषी, नॉन-ऑटोरिग्रेसिव सिस्टम 1 निर्णय मॉडल।

जेव के विचार के समान, यह टेक्स्ट जेनरेट करने पर कैलकुलेशन शक्ति खर्च नहीं करता, बल्कि सीधे संरचित समस्याओं के लिए निर्णय परिणाम उत्पन्न करता है, जिसे GitHub पर 10.4k स्टार मिल चुके हैं।

डिसिजन मॉडल

यह वर्तमान में मुख्य रूप से तीन प्रकार के कार्य करता है:

choice, कुछ विकल्पों में से एक चुनें; score, दिए गए मानदंडों के अनुसार अंक दें; noul, किसी घटना के True होने की संभावना निर्धारित करें।

एक स्टेट और जांचने के लिए प्रश्न को एक साथ डालें, ताकि एक ही फॉरवर्ड से परिणाम प्राप्त किया जा सके।

Laya के वर्तमान में मुख्य रूप से तीन checkpoint हैं।

अंग्रेजी संस्करण ModernBERT-large, 421M पैरामीटर पर आधारित है;

बहुभाषी संस्करण mmBERT-base पर आधारित है, जिसमें केवल 322M पैरामीटर हैं और 100 से अधिक भाषाओं का समर्थन करता है;

एक और 421M संस्करण टाइपेड-डिसीजन्स वर्कफ्लो के लिए है।

डिसिजन मॉडल

मॉडल में केवल तीन या चार अरब पैरामीटर हैं, और गति भी काफी तेज है।

मूल Laya, Tesla T4 पर, एकल प्रश्न के लिए लगभग 33 मिलीसेकंड; बैच प्रोसेसिंग के दौरान औसतन 7.2 मिलीसेकंड/प्रश्न, एकल कार्ड की अधिकतम थ्रूपुट कई सौ प्रश्न प्रति सेकंड तक पहुँच सकती है।

प्रोजेक्ट द्वारा संदर्भित तीसरे पक्ष का Jev P50 लेटेंसी 236~276 मिलीसेकंड है, जबकि Laya द्वारा स्वयं मापा गया एकल प्रश्न 32.8 मिलीसेकंड है, जो लगभग 7~8 गुना तेज है।

yped-decisions के 2000 निर्णय परीक्षण में, विशेष रूप से अनुकूलित Laya संस्करण की सटीकता 76.6% है (पहले Jev का खुला परिणाम 72.7% था)।

डिसिजन मॉडल

ओपन सोर्स वर्जन उपलब्ध है, और इसकी गति भी तेज है।

इसके तुरंत बाद कुछ लोगों ने सोचना शुरू कर दिया कि क्या इसे और छोटा किया जा सकता है?

तब Laya-MLX आया।

स्थानीय 1GB चल सकता है

Laya-MLX लया के इन्फरेंस स्टैक को स्थानांतरित करता है।

डेवलपर्स पहले से ही मूल Laya को स्वयं डिप्लॉय करने में सक्षम हैं, लेकिन वे मुख्य रूप से PyTorch, Transformers इस वातावरण में चलाते हैं।

mizorewww ने Apple MLX फ्रेमवर्क पर Laya पूर्ण न्यूरल नेटवर्क आर्किटेक्चर को पुनः लागू किया, जिससे मॉडल Apple Silicon पर नेटिव रूप से चल सके।

PyTorch और Transformers runtime को हटा दिया जा सकता है, और क्लाउड API की आवश्यकता नहीं है।

और रीजनिंग स्टैक बदलने के बाद, पुराने परिणाम भी मेल खाने चाहिए।

Laya-MLX ने तीन चेकपॉइंट्स को अलग-अलग FP32 और FP16 में सत्यापित किया, और 63 प्रश्नों में से हर एक पर मूल Laya द्वारा चुने गए उत्तर के साथ पूर्ण मेल खाया।

तीन मॉडल, दो सटीकता स्तर, कुल 378/378 तुलनाएँ सफल, कोई निष्कर्ष विचलन नहीं।

टेस्ट मशीन एक M3 Max है, 40-कोर GPU, 128GB यूनिफाइड मेमोरी।

डिसिजन मॉडल

421M इंग्लिश वर्जन एक छोटे प्रश्न को संभालते समय, शीर्ष MLX आवंटन 943.6MiB था; 322M मल्टीलिंगुअल वर्जन इसे घटाकर 687.6MiB कर दिया।

लेकिन गति नहीं कम हुई।

एक ही M3 Max पर, 421M संस्करण एक छोटे प्रश्न को संभालता है, P50 लेटेंसी 13.42 मिलीसेकंड है; 322M बहुभाषी संस्करण 7.39 मिलीसेकंड है।

P95 क्रमशः केवल 13.92 मिलीसेकंड और 7.79 मिलीसेकंड हैं।

अगर एक बार में 50 प्रश्न डाल दिए जाएँ, तो बहुभाषी संस्करण की थ्रूपुट 395 प्रश्न/सेकंड तक पहुँच सकती है।

डिसिजन मॉडल

और ये समय मॉडल के कोर ऑपरेटर्स की नंगी लेटेंसी नहीं हैं।

The project's timing range includes prompt preparation, tokenization, tensor construction, synchronized inference, calibration, and final result formatting, excluding only the model loading time.

दूसरे शब्दों में, 7.39 मिलीसेकंड पर एक छोटे निर्णय के लिए शुरू से अंत तक की लेटेंसी मापी जाती है।

Laya-MLX का स्नेक गेम खेलने के लिए निर्णय लेने का वेग प्रति सेकंड 60 बार हो सकता है।

यहाँ हर कदम पर वास्तविक रूप से Laya को बुलाया जाता है, जो वर्तमान स्थिति के आधार पर पुनः निर्णय लेता है, और बाहरी cycle safety layer खतरनाक कार्रवाइयों को सुधारता है।

प्रोजेक्ट के परीक्षण किए गए कंपाइल और prefix reuse अनुकूलन के बाद, एक ही M3 Max पर 2400 चरण लगातार चलाए गए—

75.40 चलन/सेकंड, 0 मौतें।

पूरी प्रक्रिया के दौरान, सुरक्षा स्तर ने दो बार हस्तक्षेप किया, और केवल कुछ ही स्थितियों में कार्रवाई सुधार किए गए।

Three-line run

जिन दोस्तों को दिलचस्पी है, वे Apple Silicon Mac पर स्थानीय रूप से डिप्लॉय कर सकते हैं।

वर्तमान में प्रोजेक्ट के लिए Python 3.11+ और macOS 14+ की आवश्यकता है।

निर्भरताओं को स्थापित करने के बाद, आप सीधे लाइब्रेरी आयात कर सकते हैं और पहले से रूपांतरित checkpoint लोड कर सकते हैं:

pip install laya-mlximport laya_mlx as layaagent = laya.load(“aac6fef/laya-mlx”)

अब केवल state और समस्या agent.predict() को सौंप दें।

पहली बार चलाने पर checkpoint स्वचालित रूप से डाउनलोड हो जाएगा, और बाद के निष्पादन पूरी तरह स्थानीय रूप से हो सकते हैं।

डिसिजन मॉडल

जी हाँ, छोटे होने की भी कीमत होती है।

421M का अंग्रेजी संस्करण केवल 512 टोकन्स पर है;

322M मल्टीलिंगुअल और 421M टाइप्ड-डिसीजन्स संस्करण, केवल 1024 टोकन्स हैं।

1k कॉन्टेक्स्ट को स्टेट, निर्देश और विकल्प एक साथ समाहित करना होता है, इसलिए यह छोटे इनपुट, उच्च आवृत्ति कॉल और स्पष्ट संरचित आउटपुट वाले निर्णय कार्यों के लिए अधिक उपयुक्त है।

कमजोरियाँ वास्तविक हैं, लेकिन ओपन-सोर्स विशेषज्ञों ने रातभर अपडेट कर दिया, हाँ, हम पहले से ही ड्रीम के अगले संस्करण पर काम कर रहे हैं!

जेव: मैंने सिर्फ एक हफ्ते पहले लोकप्रियता प्राप्त की थी...

प्रोजेक्ट लिंक: https://github.com/mizorewww/laya-mlx

यह लेख वेचेन ग्रुप "क्वांटम बिट" से आया है, लेखक: वेन ले

डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा। डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।