Ang Laya-MLX Model ay maaaring mag-run sa 1GB na lokal na memorya, nag-aalok ng mabilis na paggawa ng desisyon

icon MarsBit
I-share
AI summary iconSummary
Isang bagong pahayag ng proyekto ay nagpapakita na ang Laya-MLX model ay maaari nang tumakbo sa 1GB ng lokal na memorya, na optimizado para sa Apple’s MLX framework. Ang multilingual na bersyon ay umabot sa 687.6MiB, na nagproseso ng 395 tanong bawat segundo sa M3 Max na may mababang latency. Ipinapakita ng update sa balita sa chain na suportado ang lokal na deployment para sa Apple Silicon Macs. Ang open-source na proyekto ay available sa GitHub.

Hindi, bago lang naman umabot ng isang linggo si Jev, at mayroon na silang local version na mas maliit sa 1GB???

May developer na isinampa ang open-source alternative na Laya native sa Apple MLX, at nilikha ang Laya-MLX—

Ang bersyon na may 421M na parameter, ang pinakamataas na paggamit ng memorya ng MLX ay lamang 943.6 MiB.

Ibinago sa 322M na bersyon sa maraming wika, tumaba pa ito sa 687.6MiB.

Decision Model

Hindi kailangan ng cloud API, walang kailangang PyTorch at Transformers runtime, agad mong maaari i-run ang model sa Mac.

At maliit man, mabilis pa rin ang bilis.

Sa M3 Max, ang Laya-MLX ay may pinakamabilis na desisyon ng P50 na 7.39ms lamang; ang bersyon na 421M ay 13.42ms lamang.

Kung isasama ang 50 na tanong nang isang beses, maaari pa ring maabot ng 395 tanong/s ang throughput ng 322M multilingual version.

Open-source na Jev

Jev, dapat ay familiar na kayo sa kanya sa loob ng dalawang araw na ito.

Ang pinakamalaking pagkakaiba nito sa karaniwang LLM ay ang pag-alis nang direkta ng pinakamainit na proseso sa paggawa ng teksto—hindi ito nagsasalita, hindi nagsusulat ng code, at hindi nagpapalabas ng mga artikulo... nagtatrabaho lamang ito sa isang bagay: paggawa ng desisyon.

(Bert: Hmm? Parang narinig ko na ito sa isang lugar?)

Kawalan ng hakbang na pag-generate ng bawat Token ay nagdudulot ng pagkakaiba sa bilis ng pag-iisip kumpara sa tradisyonal na LLM.

Sa pamamagitan ng ganitong simpleng at direktang paraan, agad na naging viral ang Jev pagkatapos ng paglabas nito.

Decision Model

Agad sumunod ang open-source alternative.

Laya, isang multilingual, non-autoregressive na System 1 decision model.

Kaugnay sa ideya ni Jev, hindi ito nagpapagana ng computing power para sa paggawa ng teksto, kundi direktang naglalabas ng desisyon para sa mga structured na problema, at nakakalap na ng 10.4k Star sa GitHub.

Decision Model

Sa kasalukuyan, ito ay pangunahing gumagawa ng tatlong uri ng gawain:

choice, piliin ang isang opsyon mula sa ilang pagpipilian; score, bigyan ng puntos ayon sa ibinigay na pamantayan; noul, tukuyin ang probabilidad na maging Totoo ang isang bagay.

Ilagay ang isang state at ang tanong na kailangang masuri nang sabay-sabay, upang makakuha ng resulta sa isang forward.

Mayroon ang Laya ngayon ng tatlong checkpoint.

Batay sa ModernBERT-large, 421M na parameter;

Ang multilingual version ay batay sa mmBERT-base, mayroon lamang 322M na parameter, at sumusuporta sa higit sa 100 mga wika;

Mayroon pa isang bersyon na 421M para sa typed-decisions workflow.

Decision Model

Ang modelo mismo ay mayroon lamang ng ilang libo-libong parameter, at ang bilis nito ay nangunguna na.

Sa Tesla T4, ang orihinal na Laya ay nangangailangan ng halos 33ms bawat tanong; habang sa batch processing, maaari itong magkaroon ng average na 7.2ms/tanong, na nagpapahintulot sa isang GPU na makamit ang pinakamataas na throughput na ilang daan tanong bawat segundo.

Ang latency ng third-party Jev P50 na binanggit sa proyekto ay 236~276ms, habang ang sariling pagsusuri ng Laya ay 32.8ms lamang, na humigit-kumulang 7~8 beses na mas mabilis.

Sa 2,000 na pagsubok ng desisyon sa yped-decisions, ang espesyal na pinagpapaganda bersyon ng Laya ay may akurasyon na 76.6% (ang nakaraang pampublikong resulta ni Jev ay 72.7%).

Decision Model

May open-source na version, at hindi mabagal ang bilis.

Agad na sinimulan ng ilan ang pag-iisip kung maaari pa itong gawing mas maliit.

Kaya dumating ang Laya-MLX.

Maaaring run sa 1GB lokal

Ang Laya-MLX ay nagpapagalaw sa inference stack ng Laya.

Nakakapag-deploy na ang mga developer sa orihinal na Laya, ngunit pangunahing tumatakbo ito sa mga kapaligiran ng PyTorch at Transformers.

Ang mizorewww ay muli nang implemementado ang buong neural network architecture ng Laya sa Apple MLX framework, upang makapag-run ang model nang native sa Apple Silicon.

Maaaring tanggalin ang PyTorch at Transformers runtime, at hindi kailangan ang paghingi ng cloud API.

At matapos magpalit ng inference stack, kailangan ding tugma ang mga dating resulta.

Ang Laya-MLX ay nag-verify ng tatlong checkpoint gamit ang FP32 at FP16, at sa 63 na mga tanong sa pagsusuri, tugma ang lahat ng sagot sa orihinal na sagot ng Laya.

Tatlong modelo, dalawang precision, kabuuang 378/378 na pagkakahambing ay nakapasa, walang pagkakaiba sa mga resulta ng pag-iisip.

Ang test machine ay isang M3 Max, 40-core GPU, 128GB unified memory.

Decision Model

Ang 421M na English version ay nagkaroon ng peak MLX allocation na 943.6MiB habang inilalaan ang isang maikling tanong; ang 322M na multilingual version ay bumaba pa sa 687.6MiB.

Ngunit hindi bumaba ang bilis.

Sa parehong M3 Max, ang bersyon na 421M ay may P50 latency na 13.42ms sa pagtratado ng isang maikling tanong; ang 322M multilingual version naman ay 7.39ms.

Ang P95 ay may 13.92ms at 7.79ms lamang.

Kung isasama ang 50 tanong nang isang beses, ang throughput ng multilingual version ay maaaring umabot sa 395 tanong/s.

Decision Model

At hindi ito ang bare latency ng core operators ng modelo.

Ang panahon ng proyekto ay kasama ang paghahanda ng prompt, pag-tokenize, pagbuo ng tensor, synchronous inference, calibration, at pag-format ng final result, at hindi kasama ang pag-load ng model.

Sa ibang salita, ang 7.39ms ay sinusukat ang end-to-end latency ng isang maikling desisyon mula sa pagpasok hanggang sa resulta.

Ang laya-MLX ay maaaring magdesisyon sa bilis na 60 beses bawat segundo habang naglalaro ng Snake.

Sa bawat hakbang dito, tinatawag ang Laya nang direkta upang muling gumawa ng desisyon batay sa kasalukuyang kalagayan, habang ang panlabas na cycle safety layer ay nagpapakorekta sa mga mapanganib na aksyon.

Pagkatapos buksan ang proyekto, tested ang compilation at ang optimization ng prefix reuse, nag-run ng 2400 steps nang tuloy-tuloy sa parehong M3 Max—

75.40 moves/s, 0 deaths.

Sa buong proseso, ang security layer ay nakapag-intervene ng dalawang beses, at tanging kaunting mga skenaryo ang napanatili.

Three-line run

Maaaring mag-deploy nang lokal sa Apple Silicon Mac ang mga interesadong tao.

Kasalukuyang kailangan ng proyekto ang Python 3.11+ at macOS 14+.

Matapos i-install ang mga dependency, maaari mong direktang i-import ang library at i-load ang naka-convert na checkpoint:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

Saka ilagay na lang ang state at problema sa agent.predict().

Ang unang pagpapatakbo ay awtomatikong magdadownload ng checkpoint, at ang mga susunod na inference ay maaaring maging ganap na lokal.

Decision Model

Oo, may gastos din sa pagiging maliit.

421M ang bersyong Ingles ng konteksto, mayroon lang 512 tokens;

Ang 322M multilingual version at 421M typed-decisions version, ay mayroon lamang na 1024 tokens.

Kailangan ng 1k na konteksto na maglaan ng puwang para sa state, mga instruksyon, at mga opsyon, kaya mas angkop ito para sa maikling input, madalas na pagtawag, at mga gawain sa pagdedesisyon na may malinaw na output structure.

May mga kakulangan, ngunit hindi ito makakatigil sa mga open-source expert na sumunod agad sa gabi, oo, nasa dream na namin ang susunod na bersyon!

Jev: Bago lang akong naging sikat sa isang linggo...

Address ng proyekto: https://github.com/mizorewww/laya-mlx

Nakapost sa WeChat public account na "Quantum Bit", may-akda: Wen Le

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.