Ні, Jev лише тиждень як став популярним, і вже випустили локальну версію менше ніж з 1 ГБ?
Розробник переніс відкритий аналог Laya з нативною підтримкою на Apple MLX, створивши Laya-MLX—
Версія з 421 мільйоном параметрів, пікове використання пам’яті MLX становить лише 943,6 МіБ.
Заміна на багатомовну версію 322M ще більше зменшила розмір до 687,6 МіБ.

Не потрібно використовувати хмарний API, PyTorch чи середовище Transformers — модель можна завантажити прямо на Mac і запустити без додаткових дій.
І хоча він невеликий, але дуже швидкий.
На M3 Max Laya-MLX з коротким рішенням P50 працює швидше за 7,39 мс; версія 421M — лише за 13,42 мс.
Якщо одночасно ввести 50 запитань, пропускна здатність багатомовної версії 322M все ще може досягти 395 запитань/с.
Відкритий код Jev
Всі, хто вже це бачив, зрозуміють.
Його найбільша відмінність від звичайних LLM полягає в тому, що він повністю виключив найбільш часомісткий процес генерації тексту: не спілкується, не пише код, не пише статті… зосереджується лише на одному — прийнятті рішень.
(Берт: Ем? Цей опис обов’язків я здається вже чув?)
Без кроку генерації по токену, швидкість висновків природно відрізняється від традиційних LLM.
Саме завдяки такій простій і прямолінійній стратегії Jev швидко вийшов за межі своєї аудиторії.

Наступним прийшов відкритий аналог.
Laya — багатомовна, неавторегресивна модель прийняття рішень системи 1.
Ідея схожа на Jev: не витрачає потужності на генерацію тексту, а безпосередньо видає рішення для структурованих задач, отримавши вже 10,4 тис. зірочок на GitHub.

Зараз він виконує переважно три типи робіт:
вибір, вибрати один із кількох варіантів; оцінка, поставити бал за заданими критеріями; noul, визначити ймовірність того, що подія є істинною.
Вставте стан та питання, яке потрібно перевірити, разом — один прямий прохід дасть результат.
Зараз Laya має три основні контрольні точки.
Версія на англійській мові базується на ModernBERT-large з 421 мільйоном параметрів;
Багатомовна версія побудована на mmBERT-base, має лише 322 мільйони параметрів і підтримує понад 100 мов;
Також існує версія 421M для робочого процесу typed-decisions.

Модель має лише кілька сотень мільйонів параметрів, і її швидкість вже досить висока.
У оригінальній версії Laya на Tesla T4 один запит займає приблизно 33 мс; у режимі пакетної обробки середній час становить 7,2 мс/запит, а пропускна здатність однієї карти досягає сотень запитів на секунду.
Запит до стороннього Jev P50 має затримку 236–276 мс, тоді як Laya виміряла затримку окремого запиту на 32,8 мс — приблизно у 7–8 разів швидше.
У тесті з 2000 рішень yped-decisions спеціально доналаштована версія Laya показала точність 76,6% (раніше публічний результат Jev становив 72,7%).

Відкрита версія вже доступна, і швидкість не повільна.
Невдовзі хтось почав думати, чи можна зробити ще менше?
Тож з’явилася Laya-MLX.
Локально можна запустити з 1 ГБ
Laya-MLX стосується інференс-стеку Laya.
Розробники вже можуть самостійно розгортати оригінальну Laya, але вона основною мірою працює в середовищі PyTorch та Transformers.
Mizorewww повторно реалізував повну нейронну мережу Laya на фреймворку Apple MLX, щоб дозволити моделі працювати нативно на Apple Silicon.
PyTorch і Transformers runtime можна прибрати, а також не потрібно запитувати API хмари.
Крім того, після зміни інференс-стеку результати повинні залишатися такими ж.
Laya-MLX перевірила три чекпоінти за допомогою FP32 та FP16; на 63 тестових запитаннях вони повністю збіглися з відповідями оригінальної Laya.
Три моделі, дві точності: всього 378/378 порівнянь пройдено, відхилення результатів виведення не виявлено.
Тестовий пристрій — це M3 Max з 40-ядерним GPU та 128 ГБ уніфікованої пам’яті.

Під час обробки короткого запиту на англійській мові, пікове виділення MLX для 421M склало 943,6 МіБ; багатомовна версія 322M знизила цей показник до 687,6 МіБ.
Але швидкість не зменшилася.
На тій самій M3 Max, версія 421M обробляє коротке запитання з затримкою P50 13,42 мс; багатомовна версія 322M — 7,39 мс.
P95 також становить лише 13,92 мс і 7,79 мс.
Якщо одночасно вставити 50 запитань, пропускна здатність багатомовної версії може досягти 395 запитань/с.

І ці часи не є чистою затримкою основних операторів моделі.
Час виконання проекту включає підготовку prompt, токенізацію, побудову тензорів, синхронне виведення, калібрування та фінальну форматизацію результатів, виключаючи час завантаження моделі.
Іншими словами, 7,39 мс вимірюють загальну затримку від початку до завершення короткого рішення.
Laya-MLX може приймати рішення гри в «Змійку» зі швидкістю 60 разів на секунду.
Тут на кожному кроці викликається Laya, щоб за поточним станом прийняти нове рішення, а зовнішній шар безпеки циклу виправляє небезпечні дії.
Після відкриття проекту, протестованого з оптимізацією збирання та повторного використання префіксів, на тому самому M3 Max безперервно виконано 2400 кроків—
75,40 рухів/с, 0 смертей.
Протягом усього процесу шар безпеки втрутився двічі, і було внесено корективи лише в невеликій кількості сценаріїв.
Три рядки
Цікаві особи можуть безпосередньо розгорнути локально на Mac з чіпом Apple Silicon.
Зараз вимоги до проекту — Python 3.11+ та macOS 14+.
Після встановлення залежностей можна безпосередньо імпортувати бібліотеку та завантажити вже перетворений checkpoint:
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
Тепер достатньо передати state та питання до agent.predict().
Під час першого запуску чекпоінт завантажиться автоматично, а подальші висновки можуть повністю виконуватися локально.

Звичайно, у малого також є свої ціни.
421M англійська версія контексту має лише 512 токенів;
322M багатомовна версія та 421M typed-decisions версія, лише 1024 токени.
1k контексту потрібно одночасно містити стан, інструкції та варіанти, тому він краще підходить для коротких вхідних даних, частого виклику та задач прийняття рішень із чіткою структурою виходу.
Пробіли існують об’єктивно, але це не заважає топовим розробникам з відкритим кодом негайно додати підтримку — так, ми вже працюємо над наступною версією dream!
Джев: Я тільки що розкіснувся тиждень тому...
Адреса проекту: https://github.com/mizorewww/laya-mlx
Цей матеріал з іншого відділу WeChat «Quantum Bit», автор: Вень Лэ
