Нет, Jev только неделю как стал популярным, и уже выпустили локальную версию размером менее 1 ГБ???
Разработчик перенес открытую альтернативу Laya в нативную среду Apple MLX, создав Laya-MLX—
Версия с 421 млн параметров, пиковое использование памяти MLX составляет всего 943,6 МиБ.
При замене на многопользовательскую версию 322M она сразу упала до 687,6 МиБ.

Не требует облачного API, не нуждается в средах выполнения PyTorch и Transformers — модель можно загрузить на Mac и запускать напрямую.
И хотя он небольшой, скорость довольно высокая.
На M3 Max время принятия решения Laya-MLX для P50 составляет всего 7,39 мс; для версии 421M — всего 13,42 мс.
Если одновременно ввести 50 вопросов, пропускная способность многоязычной версии 322M может достигнуть 395 вопросов/с.
Открытая версия Jev
Все, вероятно, уже хорошо знакомы с Jev за последние два дня.
Его главное отличие от обычных LLM заключается в том, что он полностью исключает самый трудоемкий процесс генерации текста: не ведет диалоги, не пишет код и не создает статьи… Он сосредоточен исключительно на одном — принятии решений.
(Берт: Хм? Кажется, я уже слышал об этом описании работы?)
Без пошагового генерирования по токенам скорость вывода естественно отличается от традиционных LLM.
Благодаря такой простой и прямолинейной стратегии Jev быстро вышел за пределы узкого круга.

Сразу же появился открытый аналог.
Laya — многоязычная, неавторегрессивная модель принятия решений уровня System 1.
Идея похожа на Jev: вместо затрат вычислительной мощности на генерацию текста, она напрямую выдает решения для структурированных задач и уже набрала 10,4 тыс. звезд на GitHub.

Сейчас он в основном занимается тремя видами работ:
choice — выбрать один из нескольких вариантов; score — оценить по заданным критериям; noul — определить вероятность того, что событие является истинным.
Вставьте состояние и вопрос, который нужно проверить, вместе — один прямой проход даст результат сразу.
Сейчас у Laya есть три основных контрольных пункта.
На основе ModernBERT-large, 421 млн параметров;
Многоязычная версия основана на mmBERT-base, содержит всего 322 млн параметров и поддерживает более 100 языков;
Также существует версия 421M для рабочего процесса typed-decisions.

Сама модель имеет всего несколько сотен миллионов параметров, и скорость уже достаточно высока.
Оригинальная Laya на Tesla T4 требует около 33 мс на один вопрос; при пакетной обработке среднее время составляет 7,2 мс/вопрос, а пропускная способность одной карты достигает сотен вопросов в секунду.
Ссылка на сторонний Jev P50 задержка составляет 236–276 мс, тогда как Laya самостоятельно измерила задержку в 32,8 мс, что примерно в 7–8 раз быстрее.
В тесте из 2000 решений yped-decisions специально дообученная версия Laya показала точность 76,6% (ранее публичный результат Jev составлял 72,7%).

Открытая версия доступна, и скорость тоже не медленная.
Сразу же начали задумываться, можно ли сделать еще меньше?
И появилась Laya-MLX.
Локально хватит 1 ГБ
Laya-MLX затрагивает инференс-стек Laya.
Разработчики уже могут самостоятельно развернуть оригинальную Laya, но в основном запускают её в среде PyTorch и Transformers.
Mizorewww повторно реализовал полную нейросетевую архитектуру Laya на фреймворке Apple MLX, чтобы модель могла работать нативно на Apple Silicon.
PyTorch и Transformers runtime можно убрать, а также не требуется запрашивать облачный API.
И после смены стека выводов результаты должны оставаться прежними.
Laya-MLX проверила три контрольные точки с использованием FP32 и FP16 и на 63 проверочных вопросах полностью совпала с ответами, выбранными оригинальной версией Laya.
Три модели, две точности: всего 378/378 сравнений пройдено, смещение выводов не обнаружено.
Тестовый компьютер — это M3 Max с 40-ядерным GPU и 128 ГБ единой памяти.

При обработке короткого вопроса на английском языке пиковое выделение MLX для модели 421M составило 943,6 МиБ; многоязычная версия 322M снизила этот показатель до 687,6 МиБ.
Но скорость не снизилась.
На том же M3 Max версия 421M обрабатывает короткий вопрос с задержкой P50 в 13,42 мс; многоязычная версия 322M — 7,39 мс.
P95 также составляют всего 13,92 мс и 7,79 мс.
Если одновременно вставить 50 вопросов, пропускная способность многоязычной версии может сразу достичь 395 вопросов/с.

И эти временные показатели не являются чистой задержкой основных операторов модели.
Временной диапазон проекта включает подготовку prompt, токенизацию, построение тензоров, синхронное выведение, калибровку и финальную форматизацию результатов, исключая время загрузки модели.
Другими словами, 7,39 мс измеряют сквозную задержку от входа до получения результата короткого решения.
Laya-MLX can make decisions in Snake at a speed of 60 times per second.
Каждый шаг здесь вызывает Laya для перепринятия решения на основе текущего состояния, а внешний слой безопасности цикла корректирует опасные действия.
После открытия проекта, прошедшего тестирование с оптимизацией компиляции и повторного использования префиксов, выполните 2400 шагов подряд на том же M3 Max—
75,40 движений/с, 0 смертей.
В течение всего процесса уровень безопасности вмешался дважды, и были внесены корректировки только в небольшом количестве сценариев.
Три строки запуска
Заинтересованные пользователи могут развернуть его локально на Mac с Apple Silicon.
В настоящее время проект требует Python 3.11+ и macOS 14+.
После установки зависимостей можно сразу импортировать библиотеку и загрузить уже преобразованный checkpoint:
pip install laya-mlx import laya_mlx как laya agent = laya.load(“aac6fef/laya-mlx”)
Далее просто передайте state и вопрос в agent.predict().
При первом запуске чекпоинт будет загружен автоматически, после чего все последующие вычисления можно выполнять полностью локально.

Конечно, у малого тоже есть свои издержки.
421M английская версия контекста содержит только 512 токенов;
Версии 322M с поддержкой нескольких языков и 421M с typed-decisions также имеют только 1024 токенов.
Контекст в 1k должен одновременно вместить состояние, инструкции и варианты, поэтому он лучше подходит для коротких входных данных, частых вызовов и задач принятия решений с четкой структурой выходных данных.
Недостатки реально существуют, но это не останавливает топовых разработчиков с открытым исходным кодом, которые уже连夜 подключились — да, мы уже работаем над следующей версией dream!
Джеф: Я только что стал популярным неделю назад...
Адрес проекта: https://github.com/mizorewww/laya-mlx
Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: Вэнь Лэ
