Модель Laya-MLX может работать на локальной памяти объемом 1 ГБ, обеспечивая быстрое принятие решений

icon MarsBit
Поделиться
AI summary iconСводка
Анонс нового проекта сообщает, что модель Laya-MLX теперь может работать на 1 ГБ локальной памяти, оптимизирована для фреймворка MLX от Apple. Многоязычная версия достигает пикового потребления 687,6 МиБ и обрабатывает 395 вопросов в секунду на M3 Max с низкой задержкой. Это обновление новостей в цепочке подчеркивает поддержку локального развертывания для Mac с чипами Apple Silicon. Открытый проект доступен на GitHub.

Нет, Jev только неделю как стал популярным, и уже выпустили локальную версию размером менее 1 ГБ???

Разработчик перенес открытую альтернативу Laya в нативную среду Apple MLX, создав Laya-MLX—

Версия с 421 млн параметров, пиковое использование памяти MLX составляет всего 943,6 МиБ.

При замене на многопользовательскую версию 322M она сразу упала до 687,6 МиБ.

Модель принятия решений

Не требует облачного API, не нуждается в средах выполнения PyTorch и Transformers — модель можно загрузить на Mac и запускать напрямую.

И хотя он небольшой, скорость довольно высокая.

На M3 Max время принятия решения Laya-MLX для P50 составляет всего 7,39 мс; для версии 421M — всего 13,42 мс.

Если одновременно ввести 50 вопросов, пропускная способность многоязычной версии 322M может достигнуть 395 вопросов/с.

Открытая версия Jev

Все, вероятно, уже хорошо знакомы с Jev за последние два дня.

Его главное отличие от обычных LLM заключается в том, что он полностью исключает самый трудоемкий процесс генерации текста: не ведет диалоги, не пишет код и не создает статьи… Он сосредоточен исключительно на одном — принятии решений.

(Берт: Хм? Кажется, я уже слышал об этом описании работы?)

Без пошагового генерирования по токенам скорость вывода естественно отличается от традиционных LLM.

Благодаря такой простой и прямолинейной стратегии Jev быстро вышел за пределы узкого круга.

Модель принятия решений

Сразу же появился открытый аналог.

Laya — многоязычная, неавторегрессивная модель принятия решений уровня System 1.

Идея похожа на Jev: вместо затрат вычислительной мощности на генерацию текста, она напрямую выдает решения для структурированных задач и уже набрала 10,4 тыс. звезд на GitHub.

Модель принятия решений

Сейчас он в основном занимается тремя видами работ:

choice — выбрать один из нескольких вариантов; score — оценить по заданным критериям; noul — определить вероятность того, что событие является истинным.

Вставьте состояние и вопрос, который нужно проверить, вместе — один прямой проход даст результат сразу.

Сейчас у Laya есть три основных контрольных пункта.

На основе ModernBERT-large, 421 млн параметров;

Многоязычная версия основана на mmBERT-base, содержит всего 322 млн параметров и поддерживает более 100 языков;

Также существует версия 421M для рабочего процесса typed-decisions.

Модель принятия решений

Сама модель имеет всего несколько сотен миллионов параметров, и скорость уже достаточно высока.

Оригинальная Laya на Tesla T4 требует около 33 мс на один вопрос; при пакетной обработке среднее время составляет 7,2 мс/вопрос, а пропускная способность одной карты достигает сотен вопросов в секунду.

Ссылка на сторонний Jev P50 задержка составляет 236–276 мс, тогда как Laya самостоятельно измерила задержку в 32,8 мс, что примерно в 7–8 раз быстрее.

В тесте из 2000 решений yped-decisions специально дообученная версия Laya показала точность 76,6% (ранее публичный результат Jev составлял 72,7%).

Модель принятия решений

Открытая версия доступна, и скорость тоже не медленная.

Сразу же начали задумываться, можно ли сделать еще меньше?

И появилась Laya-MLX.

Локально хватит 1 ГБ

Laya-MLX затрагивает инференс-стек Laya.

Разработчики уже могут самостоятельно развернуть оригинальную Laya, но в основном запускают её в среде PyTorch и Transformers.

Mizorewww повторно реализовал полную нейросетевую архитектуру Laya на фреймворке Apple MLX, чтобы модель могла работать нативно на Apple Silicon.

PyTorch и Transformers runtime можно убрать, а также не требуется запрашивать облачный API.

И после смены стека выводов результаты должны оставаться прежними.

Laya-MLX проверила три контрольные точки с использованием FP32 и FP16 и на 63 проверочных вопросах полностью совпала с ответами, выбранными оригинальной версией Laya.

Три модели, две точности: всего 378/378 сравнений пройдено, смещение выводов не обнаружено.

Тестовый компьютер — это M3 Max с 40-ядерным GPU и 128 ГБ единой памяти.

Модель принятия решений

При обработке короткого вопроса на английском языке пиковое выделение MLX для модели 421M составило 943,6 МиБ; многоязычная версия 322M снизила этот показатель до 687,6 МиБ.

Но скорость не снизилась.

На том же M3 Max версия 421M обрабатывает короткий вопрос с задержкой P50 в 13,42 мс; многоязычная версия 322M — 7,39 мс.

P95 также составляют всего 13,92 мс и 7,79 мс.

Если одновременно вставить 50 вопросов, пропускная способность многоязычной версии может сразу достичь 395 вопросов/с.

Модель принятия решений

И эти временные показатели не являются чистой задержкой основных операторов модели.

Временной диапазон проекта включает подготовку prompt, токенизацию, построение тензоров, синхронное выведение, калибровку и финальную форматизацию результатов, исключая время загрузки модели.

Другими словами, 7,39 мс измеряют сквозную задержку от входа до получения результата короткого решения.

Laya-MLX can make decisions in Snake at a speed of 60 times per second.

Каждый шаг здесь вызывает Laya для перепринятия решения на основе текущего состояния, а внешний слой безопасности цикла корректирует опасные действия.

После открытия проекта, прошедшего тестирование с оптимизацией компиляции и повторного использования префиксов, выполните 2400 шагов подряд на том же M3 Max—

75,40 движений/с, 0 смертей.

В течение всего процесса уровень безопасности вмешался дважды, и были внесены корректировки только в небольшом количестве сценариев.

Три строки запуска

Заинтересованные пользователи могут развернуть его локально на Mac с Apple Silicon.

В настоящее время проект требует Python 3.11+ и macOS 14+.

После установки зависимостей можно сразу импортировать библиотеку и загрузить уже преобразованный checkpoint:

pip install laya-mlx import laya_mlx как laya agent = laya.load(“aac6fef/laya-mlx”)

Далее просто передайте state и вопрос в agent.predict().

При первом запуске чекпоинт будет загружен автоматически, после чего все последующие вычисления можно выполнять полностью локально.

Модель принятия решений

Конечно, у малого тоже есть свои издержки.

421M английская версия контекста содержит только 512 токенов;

Версии 322M с поддержкой нескольких языков и 421M с typed-decisions также имеют только 1024 токенов.

Контекст в 1k должен одновременно вместить состояние, инструкции и варианты, поэтому он лучше подходит для коротких входных данных, частых вызовов и задач принятия решений с четкой структурой выходных данных.

Недостатки реально существуют, но это не останавливает топовых разработчиков с открытым исходным кодом, которые уже连夜 подключились — да, мы уже работаем над следующей версией dream!

Джеф: Я только что стал популярным неделю назад...

Адрес проекта: https://github.com/mizorewww/laya-mlx

Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: Вэнь Лэ

Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.