За даними Beating Monitoring, китайський розробник великих моделей MiniMax офіційно відкрив вихідний код власної багатомодальної моделі з мішаними експертами (MoE) MiniMax M3 на Hugging Face. Загальна кількість параметрів MiniMax M3 становить 428 мільярдів, при активації одного токена — 23 мільярди параметрів, з нативною підтримкою наддовгого контексту до 1 мільйона токенів. Для зменшення витрат пам’яті GPU розробники одночасно випустили квантовану версію MXFP8, сумісну з основними інференс-фреймворками, такими як SGLang, vLLM та Transformers. У багатомодальному дизайні MiniMax M3 на етапі попереднього навчання проводиться спільне навчання тексту, зображень та відео для досягнення нативного семантичного об’єднання, а не післянавчальне вирівнювання багатомодальних даних. У робочому механізмі модель пропонує два режими висновку: режим Thinking (мислення) для складної логіки та оркестрування інструментів, і режим Non-thinking (немислення) для діалогів з низькою затримкою та генерації коду. Основою для підтримки наддовгого контексту в 1 мільйон токенів є одночасно відкритий легковажний атенційний ядро — MiniMax Sparse Attention (MSA). За офіційними даними, MSA використовує механізм групової уваги з запитами (GQA) та блоковим пошуком; у тестах з контекстом у 1 мільйон токенів на архітектурі NVIDIA Blackwell (SM100) операції MSA демонструють прискорення заповнення понад у 9 разів та прискорення декодування у 15 разів порівняно з традиційним повним механізмом уваги, значно знижуючи витрати на інференс.
MiniMax M3 відкрито з нативною підтримкою мультимодальності та довжиною контексту 1M
MarsBitПоділитися
Короткий зміст
MiniMax відкрила свій нативний багатомодальний MoE-модель M3 на Hugging Face, яка має 428 мільярдів параметрів та довжину контексту 1 мільйон токенів. Модель підтримує текст, зображення та відео з нативним семантичним об’єднанням. Доступна квантована версія MXFP8, сумісна з SGLang, vLLM та Transformers. Інтерес до інструментів великих моделей залишається високим. M3 використовує відкритий ядро MiniMax Sparse Attention (MSA), яке прискорює префілінг та декодування. Настрій ринку, як відображено в індексі страху та жадібності, свідчить про зростання впевненості в інфраструктурі ШІ.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.