Thinking Machines випускає відкриту модель Inkling-Small з загальною кількістю параметрів 276 млрд та активованих параметрів 12 млрд, що використовує архітектуру MoE та нативний мультимодальний дизайн. Ця модель перевершує першу версію Inkling у тестах з математики, міркувань та кодування агентів, використовуючи лише чверть обсягу. Досягнуто переваги за рахунок дистиляції та двотижневого навчання з підсиленням, що значно знизило бар’єри для висновків і дозволило середнім командам налаштовувати моделі. Незважаючи на те, що шість засновників вже залишили команду, команда зберігає високу частоту випусків у складних умовах.

Автор статті, джерело: 36Kr

Thinking Machines випускає відкриту модель Inkling-Small, яка перевершує перше покоління

Після дебюту першої моделі Inkling, з’явилася нова ШІ!

Сьогодні Thinking Machines офіційно запускає свою другу ключову модель — Inkling-Small.

276 мільярдів загальних параметрів, 12 мільярдів активованих параметрів, нативна мультимодальність, 1 мільйон токенів контексту

Півмісяця тому дебютував перший відкритий Inkling обсягом 975B, що викликав величезний резонанс у світі ШІ.

Inkling-Small за допомогою лише чверті обсягу безпосередньо перевершив продуктивність «трильйонного лідера».

На ARC-AGI-2 Inkling-Small оновив SOTA у відкритому коді

Перегляньте ці дні Thinking Machines — сюжет був надзвичайно динамічним.

Ли Вэнь, співзасновниця, офіційно оголосила про свій вихід лише два дні тому, але OpenAI підтвердила її повернення — щоб очолити роботу над «рекурсивним самовдосконаленням» (RSI).

Результат з’явився вже на третій день, коли компанія, що втратила одного з ключових фахівців, негайно опублікувала «повні ваги» нової моделі.

З’явився Inkling-Small, 276B перемагає трильйон

У описі офіційного блогу Inkling-Small — це модель архітектури MoE з загальною кількістю параметрів 276 млрд і активовано 12 млрд під час одного висновку.

У порівнянні з першим Inkling, обсяг був зменшений в чотири рази.

Як сказав великий експерт з Pytorch Горас Хі: «Inkling-Small зовсім не потребує залучення всієї сільської громади — достатньо просто використовувати попередні технології».

Найбільш вражаючим є те, що, незважаючи на зменшення обсягу, загальна потужність значно зросла.

У математиці, міркуваннях, кодуванні агентів та багатомодальних тестах Inkling-Small порівнянний з Inkling та DeepSeek V4 Flash, а навіть перевершує їх.

За трьома ключовими показниками — HLE, Terminal-Bench та IFBench — Inkling-Small забезпечує вищу продуктивність на кожен FLOP порівняно з Inkling.

Як видно, крива Inkling-Small повністю розташована під кривою Inkling.

Також майже не відставав у багатомодальних завданнях: розуміння графіків, візуальні міркування, розуміння мовлення, довге аудіо-міркування — Inkling-Small у тестах «наближається» до оригіналу, але з набагато нижчими витратами.

Інші результати тестів:

Модель, розміром лише чверті, перемогла свого старшого брата в завданнях висновків і агентів.

Щодо того, як це зробити, офіційний опис дуже детальний, ключовими є два кроки.

Час початку навчання Inkling-Small був пізнішим, ніж у Inkling, тому він повністю засвоїв усі помилки попереднього раунду—

Співвідношення попередньо навчальних даних змінено, рецепт машинного навчання повторно оптимізовано.

Ще важливіше — дві дії.

Крок перший: використовуйте Inkling як вчителя для on-policy дистиляції, спочатку створіть попередній контрольний пункт.

Другий крок: від цієї контрольної точки агент продовжив інтенсивне навчання з підсиленням протягом двох тижнів, що призвело до результату «учень перевершив вчителя».

За лише два тижні вдалося не тільки відновити відставання, а й перевершити.

Це означає, що Thinking Machines безперервно запустили лінію з виробництва моделей. Перша модель — це твір, друга модель — доказ виробничої потужності.

12 мільярдів активовано — це справжній переломний момент

Для більшості розробників справжнім питанням є те, чи зможуть вони це використовувати?

Оригінальний Inkling має дуже високі вимоги: мінімальна вимога до BF16 чекпоінтів — 2 ТБ агрегованої пам’яті GPU—

Приклад конфігурації: 8 карт B300 або 16 карт H200; навіть при переході на NVFP4 у версії з квантуванням потрібно не менше 600 ГБ.

Inkling-Small цілком опустив цей бар’єр на значну величину.

LMSYS прямо каже: 276 мільярдів загальних параметрів при 12 мільярдах активованих — це ідеальна точка для підсиленого навчання, де LoRA та повне навчання з параметрами стають «доступними».

Раніше налаштування моделей було доступне лише великим компаніям, а зараз навіть команда середнього розміру має можливість справді навчити її своїм цілям.

Практичні випробування показали, що в одній і тій же середовищі з 8 B200, TP8, NVFP4 та розміром пакету 1, при використанні SGLang для Inkling-Small, увімкнення DSpark дає 648 ток/с при декодуванні, а без нього — 288 ток/с.

У лютому минулого року Thinking Machines розпочала з вражаючим списком із шести осіб — «мрією OpenAI»:

Міра Мураті, Джон Шульман, Баррет Цоф, Вэнь Лі, Ендрю Таллок, Люк Метц.

Тоді вони мали надзвичайний сценарій: 2 мільярди доларів США у сімейному раунді та оцінка в 12 мільярдів доларів США.

Хто б подумав, що фінансування з оцінкою в 50 мільярдів доларів у січні цього року, яке в кінцевому підсумку не вдалося, стало початком переломного моменту.

Зараз у шестій команді залишилися тільки Мураті та Шульман.

Цікавіше те, що з чотирьох, хто пішли, Цоф і Мец повернулися до OpenAI, а зараз Вень Лі — третя.

Компанія, заснована «повстанцями» з OpenAI, все ж не змогла уникнути гравітаційного поля OpenAI.

Але справжньо драматичним є реакція команди на хвилі нестабільності.

15 липня, після 17 місяців мовчання, Thinking Machines нарешті представив свою першу велику модель — Inkling.

Менше ніж через два тижні Вон Лі оголосив про вихід; лише через три дні після цього був запущений другий відкритий модуль із повним ваговим розподілом.

Таланти прискорено витікають, моделі прискорено стрімко розвиваються.

Ці дві протилежні криві стали найбільш характерною сценою в індустрії ШІ.

Можливо, це є єдиним шляхом до ASI: незалежно від того, скільки людей залишиться, колесо машини буде обертатися все швидше і швидше.

Thinking Machines випускає відкриту модель Inkling-Small з загальною кількістю параметрів 276 млрд та активованих параметрів 12 млрд, що використовує архітектуру MoE та нативний мультимодальний дизайн. Ця модель перевершує першу версію Inkling у тестах з математики, міркувань та кодування агентів, використовуючи лише чверть обсягу. Досягнуто переваги за рахунок дистиляції та двотижневого навчання з підсиленням, що значно знизило бар’єри для висновків і дозволило середнім командам налаштовувати моделі. Незважаючи на те, що шість засновників вже залишили команду, команда зберігає високу частоту випусків у складних умовах.

Джерело: Сіньчжіюань