Thinking Machines выпустила открытую модель Inkling-Small с общим количеством параметров 276 миллиардов и 12 миллиардов активируемых параметров, используя архитектуру MoE и нативную мультимодальную конструкцию. Эта модель превзошла первую версию Inkling в тестах по математике, рассуждению и кодированию агентов, используя всего четверть объема данных. Производительность была достигнута за счет дистилляции и двухнедельного обучения с подкреплением, что значительно снизило порог входа для вывода и позволило средним командам настраивать модель. Несмотря на то, что четыре из шести сооснователей покинули команду, команда сохраняет высокий темп выпусков даже в условиях нестабильности.

Автор статьи, источник: 36Kr

Thinking Machines выпустила открытую модель Inkling-Small, превосходящую первую версию

После дебюта первой модели Inkling, снова в тренде — новая ИИ!

Сегодня Thinking Machines официально запустила свою вторую ключевую модель — Inkling-Small.

276 млрд общих параметров, 12 млрд активированных параметров, нативная мультимодальность, контекст 1 млн токенов

Полтора месяца назад появился первый открытый Inkling объемом 975B, который вызвал огромный резонанс в мире ИИ.

Inkling-Small, используя всего четверть объема, напрямую превзошел по производительности «триллионного гиганта».

На ARC-AGI-2 Inkling-Small установил новый рекорд в открытых источниках

Взгляните на последние дни Thinking Machines — сюжет был невероятно насыщенным.

Ли Вэнь, сооснователь, официально объявила о уходе всего два дня назад, но теперь OpenAI подтвердила ее возвращение — она возглавит работу над «рекурсивным самоусовершенствованием» (RSI).

И уже на третий день компания, лишившаяся одного из ключевых специалистов, сразу выпустила «полные веса» новой модели.

Представлен новый Inkling-Small, 276B побеждает триллион

В описании официального блога Inkling-Small — это модель с архитектурой MoE, общим количеством параметров 276 миллиардов и активацией 12 миллиардов при одном выводе.

По сравнению с первым поколением Inkling, объем был напрямую сокращен в четыре раза.

Как сказал великий специалист по PyTorch Горас Хи: «Inkling-Small вообще не требует усилий всего села — достаточно просто использовать предыдущие технологии».

Самое серьезное — несмотря на уменьшение масштаба, общая конкурентоспособность значительно возросла.

В математике, рассуждении, кодировании агентов и мультимодальных тестах Inkling-Small сопоставим с Inkling и DeepSeek V4 Flash, а в некоторых случаях превосходит их.

По трем ключевым показателям — HLE, Terminal-Bench и IFBench — Inkling-Small обеспечивает более высокую производительность на каждый FLOP по сравнению с Inkling.

Как видно, кривая Inkling-Small полностью находится ниже кривой Inkling.

В многомодальной области также почти не отстает: понимание графиков, визуальные рассуждения, понимание речи, длинные аудио-рассуждения — Inkling-Small в тестах «приближается» к оригиналу, но при значительно меньших затратах.

Другие результаты тестирования:

Модель, размер которой всего в четыре раза меньше, полностью превзошла свою старшую версию в задачах вывода и работы агентов.

Что касается того, как это сделать, официальные инструкции подробно описывают метод, ключевыми являются два шага.

Время начала обучения Inkling-Small было позже, чем у Inkling, поэтому он полностью усвоил все ошибки, допущенные на предыдущем этапе—

Соотношение предварительно обученных данных изменено, рецепт машинного обучения повторно оптимизирован.

Более важно, это две операции.

На первом этапе используйте Inkling в качестве учителя для on-policy дистилляции и создайте предварительную контрольную точку.

На втором этапе агент прошел усиленное обучение с подкреплением в течение двух полных недель, начиная с этой контрольной точки, что привело к результату «ученик превзошел учителя».

За две недели удалось не только восполнить разрыв, но и обогнать.

Это означает, что Thinking Machines напрямую запустил производственную линию, способную постоянно генерировать модели. Первая модель — это произведение, вторая модель — доказательство производственной мощности.

12 миллиардов активации — это настоящий переломный момент

Для большинства разработчиков действительно важно, смогут ли они использовать это.

Оригинальный порог Inkling очень высок: минимальное требование к BF16 контрольным точкам — 2 ТБ агрегированной видеопамяти —

Пример конфигурации: 8 карт B300 или 16 карт H200; даже при переходе на NVFP4 в квантованной версии требуется минимум 600 ГБ.

Inkling-Small значительно снизил этот порог.

LMSYS прямо говорит: 276 млрд общих параметров при 12 млрд активированных — это идеальная точка для обучения с подкреплением, и LoRA, и полное обучение параметрами становятся «доступными».

Раньше настройку моделей могли позволить себе только крупные компании, но теперь у команды среднего размера появилась возможность действительно обучить ее под свои нужды.

Практические тесты показали, что в одной и той же среде с 8 картами B200, TP8, NVFP4 и размером пакета 1, при использовании SGLang для запуска Inkling-Small скорость декодирования достигает 648 ток/с с включенным DSpark и 288 ток/с без него.

В феврале прошлого года Thinking Machines начала работу с шестеркой из «мечты OpenAI»:

Мира Мурати, Джон Шульман, Баррет Зоф, Вэнь Ли, Эндрю Таллок, Люк Метц.

В то время у них был невероятный сценарий: семя-инвестиции в 2 миллиарда долларов и оценка в 12 миллиардов долларов.

Кто мог подумать, что финансирование с оценкой в 50 миллиардов долларов в январе этого года в итоге провалилось, став началом переломного момента.

Сегодня в шестерке осталось только Мурати и Шульман.

Более интересно то, что из четырёх ушедших людей Зоф и Мец по очереди вернулись в OpenAI, и теперь Вэнь Ли стала третьей.

Компания, основанная «мятежниками» из OpenAI, в конечном итоге не смогла избежать гравитационного поля OpenAI.

Но действительно драматичным было то, как команда отреагировала на потрясения.

15 июля, после 17 месяцев молчания, Thinking Machines наконец представила свою первую крупную модель — Inkling.

Менее чем через две недели Вэнь Ли объявила об уходе; всего через три дня вслед за этим был запущен второй открытый модель с полным весом.

Таланты ускоряют уход, модели ускоряют взрывной рост.

Эти две противоположные кривые стали наиболее характерной сценой в индустрии ИИ.

Возможно, это единственный путь к ASI: сколько бы ни осталось людей, колеса машины, движущейся вперед, будут вращаться все быстрее и быстрее.

Thinking Machines выпустила открытую модель Inkling-Small с общим количеством параметров 276 миллиардов и 12 миллиардов активируемых параметров, используя архитектуру MoE и нативную мультимодальную конструкцию. Эта модель превзошла первую версию Inkling в тестах по математике, рассуждению и кодированию агентов, используя всего четверть объема данных. Производительность была достигнута за счет дистилляции и двухнедельного обучения с подкреплением, что значительно снизило порог входа для вывода и позволило средним командам настраивать модель. Несмотря на то, что четыре из шести сооснователей покинули команду, команда сохраняет высокий темп выпусков даже в условиях нестабильности.

Источник: Новомир