Thinking Machinesが、総パラメータ数2760億、活性化パラメータ数120億のオープンソースモデル「Inkling-Small」をリリース。MoEアーキテクチャとネイティブマルチモーダル設計を採用。このモデルは、初代Inklingの1/4の規模ながら、数学、推論、エージェントコーディングなどのベンチマークでその性能を上回った。知識蒸留と2週間の強化学習トレーニングにより性能を逆転し、推論のハードルを大幅に低下させ、中規模チームでもモデルのカスタマイズが可能にした。6人の共同創設者のうち4人が離脱したにもかかわらず、チームは混乱の中でも高頻度でのリリースを継続している。

記事作成者、出典：36Kr

Thinking Machines、初代を上回るオープンソースモデル「Inkling-Small」をリリース

最初のモデルInklingが登場した後、新たなAIが話題を呼んでいます！

本日、Thinking Machinesは第2弾の注目モデル「Inkling-Small」を正式にリリースしました。

総パラメータ数276B、アクティブパラメータ数12B、ネイティブマルチモーダル、100万トークンのコンテキスト

半月前、最初のオープンソース975B Inklingが登場し、AI界に大きな波を起こした。

Inkling-Smallは、わずか四分の一のリソースで「兆ドル級の巨頭」の性能を上回りました。

ARC-AGI-2で、Inkling-SmallがオープンソースSOTAを更新

この数日間のThinking Machinesの展開を振り返ると、劇的な変化に満ちていました。

共同創設者の翁荔が離職を発表してたった2日後、OpenAIは彼女の復帰を確認——「再帰的自己向上」（RSI）の開発を率いる。

結果、三日目には、核心メンバーを一人失ったこの会社は、新モデルの「フルウェイト」をいきなり公開した。

全新Inkling-Small登場、276Bが兆を上回る

公式ブログの紹介によると、Inkling-SmallはMoEアーキテクチャを採用したモデルで、総パラメータ数は2760億、1回の推論で活性化されるパラメータは120億です。

初代Inklingと比較して、サイズが直接4分の1に縮小されました。

PyTorchの巨匠であるHorace Heが述べたように、「Inkling-Smallは村全体の力を必要とせず、前世代の技術をそのまま使用すれば十分です」。

最も本格的なのは、規模は縮小されたものの、総合的な能力が顕著に向上したことです。

数学、推論、エージェントコーディング、マルチモーダルベンチマークにおいて、Inkling-SmallはInklingやDeepSeek V4 Flashに匹敵し、あるいはそれを上回ります。

HLE、Terminal-Bench、IFBenchの3つの主要指標において、Inkling-Smallは1FLOPあたりの性能がInklingを上回っています。

Inkling-Smallの曲線は、常にInklingの下にあります。

マルチモーダル側もほぼ遅れておらず、チャート理解、視覚的推論、音声理解、長音声推論において、Inkling-Smallは評価で「原版に近い」性能を発揮しながら、コストははるかに低い。

その他のベンチマーク結果は以下の通りです：

推理とエージェントタスクにおいて、サイズが四分の一のモデルがその大物を圧倒した。

どのように実行するかについては、公式がその方法を非常に詳しく記載しており、鍵となるのは以下の2ステップです。

Inkling-Smallのトレーニング開始はInklingより遅かったため、前のラウンドで踏んだ坑をすべて吸収した——

予学習データの比率を変更し、機械学習のレシピを再精製しました。

さらに重要なのは、2つの操作です。

まず、Inklingを教師としてon-policy蒸留を行い、プレビューチェックポイントを生成します。

第二ステップとして、このチェックポイントからさらに2週間、エージェントのコーディング強化学習を実行しました。その結果、「生徒が先生を上回る」ことが実現しました。

たった2週間で差を埋め、逆転した。

これは、Thinking Machinesがモデルを繰り返し出力できる生産ラインを直接構築したことを意味します。最初のモデルは作品であり、二番目のモデルは生産能力の証明です。

120億のアクティブ化が、真の分水嶺である

ほとんどの開発者にとって、本当に気になるのは、自分自身で実際に使えるかどうかです。

原版Inklingの要件は非常に高く、BF16チェックポイントの最低要件は2TBの合計VRAMです——

例として、B300を8枚、またはH200を16枚配置する。NVFP4量子化版に変更しても、最低600GB必要である。

Inkling-Smallはこの障壁を大きく引き下げました。

LMSYSの説明は非常に直截的です：276Bの総パラメータに12Bのアクティブパラメータを組み合わせることは、強化学習の最適なポイントであり、LoRAもフルパラメータトレーニングも「手が届く」レベルになります。

かつて大手企業だけが可能だったモデルのカスタマイズが、今では中規模のチームでも、実際に自分たちのものに訓練する機会を得ている。

実測によると、8枚のB200、TP8、NVFP4、バッチサイズ1の同一環境でSGLangを用いてInkling-Smallを実行した場合、DSparkを有効にすると648 tok/sのデコード速度となり、無効にすると288 tok/sとなります。

昨年2月、Thinking Machinesは「OpenAIの夢のチーム」と呼ばれる6人組のメンバーで注目を集めた：

ミラ・ムラティ、ジョン・シュルマン、バレット・ゾフ、翁荔、アンドリュー・タロッホ、ルーク・メツ。

当時、彼らは20億ドルのシードラウンド、120億ドルの評価額という異例のシナリオを手にしていた。

誰が想像しただろうか、今年1月の500億ドルの評価額での資金調達が最終的に失敗し、転換点の始まりとなったことを。

現在、六人組はMuratiとSchulmanだけになりました。

より興味深いことに、去った4人のうち、ZophとMetzは次々とOpenAIに戻ったが、今や翁荔が三人目となった。

OpenAIの「反逆者」たちが設立した企業だが、核心メンバーは結局、OpenAIの引力場から逃れられなかった。

しかし、本当に劇的なのは、チームが混乱に直面した際の反応である。

7月15日、17か月間沈黙を守っていたThinking Machinesがついに最初の大規模モデル“Inkling”を発表しました。

2週間も経たないうちに、翁荔が退職を発表した。そしてたった3日後、次なるフルウェイトのオープンソースモデルが続々とリリースされた。

人材が加速して流出しており、モデルが加速して急成長している。

この二つの対照的な曲線は、AI業界で最も象徴的な光景となった。

おそらくこれがASIへの道筋だ：残った人がどれほど少なくとも、機械の車輪はますます速く回り続ける。

Thinking Machinesが、総パラメータ数2760億、活性化パラメータ数120億のオープンソースモデル「Inkling-Small」をリリース。MoEアーキテクチャとネイティブマルチモーダル設計を採用。このモデルは、初代Inklingの1/4の規模ながら、数学、推論、エージェントコーディングなどのベンチマークでその性能を上回った。知識蒸留と2週間の強化学習トレーニングにより性能を逆転し、推論のハードルを大幅に低下させ、中規模チームでもモデルのカスタマイズが可能にした。6人の共同創設者のうち4人が離脱したにもかかわらず、チームは混乱の中でも高頻度でのリリースを継続している。

出典：新智元