Ipinapakilala ng Thinking Machines ang open-source na modelo na Inkling-Small, na may kabuuang 276 bilyong parameter at 12 bilyong aktibong parameter, na gumagamit ng MoE architecture at native multimodal design. Ang modelo ay nakalampas sa unang bersyon ng Inkling sa mga benchmark sa matematika, pag-iisip, at agent coding gamit ang apat na kalahati ng sukat. Natamo ang pagpapabuti sa pamamagitan ng distilasyon at dalawang linggo ng reinforcement learning training, na bumaba nang malaki sa hadlang sa pag-iisip, kaya maaari nang i-customize ng mga katamtamang team ang modelo. Kahit na umalis na ang apat sa anim na co-founders, patuloy pa rin ng team ang mataas na bilis ng pagpapalabas sa gitna ng kaguluhan.

May-akda ng artikulo, pinagkukunan: 36Kr

Ipinahayag ng Thinking Machines ang open-source na modelo na Inkling-Small na lalong lumampas sa unang bersyon.

Pagkatapos ng debut ng unang modelo na Inkling, ang bagong AI ay bumagsak ulit!

Ngayon, ipinakilala ng Thinking Machines ang kanilang pangalawang malaking modelo—Inkling-Small.

276B kabuuang parameter, 12B aktibong parameter, native multimodal, 1 milyong token na konteksto

Bago ang kalahating buwan, ang unang open-source na 975B Inkling ay lumabas at nagdulot ng malaking alon sa mundo ng AI.

Ang Inkling-Small ay direktang nagsagawa ng paglilipas sa performance ng "bayan ng trilyon" gamit ang apat na kalahati ng dami.

Sa ARC-AGI-2, ang Inkling-Small ay nag-refresh ng open-source SOTA

Tingnan ang mga araw na ito ng Thinking Machines, ang kuwento ay talagang puno ng pagbabago.

Dalawang araw lamang pagkatapos ng opisyal na pag-alis ni Weng Li, ang OpenAI ay patotohanan ang kanyang pagbabalik—na nagpapangulo sa pag-aaral ng “Recursive Self-Improvement” (RSI).

Noong ikatlong araw, agad nila isinabuhay ang "full weights" ng bagong modelo, habang ang kumpanya ay nawalan na ng isang pangunahing miyembro.

Bagong Inkling-Small ay lumabas, 276B ay nagwagi sa trilyon

Sa pagsisimula ng opisyal na blog, ang Inkling-Small ay isang modelo na MoE na may kabuuang 276 bilyong parameter at 12 bilyong aktibong parameter sa isang pagpapatakbo.

Kumpara sa unang Inkling, ang laki ay diretso na na-contract sa isang-kwarter.

Ayon kay Horace He, ang dakilang eksperto sa Pytorch, "hindi kailangan ng buong bayan ang Inkling-Small, direktang maaaring gamitin ang nakaraang teknolohiya."

Ang pinakamakapangyarihan ay, bagaman bumaba ang sukat, tumataas nang malaki ang kabuuang kakayahan.

Sa matematika, pag-iisip, pag-encode ng agent, at multi-modal benchmark, ang Inkling-Small ay katumbas o kahit paano ay hihigit sa Inkling at DeepSeek V4 Flash.

Sa tatlong pangunahing indikador—HLE, Terminal-Bench, at IFBench—ang bawat FLOP ng Inkling-Small ay nagbibigay ng mas mataas na performance kaysa sa Inkling.

Nakikita na ang kurba ng Inkling-Small ay patuloy na nasa ibaba ng Inkling.

Sa multimo dalawin, halos hindi nagkakaroon ng pagkakaligtaan—ang pag-unawa sa mga grapiko, visual reasoning, pag-unawa sa boses, at pag-iisip sa mahabang audio, ang Inkling-Small ay “malapit” sa orihinal sa mga pagsusulit, ngunit mas mababa ang gastos.

Ang iba pang mga resulta ng benchmark ay sumusunod:

Isang modelo na may volume na kalahati ng apat, ay nakalaban sa kanyang mas malaking kapatid sa pagpapatakbo at mga gawain ng agent.

Tungkol sa paano gawin, isinulat ng opisyal ang detalyadong paraan, at ang pangunahing mga hakbang ay dalawa.

Ang pagpapagsimula ng pagtatrabaho sa Inkling-Small ay mas huli kaysa sa Inkling, kaya nakuha nito ang lahat ng mga pagkakamali mula sa nakaraang round—

Binaling ang ratio ng pre-trained data, at muli ay pinabuting ang recipe ng machine learning.

Mas mahalaga naman ang dalawang hakbang.

Unang hakbang, gamitin ang Inkling bilang guro para sa on-policy distillation, at lumikha muna ng isang preview checkpoint.

Pangalawang hakbang, nagpatuloy ang pagpapalakas ng pag-aaral ng mga agent mula sa checkpoint na ito nang dalawang buwan. Kaya naging posible ang resultang “lalong lumampas ang mag-aaral sa guro.”

Sa loob ng dalawang linggo lamang, natapos ang kalalabasan at lumampas na.

Ibig sabihin nito, direktang pinagana ng Thinking Machines ang isang linya na makapagpapalabas ng mga modelo nang paulit-ulit. Ang unang modelo ay ang gawa, habang ang pangalawang modelo ay patunay ng kakayahan sa produksyon.

12 bilyon na aktibasyon, iyon ang totoong pagkakahati

Para sa karamihan sa mga developer, ang tunay na pinag-uusapan ay kung makakagamit ba sila nito?

Ang batayan ng Inkling ay sobrang mataas; ang minimum na hingi sa BF16 checkpoint ay 2TB na aggregated video memory—

Ang halimbawang konfigurasyon ay 8 na B300 o 16 na H200; kahit ilipat sa NVFP4 na bersyon ng quantization, kailangan pa rin ng 600GB pataas.

Inkling-Small ay bumaba ng malaki sa antas na ito.

Ang sabi ng LMSYS ay direktang: Ang 276B kabuuang parameter na may 12B aktibong parameter ay ang ideal na punto para sa reinforcement learning, kaya ang LoRA at full-parameter training ay naging "maabot".

Kahit na dati ay nagagawa lamang ng mga malalaking kumpanya ang pag-customize ng mga modelo, ngayon may pagkakataon na ang isang katamtamang laki ng team na gawin ito bilang kanilang sariling produkto.

Ang mga pagsusuri ay nagpapakita na sa parehong kapaligiran na may 8 na B200, TP8, NVFP4, at batch size 1, ang paggamit ng SGLang para sa Inkling-Small ay nakakamit ng 648 tok/s na decoding kapag bukas ang DSpark, at 288 tok/s naman kung hindi bukas.

Noong Pebrero taong nakaraan, nagmukha ang Thinking Machines ng isang anim-kalahat na listahan ng “OpenAI Dream Team”:

Mira Murati, John Schulman, Barret Zoph,翁荔, Andrew Tulloch, Luke Metz.

Noon, mayroon silang 2 bilyong dolyar sa seed round at 12 bilyong dolyar na valuation.

Sino ang makakaisip na ang pagpapautang na may halagang $5 bilyon noong Enero ng taong ito ay naging simula ng pagbabago?

Ngayon, natirang si Murati at Schulman lamang sa grupo ng anim.

Mas interesante pa, sa mga apat na umalis, si Zoph at si Metz ay bumalik sa OpenAI, at ngayon si Weng Li ay naging ikatlo.

Isang kumpanya na itinatag ng mga "rebelde" mula sa OpenAI, ngunit ang pangunahing miyembro ay hindi nakaligtas sa grabitasyonal na field ng OpenAI.

Ngunit ang totoong dakilang drama ay ang reaksyon ng tim sa gitna ng kaguluhan.

Iyong Hulyo 15, matapos maging tahimik nang 17 buwan, ang Thinking Machines ay naglabas ng unang malaking modelo nito, ang Inkling.

Hindi pa naglalabas ng dalawang linggo, inanunsyo ni Weng Li ang kanyang pag-alis; tatlong araw lamang pagkatapos, sumunod agad ang pangalawang bukas na modelo na may buong timbang.

Ang mga talento ay nagpapabilis sa pagkawala, habang ang mga modelo ay nagpapabilis sa paglalakbay.

Ang dalawang kurba na magkaliwaan ay naging isa sa pinakakilalang eksena sa industriya ng AI.

Maaaring ito ang tanging daan patungo sa ASI: anuman ang bilang ng mga natitira, ang mga gulong ng makina ay magiging mas mabilis na umiikot.

Ipinapakilala ng Thinking Machines ang open-source na modelo na Inkling-Small, na may kabuuang 276 bilyong parameter at 12 bilyong aktibong parameter, na gumagamit ng MoE architecture at native multimodal design. Ang modelo ay nakalampas sa unang bersyon ng Inkling sa mga benchmark sa matematika, pag-iisip, at agent coding gamit ang apat na kalahati ng sukat. Natamo ang pagpapabuti sa pamamagitan ng distilasyon at dalawang linggo ng reinforcement learning training, na bumaba nang malaki sa hadlang sa pag-iisip, kaya maaari nang i-customize ng mga katamtamang team ang modelo. Kahit na umalis na ang apat sa anim na co-founders, patuloy pa rin ng team ang mataas na bilis ng pagpapalabas sa gitna ng kaguluhan.

Source: Xin Zhi Yuan