Ipinapakilala ni NVIDIA ang $5 bilyon sa SSI ni Ilya Sutskever, inaasahang unang modelo ito linggo

Ang laboratoryo ni Ilya Sutskever na “Safe Superintelligence” (SSI) ay maaaring maglabas ng unang malaking modelo nito sa linggong ito!

Mga pangunahing tao sa industriya ay nagpapahiwatig nang malakas na na sasagutin ng SSI ang kanilang unang makabagong malaking modelo.

Nakakaligaya ang kilalang investor at kasamahan sa a16z na si Martin Casado, at direktang inihintay niya na kanyang nabigyan ng «pinakamalakas na bagong modelo ng taon».

Agad na sumabog ang komunidad, at agad na natutok ang kanilang pansin sa SSI ni Ilya.

Ang dahilan ay simpleng: ang a16z ay isa sa mga pangunahing investor sa likod ng SSI. Bagaman may ilang nagtataya na ang nakita ni Casado ay maaaring ang susunod na henerasyon ng OpenAI na Astra model.

Ngunit ang mga alalahanin tungkol sa pagtemo ng mga "malalaking kumpanya na hindi pangunahin" ay lubos na umuusbong.

Higit pa rito, kilalang tech observer na si Andrew Curran ay nagpahayag ng kasiyahan na ang malaking pagbubukas ay hindi galing sa mga pangunahing kumpanya (tulad ng OpenAI o Google), kundi galing sa isang independiyenteng laboratorio, na nagbibigay ng pakiramdam na "sobrang totoo".

Ang pinakamalaking pahayag ay galing sa AI observer na si Dan McAteer, na direktang sinabi: "Ilya ay tunay na nilikha ang superintelligence, at ang mga patakaran ng laro ay binago na!"

Noong simula ng buwan, sinabi ni Gavin Baker sa podcast:

Sabi ng SSI na ipapalabas nila ang kanilang modelo sa Agosto.

Kung naniniwala ka na ito ay kakaibang teorya lamang, tingnan mo ang mga tunay na paggalaw ng pera.

Noong Hulyo 27, 2024, nag-anunsyo ang NVIDIA ng isang matagal na pakikipagtulungan sa isang misteryosong kumpanya na walang kita at walang produkto, at magpapataas ng kapasidad ng computing ng SSI ng sampung beses sa susunod na 12 buwan.

Mas maraming detalye na inilabas: Ang investmeng ito ay umabot sa $5 bilyon, at binuksan ni NVIDIA ang eksklusibong pag-access sa susunod na henerasyon ng Vera Rubin system sa SSI!

Bakit handa si Jensen Huang na maglaan ng ganitong malaking halaga?

Sa press release, sinabi ng NVIDIA na sila ay nagdesisyon na magbigay ng malaking investimento pagkatapos makamit ang "rare access" sa kanilang mahigpit na pinrotektadong mga resulta ng pananaliksik.

Ano ang nakikita ni Huang Renxun? Kasama ang mga爆料 ngayon, ang sagot ay malinaw na.

Upang maunawaan kung gaano kabisado ang bagong modelo na SSI, kailangan nating maunawaan muna kung paano gumagana ang kasalukuyang AI (tulad ng ChatGPT, Claude).

Sa kasalukuyan, anumang AI model, anuman ang laki ng parameter, ay nag-iimbak ng kaalaman sa mga weight sa panahon ng «pre-training». Pagkatapos ng pagtatrain, ang «utak» nito ay nakafreeze na.

Upang pahintulutan ang modelo na prosesuhin ang mga bagong impormasyon, ang mga malalaking kumpanya ay sumasabak sa “context window” mula sa 100k hanggang sa antas ng milyon.

Parang pagsusulit na bukas ang libro—hindi naging mas matalino ang utak ng model, kundi mas tumaba na ang iyong pinapahintulutang “sagot sa maliit na papel” (konteksto).

Kahit ang isang inference model tulad ng OpenAI's o1 na nagtatampok ng "test-time compute", ito ay nagpapalabas lamang ng mas maraming oras sa pag-iisip sa isang scrap paper (nagkakaroon ng mas maraming token), ang mga koneksyon nito sa neural network, ang kanyang mga "brain cells", ay nananatiling nakapikit.

Ngunit ang ipinakita ng SSI sa pagkakataong ito ay isang bagong arkitektura batay sa Test-Time Training (TTT).

What does this mean?

Kapag binabasa ng modelo ang isang mahabang dokumento na ibinigay mo, hindi ito isisilip sa "cheat sheet" kundi tunay na natututo nito, nagpapagawa ng gradient updates, at nagbabago sa sariling istruktura ng utak.

Pagkatapos basahin, ito ay naging isang napakapalaking ngunit bagong evolusyon na AI.

Hindi na ito kailangan ng malaking context window, dahil pinapalit nito ang mga binabasa nito sa sariling tunay na “internalized knowledge”.

Hindi na ito limitado sa monopoliyo ng computing power sa panahon ng pre-training; sapat ang isang maliit ngunit mahusay na modelo na nakakapag-adapt at nakakabago sa trabaho upang labanan ang mga malalaking modelo na nagmumula sa malaking dami ng computing power ngunit hindi nakakapag-flex.

Sa industriya, ang kasalukuyang kompetisyon ay ang “gaano katagal makapag-isip ang modelo,” ngunit ang ipinapaligsay ni Ilya ay ang “kaya ba ng modelo na baguhin ang sarili nito.”

Tingnan ang nakaraang dalawang taon, ang estado ng SSI na “walang produkto, walang papel” ay nagdulot ng pag-aalinlangan sa labas kung sila ay nasa hirap.

Ngunit kung iuugnay mo ang timeline, makikita mo na patuloy na naglalaro ng malaking laro si Ilya.

Ilya ay nagsalaysay nang maraming beses sa publiko ng isang pangunahing ideya: ang panahon ng pretraining na ating kilala, ay darating na sa katapusan.

Sa NeurIPS conference noong 2024, nagbanta siya ng nakakagulat na propesya.

Sa 2025 ng Nobyembre, sa isang podcast ni Dwarkesh Patel, mas lalong pinakilala niya: “Nasa paglipas tayo mula sa panahon ng Scaling patungo sa panahon ng Research.”

Sa palagay ni Ilya, ang buong industriya ay naliligaw ng mga salitang "AGI" at "pre-training". Hindi tayo ipinanganak na may kaalaman.

Ang totoong superinteligensya sa kanyang isip ay hindi isang malaking makina na nagmemorize ang lahat ng data sa web noong pabrika; kundi isang “napakatalino, puno ng walang hanggang pagkakaalam na 15-taong-gulang na bata”.

Ang bata na 15 taong gulang ay maaaring walang alam sa simula, ngunit kung ilalagay mo siya sa anumang posisyon, sa pamamagitan ng patuloy na pagsubok at pagkatuto, maaari niyang mabilis na matutunan ang programming, medisina, batas, o anumang hindi kilalang kasanayan.

Idinagdag niya: Ang tao ay hindi "fully capable upon factory release" na AGI, kundi nakasalalay sa patuloy na pag-aaral (continual learning).

Dapat din gawin ng totoong superintelligence: ang pag-deploy ay proseso ng pagkatuto mismo, na patuloy na umuunlad sa pamamagitan ng real-time na feedback, at hindi lamang isang beses na pre-training na tapos na.

Direktang nagpapasya ang konseptong ito sa estratehiya ng SSI: hindi naghihingi ng mga produkto sa maikling panahon, hindi naglalabas ng mga intermediate model, kundi nagtatarget lamang sa “straight shot to safe superintelligence” (direktang patungo sa ligtas na superintelligence), at nagpapakonsentrado sa pag-aaral sa epektibong patuloy na pagkatuto at pagkakasundo.

Upang makamit ang layuning ito, ang “meta-learning” ang tanging solusyon—dapat hindi lamang ng modelo na matutunan ang mga kasanayan, kundi pati na rin ang “paraan ng pagkuha ng mga kasanayan.”

Ito ang perpektong paliwanag kung bakit ang SSI ay sobrang tahimik. Kung ikaw ay nagtatayo ng isang bagong uri na magpapalit ng buong umiiral na paradigma, hindi mo sasabihin sa lahat ang mga blog habang ang paradigma ay patuloy pa ring binubuo.

Ngunit hindi kayang itago ang katotohanan sa papel; ang mga patunay ay naka-imbak na.

Noong Hulyo 2024, ang mga siyentipiko na si Yu Sun at iba pa ay nag-publish ng orihinal na papel ng TTT.

Ang pinakamahalaga ay, si Jed McCaleb, co-founder ng Stellar at investor sa SSI, ay nagkasulat ng isang papel na sinasabi nang direkta

Ang long-context language modeling ay hindi talaga isang problema sa arkitektura, kundi isang problema sa tuloy-tuloy na pagkatuto!

Ang pagkakasunod-sunod ng mga direksyon ng pananaliksik, ang personal na pakikilahok ng mga investor sa pagpapalabas ng mga papel, at sa kasalukuyang mga imbestigasyon, lahat ng mga patunay ay nagtuturo sa isang parehong katotohanan: ang SSI ay nagbago sa TTT mula sa isang akademikong konsepto sa laboratorio patungo sa isang tunay na komersyal na sandata.

Ngayon, ang lahat ng pansin ay nakatuon sa Agosto.

Anuman ang unang modelo ng SSI, kahit isa lamang sa maliit na grupo ng mga geek ang makakakuha nito o kaya'y isang malaking pambungad na paglalabas, kapag talagang may kakayahan ito sa “training during inference” at “real-time weight updates,” ang buong lohika ng industriya ng AI ay mababago.

Ang mga parapet ng computing power na ipon ng mga malalaking kumpanya sa mga data center, ang business model na binabayaran ayon sa milyon-milyong Token, at kahit ang mga diskusyon tungkol sa open-source weights, ay magkakaroon ng downward pressure.

Nagpapatotoo ito sa isang bagay: ang paligsahan sa AI ay hindi pa nasa huling yugto kung saan ang tagumpay ay depende lamang sa pondo at computing power. Ang tunay na teknikal na paglalakbay ay nananatiling nakatago sa mga pinakamahusay na isipan na may tapang na lumabas sa mga karaniwang paniniwala.

Sa pagkakataong ito, muli nang nasa krusada ng kasaysayan si Ilya Sutskever. Noon, siya ang nagbigay ng isang code na nagbalik sa pagkabuhay ng deep learning; ngayon, maaaring siya rin ang magtatapos sa “panahon ng pre-training” ng malalaking modelo.

Sa tingin mo, kayabang ni Ilya muli ito? Kung talagang makakapag-“evolve” ang AI habang ginagamit ito, gaano kalayo ang tao sa pagkawala ng kontrol?

Mga sanggunian:

https://x.com/hakmgpt/status/2091855200713638146

https://x.com/daniel_mac8/status/2091891607641440598

https://x.com/AndrewCurran_/status/2091890441465499995

https://x.com/martin_casado/status/2091650951736361073

https://aimidday.com/ssis-first-model-reportedly-trains-itself-while-it-thinks/

Nakuha mula sa WeChat public account na "Xinzhiyuan", may-akda: ASI Revelation; editor: David