Si Li Feifei ay nag-post ng artikulo sa Substack na sistematikong linawin ang kalituhan sa konsepto ng “world model” sa kasalukuyang larangan ng AI.

May-akda ng artikulo, pinagkukunan: Substack

Ang mundo ay ang kabuuan ng lahat ng nangyayari.” — Ludwig Wittgenstein, Tractatus Logico-Philosophicus, 1921

Hindi gawa sa mga salita ang mundo.

Sa isang nakaraang artikulo, sinabi namin na ang spatial intelligence ay ang susunod na hangganan ng AI, at ang world models ang daan patungo dito. Dito, ang team ng World Labs at ako ay gustong pumunta ng isang antas pa pababa: Sa mga bagay na ngayon ay tinatawag na “world models,” alin sa mga function modules ang talagang bumubuo sa kakayahang ito? Ano ang kanilang bawat gamit?

Ang mga modelo ng wika ay nagbibigay sa mga makina ng malakas na kontrol sa mga konsepto, salita, at pag-iisip, ngunit ang pisikal na mundo, kahit virtual o totoo, ay gumagana sa isang ganap na iba't ibang batayan. Natututo ang mga modelo ng wika mula sa istatistikal na istruktura ng teksto, samantalang ang mga modelo ng mundo ay natututo mula sa istatistikal na istruktura ng espasyo at panahon: paano nagkakaroon ng liwanag sa isang surface, ano ang hitsura ng isang hardin mula sa isang anggulo na hindi pa kailanman natanggap ng camera, at paano tumutugon ang mga bagay sa puwersa at sumusunod sa mga batas ng pisika.

Nagiging isa sa pinakamahalaga at pinakamalimitang termino sa kasalukuyan sa larangan ng AI ang “world model.” Ibinabahagi ng computer vision, robotics, reinforcement learning, at generative AI ang pag-claim na nagtatayo ng world models, ngunit tumutukoy sila sa magkakaibang bagay. Ang isang video model na nakakagawa ng magandang apoy ngunit hindi posible sa pisika, ang isang language model na nakakagawa ng mga laro nang biglaan, at ang isang physical engine na tumpak na sinusimula ang proseso ng pagsisigaw — lahat ay tinatawag na iisang pangalan.

Hindi maiuunawa ng mga sinaunang Griyego kung ano ang binubuo ng mundo—kaya man ay apoy, tubig, o hindi mahahati-hating atom—dahil ang “mundo” ay hindi nagmula sa isang bagay lamang. Palaging isang salitang pamalit na ginamit ng isang propesyonadong pangangatwiran para sa isang kabuuang konsepto. Ang AI ay nagmamana ng parehong problema, at nangyayari ito sa pinakamahalagang panahon kung де kailangan ng kahusayan sa larangang ito.

Ang loop sa likod ng klasipikasyon

Upang malinawin ang gulo na ito, maaari mong magsimula sa isang larawan na mas lumang kaysa sa lahat ng teknolohiyang nabanggit. Ang lahat ng mga aklat sa reinforcement learning, kabilang ang klasikong Sutton at Barto, ay ginagamit na ang parehong bersyon ng larawang ito sa loob ng maraming dekada upang ilarawan kung paano nag-iinterakt ang agent sa mundo. Ang opisyal na pangalan ng larawang ito ay Partially Observable Markov Decision Process (POMDP), at ang terminong “world model” ay nagmula sa tradisyong ito.

Isang agent (maaaring tao, robot, o software system) ang nagpapagawa ng mga aksyon. Ang mga aksyong ito ay nagbabago sa estado ng mundo. Ngunit ang agent ay hindi maiiwasang makita ang estado mismo; ang natatanggap nito ay mga obserbasyon: mga photon sa retina, mga basa ng sensor, mga pixel sa mga frame ng video. Ang mga bagong obserbasyon ang nag-uudyok ng mga bagong aksyon, at paulit-ulit ang ganitong siklo.

Kailangan i-split ang salitang “estado” dahil ang kahulugan nito ay nagkakaroon ng pagkakaiba-iba sa iba’t ibang larangan. Hindi ito tungkol sa estado ng mga kimikong—hindi ang pagkakaiba sa solid, likido, at gas. Ito ay ang estado ng mga pisiko at robotiko: ang kumpletong paglalarawan ng lahat ng nangyayari sa mundo sa isang tiyak na sandali, kabilang ang bawat bagay, bawat posisyon, bawat bilis, at bawat katangian. Ang estado ay ang pundamental na katotohanan ng mundo, prinsipyo ay kompletong, ngunit palaging hindi direktang masusubaybayan ng anumang matalinong tagapag-ugnay na nasa loob nito. Ang pagmamasid ay ang lokal na pananaw ng matalinong tagapag-ugnay sa katotohanang ito. Ang aksyon naman ay ang tugon ng matalinong tagapag-ugnay batay dito.

Ang pagsasariling ito (agent → aksyon → estado → obserbasyon → agent) ay ang istruktura na nagbibigay sa terminong “world model” ng kanyang teknikal na kahulugan. Ang parirala mismo ay mas lumang konsepto, na nagsimula sa propuesta ni Kenneth Craik noong 1943, kung saan sinabi niya na ang isip ay gumagamit ng “maliit na modelo” ng realidad para mag-isip, at noong huling bahagi ng 1980s at unang bahagi ng 1990s, inilapat ang konseptong ito sa larangan ng neural networks. Ang pagsasariling ito ay naglilinaw din sa kahulugan ng terminong ito sa kasalukuyan. Ang iba’t ibang bagay na ngayon ay tinatawag na world model ay mga iba’t ibang proyeksyon ng parehong pagsasarili, at bawat isa ay naglalabas ng iba’t ibang bahagi ng pagsasarili.

Tatlong pag-andar ng world model

Ang unang uri ng mundo model ay ang renderer. Ang output ng renderer ay ang pagmamasid, partikular na mga pixel na nakadirekta sa mata ng tao, at ang pinakamahalagang pagsusuri ng kalidad ay ang visual fidelity. Isang video model na nagpapalit ng text prompt sa isang movie-quality aerial shot ay isang renderer; ang interactive systems tulad ng Google’s Genie 3 o RTFM ng World Labs mismo ay mga renderer din, na gumagawa ng mga frame sa real-time batay sa user input. Ang mga model na ito ay walang eksplisitong pag-unawa sa 3D structure. Ito ay nagpapalabas ng mga bagay na makikita ng manonood, hindi ang tunay na anyo ng mga bagay. Ang mga gusali sa aerial shot ay maaaring perpekto mula sa hangin, ngunit subukan mong lumakad sa lungsod sa ilalim nito—mawawala sila.

Ang pangalawang uri ay ang simulator. Ang output ng simulator ay isang estado: isang tumpak na representasyon ng mundo na geometrically, physically, o dynamically, kung saan ang mga tao at computer programs ay maaaring mag-compute at mag-interactive. Ang contract ng renderer ay purong visual, habang ang contract ng simulator ay structural—nangangailangan ito na ang geometry ay maging tumpak, ang physics ay sumusunod sa mga batas ng Newton, at ang dynamics ay tumutugon sa inaasahang pag-uugali batay sa mga batas ng pisika. Ang simulator ay naglilingkod sa dalawang uri ng user. Ang mga propesyonal tulad ng arkitekto, designer, filmmaker, at game developer ay nangangailangan ng accuracy na hihigit sa visual credibility. Samantala, ang mga computer programs tulad ng reinforcement learning agents, robot controllers, at autonomous vehicles ay gumagamit ng simulator bilang isang training ground kung saan sila ay maaaring mag-interactive sa malaking saklaw sa mundo, at subukan ang mga skenaryo na maaaring maging mapanganib, mahal, o hindi posible sa totoong buhay.

Ang ikatlo ay ang planner. Ang output ng planner ay mga aksyon. Sa pamamagitan ng isang obserbasyon at isang layunin, ang tanong na sagutin ng planner ay: Ano ang susunod na gagawin ng agent? Sa maraming paraan, ang planner ay ang kabaligtaran ng renderer. Ang renderer ay may aksyon bilang input at nagbibigay ng obserbasyon, samantalang ang planner ay may obserbasyon bilang input at nagbibigay ng aksyon, upang isara ang loop ng pagpapansin-aksyon. Ang Visual-Language-Action models (VLA), mga system batay sa modelo, at ang bagong alon ng World Action Models, ay iba’t ibang pagkakataon sa planner: upang bigyan ng kakayahan ang sistema na magdesisyon kung ano ang dapat gawin ng robot sa isang di-struktured na mundo.

Ang tatlong kategoryang ito ay sumasakop sa karamihan sa mga aktwal na proyekto na kasalukuyang isinasagawa, at ang pagkakaiba nila ay kapaki-pakinabang sa praktika. Gayunpaman, ang tatlong kategoryang ito ay hindi ganap na hihiwalay sa isa’t isa. Mayroon silang karaniwang pangunahing kaalaman tungkol sa paano gumagana ang mundo: heometriya, pisika, at dinamika. Isang modelo na kaya mag-render ng isang baso mula sa anumang pananaw, ayon sa prinsipyo, ay dapat ding makapag-simula kung ano ang mangyayari kapag itinulak ang baso, at makapaghahanda ng isang kamay upang ito’y kunin. Lalong lumalago ang mga pinakamalikhaing pag-aaral na may layuning palawakin ang hangganan ng tatlo sa kanilang pagitan.

Larawan丨Tatlong mundo model (pinagkunan: Substack)

Bakit mahalaga ang simulation bilang pangunahang hub?

Sa tatlong kategorya, ang simulator ay may pinakamaliit na publikong pagmamalasakit, ngunit ito ang pinakamahalaga sa lahat ng tatlo. Nais ng artikulong ito ay pagtama sa hindi pagkakapantay-pantay na ito.

Ang renderer ay ang pinakamakabago sa komersyalisasyon. Maraming mga produkto na nagpapalit ng imahe o teksto sa video ay mabilis na lumalawak sa consumer at enterprise market. Ang Nano Banana model ng Google ay nagdala ng kakayahan sa paggawa ng imahe na katumbas ng renderer sa milyon-milyon na gumagamit. Ang teknolohiya ay totoo, at ang merkado ay totoo rin. Gayunpaman, ang layunin ng renderer optimization ay ang visual na kapanatagan, hindi ang pisikal na akurasyon—ang hangganan na ito ay mahalaga. Ang kanilang output ay maganda, ngunit hindi mo ito gagamitin para disenyoan isang gusali o turuan ang isang robot.

Ang planner ay ang pinakamaligaya at pinakamaliit na maayos, at ito ay malapit na kaugnay sa mabilis na pag-unlad ng larangan ng robot learning. Sa loob ng dalawang taon, ang larangang ito ay naglabas ng maraming robot demonstration na nakakapagtaka sa mga video, ngunit kailangan nating maging tapat sa pagtatanong kung ano nga ang ipinapakita ng mga demonstration na ito. Halos lahat ng demonstration ay limitado sa napakasalimuot na mga laboratorio na kapaligiran, may limitadong uri ng bagay, at maikling panahon ng task. Walang isa sa kanila ay nasubok sa kumplikadong, diverse, at matagal na kondisyon na hinihingi ng real-world deployment. Ang pagkakaiba sa pagitan ng isang kahanga-hangang demo video at isang robot na maaaring magtrabaho nang maaasahan sa kusina, warehouse, o operating room ay patuloy na malaki.

Gayunpaman, ang laki ng mga pagsusulong sa negosyo ay patuloy na malaki. Isang serye ng mga bagong pumasok na may sapat na pondo ay nagsisikap na ilunsad ang mga pangkalahatang sistema ng pagpaplano, habang ang mga malalaking player sa infrastruktura ay nagtatayo ng kakayahan sa pagpaplano sa mas malawak na stack ng simulasyon.

Ang simulasyon ay ang tulay na nag-uugnay sa dalawa. Kung ang wika ay ang abstraktsyon ng mundo, at ang pixel ay ang proyeksyon ng mundo, ang heometriya, pisika, at dinamika ay ang mundo mismo. Dapat gumana ang simulator sa antas na ito: ito ang struktural na balangkas, mula dito ay maaaring makakuha ng mga visual na pagpapakita (para sa renderer) at mga epekto ng aksyon (para sa planner).

Isang modelo na natutunan ang simulasyon ay makakapag-proyekta ng kanyang pag-unawa bilang mga pixel para sa mga tao, at bilang mga paghuhula ng aksyon para sa mga embodied agents. Ngunit ang isang modelo na nagtatapos lamang sa rendering o pagpaplano ay hindi makakagawa ng parehong bagay. Ang komersyal na espasyo dito ay napakalawak. Tanging ang NVIDIA Omniverse lamang, ay may tinatayang target na merkado na higit sa isang trilyon dolyar, na kumakatawan sa mga pabrika, warehouse, supply chain, at digital twins. Ang pagtuturo ng robot, pagsubok ng autonomous driving, visualisasyon ng gusali, inhinyeriya at disenyo, at paghahanap ng gamot—lahat ay nakasalalay sa isang uri ng simulasyon.

Dito rin nakikita ang pinakamahirap na bukas na problema sa larangan. Ang 3D data na may eksplisitong heometriya, mga katangian ng materyales, at mga tanda ng pisika, ay mas kakaunti sa ilang orden ng magnitude kaysa sa mga internet video na ginamit para sa pagtuturo ng renderer. Ang sim-to-real gap (ang pagkakaiba sa pag-uugali ng mga bagay sa simulation at sa totoong mundo) ay nananatili pa rin. Ang mga generatibong simulator ay nagdadagdag ng karagdagang panganib: ang mga geometric na nilikha ng AI ay maaaring mukhang tama, ngunit may mga problema tulad ng self-intersection o maling sukat na nagdudulot ng absurdong resulta sa physical simulation. Ang computation cost ng malalaking multi-physics simulation (kung saan ang rigid bodies, deformable objects, fluid, at fabric ay tumutugon nang sabay-sabay) ay nananatiling mas mataas sa ilang orden ng magnitude kaysa sa simulation sa iisang larangan.

Sa World Labs, ang Marble ay ang aming unang hakbang sa direksyong ito. Itinatanggap nito ang mga multi-modal input (teksto, imahe, video, o spatial sketch), at nagpapagawa ng mga makikita at maipapalabas na 3D environment habang naglalabas ng Gaussian splats para sa visual exploration at collision meshes para sa physical engine. Ngunit ang Marble ay kahit na isang unang kabanata ng isang mahabang kuwento. Habang ang mga hangganan sa pagitan ng rendering, simulation, at planning ay nagsisimulang maglaho, ang buong larangan ay sumusulat ng kuwentong ito.

Ang mga hangganan ay nagkakalat, at ano ang susunod na mangyayari

Ang pinakamahalagang trend sa larangan ngayon ay ang pagkakasama-sama ng tatlong kategorya. Ang pangkalahatang pagkakasundo ay: ang kaalaman na kailangan upang mag-render ng isang mundo, simulan ito, at gumawa ng mga aksyon dito ay malawak na magkakapareho. Batay sa nakaraang halimbawa, isang modelo na may tunay na pag-unawa kung paano isisilid ang isang baso sa mesa (nito'y heometriya, mga katangian ng materyales, pagtugon sa puwersa, atbp.) ay dapat makapag-render ng baso mula sa anumang panig, simulan kung ano ang mangyayari kapag itinulak ang baso, at magplano kung paano hawakan ito ng isang kamay. Ang tatlong kategorya ay tatlong proyeksyon ng iisang pangunahing pag-unawa.

Halimbawa, mayroon nang kaunting, ngunit tumataas na mga gawain mula sa iba’t ibang robot lab na nagpapakita ng isang posibilidad na kumikinabang sa konsepto: ang isang pre-trained video renderer ay maaaring maglingkod bilang backbone network para sa paghuhula ng mundo at paghuhula ng aksyon, na nagpapahintulot sa isang iisang modelo na mag-isip nang sabay-sabay kung “ano ang mangyayari” at “ano ang dapat gawin”, na nagtatayo ng tulay sa pagitan ng renderer at planner. Ang Marble ng World Labs ay nakakapag-output na nang sabay-sabay ng Gaussian splatting at collision mesh mula sa isang iisang modelo, na nagtatanggal sa hangganan sa pagitan ng renderer at simulator. Sa bawat antas, nagmumula ang mga ito mula sa pasibong output patungo sa interactive system: ang mga renderer ay naging makapagsagot sa mga kondisyon ng aksyon, ang mga mundo na ginagawa ng simulator ay naging mas kontrolado at ma-edit, at ang mga planner ay nagsisimula nang gumawa ng mapanuri at hindi lamang reaktibong pag-iisip.

Ang lohikal na katapusan ay isang isangpokong pandaigdigang modelo: isang pangunahing modelo na kayang mag-render ng mga tanawing may katulad na realismo sa litrato, magbuo ng mga istrukturang may tumpak na pisika, magplano ng mga sequence ng galaw, at magpalit sa pagitan ng iba’t ibang output modality batay sa pangangailangan ng mga tagagamit sa ibaba. Patuloy pa naming harapin ang isang serye ng malalaking hamon. Ang mga datos ay napakagawian—mayroon ang renderer ng malaking dami ng internet video, samantalang ang simulator at planner ay nakakaranas ng malaking kakulangan sa 3D assets at data ng robot demonstration. Ang pag-optimize para sa visual na kagandahan ay maaaring magdulot ng pagkawala ng tiyak na detalye na kailangan ng robot o mataas na katumpakan sa simulasyon. Ang pagpapakasundo sa mga ganitong tensyon sa loob ng isang solong arkitektura ay ang pangunahing bukas na problema sa kasalukuyang pananaliksik sa pandaigdigang modelo, at ito ang inaasam na lutasin ng World Labs habang patuloy na binabago ang Marble.

(Source: Substack)

Ngunit ang pangkalahatang direksyon ay malinaw na. Mula sa huling bahagi ng dekada ng 1980 hanggang sa kasalukuyan, ang larangan ay patuloy na nagtatalaga sa iisang taya: kung ang modelo ng mundo ay sapat na mayaman, ang lahat ng kailangan ng agent upang makita, buuin, at mag-act sa loob ng mundo ay nasa loob na nito. Ang tayang ito ay kasalukuyang nagpapagalaw sa pag-aaral ng isang buong henerasyon. At ang tunay na nagdagdag ng bigat dito ay ang nangyayaring pagkakaisa: ang tatlong larangan ng rendering, simulation, at planning—bawat isa ay nakabatay na sa mga industriya na may halagang milyon-milyon dolyar, na nagsimula bilang mga independiyenteng direksyon ng pag-aaral, ngayon ay nagsisimulang magkaisa. Kapag nawala ang mga hangganan, ang pagkakaisa ng tatlo ay magbabago sa isang mas malaking bagay: ang ugnayan ng machine intelligence at ang pisikal na mundo kung saan ito naninirahan—o kaya, ang matagal na landas ng spatial intelligence.

Ang wika ay nagbibigay sa mga makina ng paraan upang talakayin ang mundo. Ang modelo ng mundo naman ay ang huling paraan kung saan makakaintindi, makakaimaginasyon, makakarason, at makakaintindihan ang mga makina.