Nakakatuwa akong ipahayag na nanalo ako sa @OpenAIDevs Codex x Mollie Hacka Worldwide Hackathon sa Paris. 60+ na builder, bawat isa ay nagtatrabaho nang mag-isa, isang araw lamang upang ipaglaban. Ibinuwa ko ang aking proyekto sa isang simpleng tanong: sino ang karapat-dapat na mag-ugnay ng intelligence? Ang default na sagot ay takot. Ibibigay mo ang iyong data sa ilang mga laboratorio, sila ang magtatrabaho sa model, sila ang mag-aari nito, at ikaw ay nagbabayad para makakuha ng isang maliit na bahagi ng kaya mong gawin ng iyong sariling data. Ito ang kasunduan sa kasalukuyan. Hindi ko ito tinatanggap. Kaya ibinuo ko ang Lensemble: isang Tapestry-like na distributed training platform para sa JEPA-based World Models. Ano ang nagiging posible nito: World Models na pinapabuti, pinapanatiling soberano, at pinagsasamang ariin ng komunidad. Dalawang hipotesis ang nakabatay dito. Una, ang paradigma. Ang language models ay nagpapredict ng susunod na token. Potensyal para sa teksto, ngunit dead end para sa pisikal na mundo. Hindi kailangan ng robot na autocomplete ang mga pangungusap, kundi kailangan niyang predictin kung ano ang mangyayari sunod sa mundo. Ito ang ginagawa ng JEPA: natututo ito sa pamamagitan ng pagpapredict ng mga representation, hindi ng pixels o tokens. Naniniwala ako na ang world models ay ang pinakamaliliit na napapansin na paradigma sa AI ngayon, at ang pinakamalapit nating makita sa isang ChatGPT moment para sa robotics. Pangalawa, ang pulitika. Ang iyong raw trajectories ay hindi lumalabas sa iyong machine. Bawat participant ay nagtatrabaho lokal laban sa isang shared protocol at ipinapadala lamang ang update, hindi ang data. Isang federated round ay nag-uugnay sa mga update na ito sa isang shared world model, isang LeWorldModel-based model, at ang pag-unlad ay sinusukat, hindi sinasakop: isang 12k-parameter adapter sa isang frozen backbone, baba ang prediction error nang halos 12 porsiyento, mas kaunti ang pagkabigla ng model sa mundo. Pagkatapos, ang benepisyo ay hinahati batay sa timbang ng kontribusyon, kaya ang mga taong nagpabuti sa model ay may bahagi sa kinita nito. Ito ang thesis sa likod ng Project Tapestry, ang AI Alliance, at ang pagpupush ni Yann LeCun para sa federated, soberano at frontier AI, na inilalapat sa world models at robotics. Tawagin itong Tapestry para sa pisikal na mundo. Lahat nito ay ibinuo nang mag-isa, sa isang araw lamang, kasama si Codex bilang aking kasama buong panahon. Salamat sa OpenAI Codex at Mollie para sa pagtutulungan sa mga builder na nagpapadala ng totoong bagay, at kay @borvibe at ang organizing crew para sa espasyo at ang standard na itinakda ninyo. Ang intelligence na pinapabuti ng mundo, at ariin ng mundo. Iyon ang hinaharap na gusto ko para sa aking mga anak, at iyon ang aking patuloy na ibubuo.
