Kahit na dating Core Researcher sa OpenAI: Maaaring Palitan ng Human AI Research sa Loob ng Dalawang Taon

Ay, narinig mo na ba?

Dalawang taon na lang ang natitira sa magandang araw ng mga human researcher.

Dalawang taon mula ngayon, ang pag-aaral ng AI ng tao ay katulad ng paglalaro ng chess ngayon.

Maaari mo pa ring i-submit, pero walang nagmamalasakit kung paano mo ito isinubmit.

Ito ang pinakabagong kontrobersyal na pahayag ni Jerry Tworek, ang dating pangunahing modelo ng OpenAI.

Kanyang sinimulan ang OpenAI noong 2019 at nanatili doon nang pitong taon. Noong panahong iyon, hindi makapag-scale ang reinforcement learning, ngunit pinigilan niya ito at pinilit itong maayos, at ang dalawang malakas na modelo, o1 at o3, ay gawa niya mismo.

“Gusto naming gawin ang AGI.” Ito ang buong roadmap na ibinigay ni Ilya sa buong kompanya noong 2019, nang siya ay unang pumasok sa OpenAI. Pitong taon pagkatapos, lumabas na siya para mag-isa.

Mas nakakatakot pa ay hindi ito sinasabi ng isang tao lang. Ngayon, ang pinakapopular na internal joke sa pagitan ng mga researcher ng AI ay ganito—

Mayroon na lang tayong ilang araw pa para magtrabaho, gawin natin ngayon habang pwede, tapos magkakaroon na tayo ng pagsisimula sa pagpapahinga.

Ang lahat ay ipinapalit ito bilang black comedy. Ngunit ang bawat nag-uulat ng joke ay may malinaw na pag-unawa sa loob ng kanilang isip.

Ang tawa na ito, malamang ay totoo.

At ito ay kung ano lamang ang unang pagkain. Sa buong interbyu, patuloy niyang sinasabing mga pahayag na ito:

• Totoo na may kreatibidad ang agent, ngunit isang napakadaling, napakaraming pinagsamang kreatibidad, maraming ideya, ngunit pangkalahatan ay masama.
• Maaaring mayroon lamang na tatlumpo hanggang limampung tao sa buong mundo ang talagang nagsagawa ng pagtratrain hanggang sa pag-deploy ng isang advanced na model, at ang lahat ng iba ay nagpapalakas sa kanila
• Ang pagtataya na ang Transformer ay ang pinakamahusay na solusyon ay halos imposible.
• Sa loob ng pitong taon na pagiging bahagi ng OpenAI, mayroon lang tatlo hanggang apat na beses na seryosong sinubukan ang pagbabago ng paaalabang arkitektura.
• Hindi talaga kailangan ng mundo ang ating pagtatrabaho para magsimula, at ang palagay na ito ay hindi tama.

Narito ang naiayos na bersyon, Enjoy.

Ang numero na ito ay dalawang taon, walang kinalaman sa pag-scorer o sa hashing power.

Binibilang niya kung ilang gawain sa pag-aaral ng bagay na ito ay patuloy na ginagawa ng mga tao.

At ang trabaho ay nahiwalay na sa dalawang bahagi.

Isang bahagi ay pag-iisip ng ideya, malinaw na pag-unawa kung saan dapat patunguhan. Ang isa pang bahagi ay paggawa, pagpapalit ng mga ideya sa code na maaaring mag-run at pagkuha ng mga data.

At ang bahagi ng paggawa, ay nasa ilalim na ng Agent.

Noong Abril ngayong taon, tinatag ni Tworek ang isang kumpanya na tinatawag na Core Automation, na may slogan na gumawa ng pinakamaka-automatong AI laboratoryo sa buong mundo.

Sa kanilang side, ang buong siklo ng isang eksperimento ay direkta na binalik mula sa isang buwan patungo sa isang araw. Tumaas ang efficiency ng buong 30 beses!

Ngunit sa bahaging ito ng pagbibigay ng ideya, hindi pa kayang tanggapin ng Agent. Dahil sa—

They absolutely belong to the highly creative species.

Ngunit ginagamit nila ang kanilang kreatibidad sa isang napakasamang, malaking pagkakasunod-sunod. Maraming ideya, ngunit ang mga ito ay karaniwang sobrang masama.

Parang patuloy pa ito nang maayos.

Ang mga taong talagang kayang magbigay ng mga ideya, wala nang marami.

Sa isang interbyu, inihayag ng host na may isang internal researcher mula sa OpenAI ang nagbigay ng impormasyon sa kanya—

Sa buong mundo, maaaring mayroon lang tatlumpo hanggang limampung tao ang talagang nakakaintindi kung paano itrain at i-deploy ang isang advanced na model.

Ang lahat ng natitira ay naglilingkod sa mga utak na ito, kabilang ang karamihan sa mga opisyales na empleyado sa pinakamalaking kumpanya.

Hindi tumutol si Tworek.

Naniniwala rin siya na ganito ang paggalaw ng anumang pinakamahusay na tim. Ilan lang ang nagtatakda ng direksyon, habang sinisigla nila ang buong makina ng pagpapatupad.

Upang malaman kung gaano kahanga-hanga ang mga tao na ito, sapat na tingnan ang kanilang sariling listahan ng pagpapakilala.

Ang co-founder ng Core Automation, Rohan Anil, mula sa Anthropic, ay mas maagang nasa Google DeepMind.

Si Anmol Gulati, na nagtrabaho sa DeepMind para sa Gemini, ay dinadala rin. Kahit si Julia Villagra, dating head ng talent ng OpenAI, ay sumunod na pumunta.

Lahat ng laboratorio ay nagtataya sa iisang pool. At sa pool na ito, mayroon lang kaming ilang dosenang isda.

Kaya ang bilang na ito sa loob ng dalawang taon ay walang kinalaman sa buong sangkatauhan.

Tungkol sa mga tao na ito, gaano katagal pa sila makakatagal.

Kung tanging ilan lamang ang tao, ano ang huling pader na nasa harap ng AI?

Isang salita lang ang sagot ni Tworek: Transformer.

Sa kanyang pananaw, tila halos imposible na ito ang pinakamabuting solusyon.

Una, hindi makakapag-aral ang modelo pagkatapos ng deployment. Anuman ang dami ng pag-uusap mo dito, hindi ito magiging mas malakas; ang susunod na pag-uusap ay ang parehong modelo pa rin. Ang context window ay hindi makakatanggap din—sinasabi niya na kailangan niyang i-compress ang Codex pagkatapos ng mga 20 minuto ng paggamit.

Sa pangalawa, kung gustong kumompensa sa pamamagitan ng patuloy na pagpapalit, makikita mo na hindi lamang mabagal ang epekto, kundi maaari ring magdulot ng katastropikong pagkalimot: matututo ng bagong bagay at makakalimot sa lumang bagay.

Kaya sa mga taong ito, ang karamihan sa mga gawain ng buong industriya na nakatuon sa Transformer ay talagang naglalayong gawin itong mas mura, at kaunti lang ang talagang nagpapalakas nito.

Ang tunay na hinahanap ni Tworek ay hindi nasa arkitektura mismo.

Kanyang hinahanap ay ang isang modelo na maaaring magpatuloy sa pag-aaral sa test time, isang modelo na maaaring magpatuloy na lumago mula sa interaksyon ng user at mula sa data ng user. Ang pagbabago sa arkitektura ay simpleng paraan upang makamit ang bagay na iyon.

Walang hindi alam sa industriya ang mga prinsipyong ito. Pero bakit patuloy pa ring nakaupo nang matatag ang Transformer matapos ang maraming taon?

Ang dahilan sa likod ay simpleng nakakatawa—tuloy-tuloy lang walang pagsubok.

Sa loob ng pitong taon sa OpenAI, mayroon lamang tatlo hanggang apat na beses na seriyosong sinubukan ang pagpalit ng paaalipin na arkitektura.

Ganito ang proseso.

Isusulat ng researcher ang isang maliit na eksperimento para sa pagpapatotoo, at sasagutin ito ng hindi bababa sa tatlong buwan. Pagkatapos ay, kung ang mga resulta ay mukhang mabuti, tataasan lang ang sukat.

At ang pagpapalaki ay nangangahulugan na kailangan mong pagsabihan ng mahigit sa sampung tao na may kapangyarihan na buhay o kamatayan, at pagkatapos ay isasagawa ng sampung tao na ito ang pagpapakilos ng tatlo hanggang anim na buwan sa iyong walang hangganang batis.

Oo oman ay masira ng kinetikong enerhiya na naging malaking bola ng Transformer, o oman ay bahagyang serapin at maging isang pako nito.

Pitong taon, tatlo o apat beses. Ito ang buong kakayahan sa inhenyeriyang pagbabago ng pinakamalakas na AI lab sa buong mundo.

“Jare, gamitin mo ang computing power na ito para i-burn.”

Sarili niyang na-encounter ang parehong dead end sa OpenAI. At ang nagbukas nito ay isang pangungusap.

Noong panahong iyon, ang mga eksperimento na kasiyahan na ay nakakamit ng ilang mga tanda ng buhay. Hindi ito mabuti, ngunit mayroon nang simula.

Sa ganitong panahon, natagpuan siya ni Jakub Pachocki, na kalaunan ay naging Chief Scientist ng OpenAI.

“Jare, lahat ng mga GPU na ito ay para sa iyo, tingnan mo kung kaya mong gawing mas malaki at mas matinding resulta ang iyong kasalukuyang trabaho.”

“Ngayon may mga GPU ka na.” Nang ulit niya ang pangungusap na iyon, wala pa ang o1 ng pangalan.

Ito ang nagliligtas sa kanya sa isang paradox—

Kailangan mo munang ipakita ang resulta bago ka makapag-demand ng computing power.

Kailangan mo muna ang computing power na iyon bago makamit ang resulta.

Sinabi ni Tworek na ang karamihan sa mga unang direksyon ay nakakulong sa paradoks na ito. Ang mga lihim na labanan sa laboratorio para sa pagkakaroon ng computing power ay sa wakas ay patungo sa paghahanap ng isang paraan para lumabas.

At ang pag-export, minsan ay ang pagpapasya ng pamumuno lamang Pindutin Confidence.

Sapat na kung may sinasabi sa itaas na gustong kong magkaroon ka ng magandang quota ng computing power para pagsikapan ito.

Pag buksan ang pinto, hindi na makapagpahinga ang mga susunod.

Ang reinforcement learning ay nagsimula sa node na ito at lumampas sa ilang ordeng-pamamaraan.

At ang paglalabas ni o1, ang daan ng inference model na dating itinuring na patay ng marami, ay naging buhay naman dahil sa kanya.

Sampung libong dolyar, katumbas ng isang eksperto

At sa pagkakataong ito, hindi na siya kailangang maghintay sa sinumang magsalita.

Ang pinakamalaking gastos sa buong chain ay ang pagsasalin ng abstraktong ideya sa code na maaaring tumakbo nang totoo. At ito ang pinakamagaling na gawain ng kasalukuyang Agent.

Halimbawa, ginamit ng Core Automation ang ganitong pamamaraan upang sirain ang core ng GPU.

Sa partikular, isinampa nila ang isang QR decomposition kernel sa isang programming agent na pinagana nang apat na linggo, na nagbubulsa ng halos sampung libong dolyar sa gastos ng pagtawag, at sa huli ay naabot ng animnapu beses ang bilis ng kernel.

Ang gawain na ito ay kabilang sa pagpapabuti ng pagsasagawa sa antas ng base, kung saan tinutukoy kung paano mas mabilis na isasagawa ang isang operasyon ng matrix sa GPU, at karaniwang kailangan ng kaunting mga eksperto na mag-ayos nang isang linya sa isang linya.

At ang mga ekspert na ganito, wala nang marami sa buong mundo.

Ngayon ay maaari na mong makamit ang isang libo gamit ang sampung libong dolyar. Hindi ito kailangang paniwalaan, at hindi kailangan ng tatlo hanggang anim na buwan.

Ang hadlang na nakakulong ng pitong taon ay nasira na.

Kahit ang pinakamahirap na arkitektura ay nagsimulang magbago, ang mga方向盘 na nasa kamay ng mga tatlumpu’t ilan ay hindi na matatagalan.

Sa huli ng interbyu, sinikap ng host na ipakita sa kanya ang tanong: kung talagang dumating na ang araw na iyon, ano na lang ang maaari gawin ng tao?

Para dito, inilarawan ni Tworek ang dalawang imahe.

Ang unang larawan ay sinaunang Gresya.

Magkita-kita sa plasa, mag-usap nang mahinahon tungkol sa pilosopiya ang buong araw, tapos pumunta sa pagpapalakas ng katawan, kumain ng olivas, at inumin ang alak.

Tumawa siya agad pagkatapos maglarawan, at tinanggap na baka ito ay simpleng pagpapakita ng kanyang sariling pangarap.

“Tayong dalawa’y makikipagkita sa plasa, tapos kumakausap.” Ito ang kanyang sariling salita habang inilalarawan ang pang-araw-araw na buhay ng tao pagkatapos ng AGI, at agad siyang tumawa.

Ang pangalawang larawan ay high school, o kaya ay kolehiyo.

Naniniwala siya na dapat manatili ang tao sa paghahanap sa «kakayahan». Patuloy na mag-aral nang may kalupitan ng bagong bagay, at pilitin ang katawan at isip hanggang sa kamatayan.

Parang sa propesyonal na sports, walang ekonomikong dahilan kung bakit kailangan mong magpahirap at magpapagod, ngunit ang pagkamahinhin sa loob ng tao ay ang pagsubok na abutin ang isang bagay na tinatawag na “kagitingan”.

Kailangan nating makahanap ng iba’t ibang paraan upang gawin ito.

Sapagkat sa susunod na mundo, wala nang mga bagay na “kung hindi mo ito gagawin, sasabog ang mundo.” Magpapagana lang ang mundo sa mga imprastruktura na aming itinayo.

"Dapat nating patuloy na matutunan." Sinabi niya ang bagay na iyon tulad ng isang obligasyon, hindi isang pagkakataon para mag-enjoy.

Pagkatapos ay tahimik niyang inilabas ang kanyang mga card.

Kailangan nating magtrabaho para magsagana ang mundo. Ang ipinapalagay na ito, walang kailangang maging totoo.

“Marami ang nakukuha ng kanilang sariling halaga mula sa trabaho.” Tinanggap niya na ito ang pinakamahirap na hambal na dapat laktawan, kahit para sa kanya mismo

Seryoso, pagkatapos marinig ang buong talakayan, ang pinakamakakatakot ay hindi yung dalawang taon.

Alam niya mismo na pinapabilis niya ang countown.

Ang bagay na gagawin niya ay definisyon ng kakayahang mag-aral at magpapalakas nang sarili, hindi na kailangan ng tao na manatili sa tabi nito para magbigay ng pagkain. Kapag natapos na, mas mabilis na mawawala ang mga posisyon ng mga tatlumpu’t ilan.

At mayroon pa siyang mas matinding pahayag: ang unang tatakan ay siya mismo.

Kung hindi ka ang laboratoryo na may pinakamalaking at pinakamakapangyarihang computing power reserve, masasaktan ka nang malala.

Nang sabihin nito ang mga salitang iyon, ang Core Automation ay mayroon lang apat na buwan ang katagal, at ang kanilang kita sa balanse ay sero.

Sinabi niya na simula noong siya ay nagsimula ng negosyo, halos bawat linggo ay may mga tao na dumadating at sasabihin sa kanya, “Jare, sobrang huli na, ang hagdan patungo sa langit ay nakuha na.”

Ang kanyang sagot ay isang sariling salawikain lamang.

Ang pinakamahalagang sinasabi ng mga tao sa aming kumpanya ay, lahat ay skill issue.

Ang ibig sabihin nito ay, huwag magreklamo sa malaking kalagayan kapag nagkamali ka hanggang sa huli—sariwang dahilan ay ang iyong teknikal na kakayahan ay mababa.

Huwag mong sabihin, ang mga salitang ito ay may tiyak na kahulugan sa interbyu na ito.

Tingnan muli ang unang pahayag na viral.

Mayroon na lang tayong ilang araw pa para magtrabaho, gawin ninyo na ngayon habang kayo pa ay makakapagtrabaho.

Ano ba ang damdamin sa kanyang tono—kagalakan o kalungkutan? Hindi natin malalaman.

Sapagkat para sa taong nagsasalita, ang dalawang emosyon ay isang bagay lamang.

Sinabi ni Tworek na ang ritmo ng trabaho na ito ay lubos na nagpapagod, at sa loob ng maraming taon na paggawa nito, talagang sobrang sobrang pagod na.

Ngunit kung totoo naman nating naniniwala, ito ang pinakamahalagang panahon sa aming buong karera.

Siguro, sobrang worth it ‘yan.

Mga sanggunian:

https://x.com/MTSlive/status/2092387349623935322

Nakukuha ang artikulong ito mula sa WeChat public account na “New Intelligence Yuan”, may-akda: ASI Revelation, editor: Moses