Mga lider na mga siyentipiko sa AI ay nag-aaral ng AI-driven na pag-unlad ng AI

Paano paghahandaan ang AI na mag-develop ng susunod na henerasyon ng AI

May-akda at pinagmulan: Ang微信公众号 "APPSO"

Kung isang Chinese AI engineer na may malakas na teknikal na kasanayan, magandang track record, at nagmula sa isang top-tier na unibersidad tulad ng Peking University, maaari niyang gawin ang lahat—pero imposible na hindi siya magtrabaho.

Kabila ng pagpapalayas ni Weng Li mula sa Thinking Machines Lab dahil sa pagpapahalaga sa kalusugan at buhay bilang “pinakamahalagang pagkakasundo,” bumalik siya sa OpenAI. Ayon sa tagapagsalita ng kumpanya, pipiliin niya ang isang koponan na magpapabilis sa panloob na pag-aaral at magsasali sa pag-aaral ng OpenAI tungkol sa “recursive self-improvement”—o ang pagpapahintulot sa AI na makikilahok sa pagtatrabaho at pagpapabuti ng kanilang susunod na henerasyon ng modelo.

Hindi nag-iisa, ang kanyang dating kasamahan, si Ilya Sutskever, isang dating pangunahing tauhan sa OpenAI na itinatag ang Safe Superintelligence, ay naglabas din ng isang maliit na bahagi mula sa kanyang mahigpit na pag-aaral. Pagkatapos makakuha ng rare na pag-access sa loob na pag-aaral, pumili ang NVIDIA na mag-invest sa SSI at palakasin ang kanilang computing power sa isang antas ng pamamagitan ng bagong henerasyon ng Vera Rubin system.

Naniniwala ang NVIDIA na patuloy na pinapalaya ng SSI ang isang bagong direksyon ng pag-aaral na iba sa umiiral na mga landas ng malalaking modelo sa nakalipas na dalawang taon. Hindi nagbigay ng karagdagang detalye si Ilya, kundi nag-iiwan lamang ng isang pahayag: “Mayroon kaming pag-aaral na值得扩大规模.”

Mas naging masigla ang mga nag-aaral, at isang reverse analysis ng mga pampublikong patnubay ay lumabas sa social media, na nagmumungkahi na ang SSI ay hindi hinahanap ang susunod na mas malaking pre-training formula, kundi isang bagong paraan ng iterasyon at evolusyon: upang ang modelo ay hindi lamang magpahinga pagkatapos ng pagtuturo, kundi magpatuloy na mag-ebolusyon sa pamamagitan ng feedback, eksperimento, at patuloy na pagkatuto.

Hindi ito kinumpirma ng SSI, ngunit nauugnay ito nang malakas sa mga dating pananaw ni Ilya. Marami nang beses niyang sinabi na ang panahon ng scaling na nakabatay lamang sa mas maraming data at computing power ay malapit na sa hangganan, at kailangan ng AI na muli pang matutunan na tulad ng tao, mabuo ang mas malalim na pag-unawa gamit ang kaunting karanasan, at magpatuloy na lumago sa pamamagitan ng pakikipag-ugnayan sa kapaligiran.

Ang mga nangungunang AI talent na ito, na nasa pinakamataas na antas ng tagumpay, ay tila nagtataglay ng parehong direksyon: kung paano gamitin ang AI upang mag-research ng susunod na henerasyon ng AI.

Ang pagbanggit sa rekursibong pagpapabuti mismo ay madaling magdulot ng isang sci-fi imahe: ang AI ay biglang nalalaman ang kanyang mga kakulangan, diretso na binabago ang mga timbang ng neural network, at gumising na mas matalino ng sampung beses kaysa kahapon.

Ang simula sa totoong buhay ay mas simpleng palagi. Ang pag-unlad ng AI ay isang tuloy-tuloy na proseso: ang mga mananaliksik ay nagbabasa ng mga papel at mga tala ng eksperimento, nagtataya ng isang hipotesis, nagpapabago ng code sa pagtuturo, naghihintay sa pila para i-run ang mga eksperimento, at pagkatapos ay iiwasan ang mga resulta, hahanapin ang mga dahilan ng pagkabigo, at magdidisenyo ng susunod na plano.

Ang mga malalaking model ngayon ay maaaring magsagawa ng maraming mga bahagi; maaari itong basahin ang codebase, i-replicate ang mga papel, isulat ang mga script ng eksperimento, i-call ang computing power para i-run ang mga pagsubok, ayusin ang mga resulta ng higit sa dalawampu’t limang grupo, analisahin kung aling parameter ang maaaring may problema, at pagkatapos ay patuloy na baguhin ang code. Noong una, isang koponan ay kumpleto ang isang siklo sa ilang araw, ngunit sa hinaharap, maaaring magtrabaho nang sabay-sabay ang ilang mga intelligent agent sa mga dadaan sa dekada, at pagkatapos ay ipasa ang pinakamalakas na resulta sa pagpapasya ng tao.

Ang mahabang artikulo ni Weng Li na pinamagatang “Harness Engineering for Self-Improvement,” na ipinakilala noong unang bahagi ng Hulyo, ay halos isinulat nang maaga ang direksyon ng pag-aaral na siya ay hahawakan. Naniniwala siya na ang pinakamakatotohanang paraan ng pagpapabuti ng sarili sa kasalukuyan ay hindi ang direkta na pagsusulat muli ng utak ng modelo, kundi ang pagtuturo sa AI kung paano baguhin ang sariling kapaligiran sa paggawa: awtomatikong pagsusuri sa mga tala ng pagkabigo, pagpapabuti ng pagpapamahala sa konteksto, pagtawag sa mga kasangkapan, at mga workflow, at pagpapabuti pa nito sa pamamagitan ng mga bago pang resulta ng eksperimento. Ang mas matatag na harness ay maaaring magpalakas ng awtomatikong pag-aaral, habang ang mas malakas na modelo naman ay maaaring gawing mas simpleng ang harness, at ang dalawa ay bumubuo ng isang siklo.

Nagdudulot ito ng interesanteng pagkakatugma sa dalawang landas ni Weng Li at Ilya: Ang OpenAI ay tila nagpapasa nang paulit-ulit ang mga kasalukuyang proseso ng pag-aaral sa AI, upang maging isang mang-aaral na makapagtrabaho muna; samantalang ang SSI ay maaaring sumisikap na hanapin ang mga bagong paraan ng pagkatuto mula sa mas malalim na antas, upang magkaroon ang mga modelo ng kakayahang mag-itera at mag-evolve nang patuloy.

Hindi kailangan ng AI na magkaroon ng kakayahang direktang baguhin ang sariling weights mula sa simula. Kung makakapagpabuti ito sa proseso ng pagtatrain, piliin ang data, disenyo ang pagtataya, o optimisahin ang harness na nakapalibot sa modelo, nasa pagpapagawa na ito ng sariling tagapagpaganap.

Ang unang isa ay nagmumula sa loob ng engineering cycle, habang ang pangalawa ay nagmumula sa labas ng model mechanism; ang layunin ng pareho ay pagpapabilis ng distansya sa pagitan ng isang henerasyon ng AI at sa susunod na henerasyon.

Habang gustong mabilisang mag-bet ang mga malalaking bull, may ibang tinig sa loob ng industriya.

Sa linggong ito, higit sa 1,100 na propesyonal mula sa OpenAI, Anthropic, Google, Meta, at iba pang mga kumpanya ang nag-sign ng isang pahayag na humihingi ng pagbuo ng mga teknolohiya at koordinasyong kasangkapan upang kontrolin ang bilis ng “automated AI research.” Kasama sa mga kalahok ang mga senior na researcher tulad ni Jakub Pachocki, pangunahing siyentipiko ng OpenAI, at ang mga co-founder ng Anthropic na si Jack Clark at Jared Kaplan—at kahit si Ilya mismo.

Hindi humihingi ang petition para sa paghinto sa pag-aaral ng AI, o kahit paano ay tumutol sa posibleng halaga ng pagpapabuti mismo. Ipinapakita nito ang pag-aalala na kapag magsimula na ang AI na mabilisang pagsusulong sa pag-aaral ng AI, maaaring mas mabilis ang paglago ng kakayahan kaysa sa pag-unawa at pagkontrol ng tao sa sistema.

Isipin mabuti, ang tuloy-tuloy na pagbabago na "parang kontradiksiyon" na ito ay nagmumula sa iisang grupo, kahit sa iisang tao. Sa iisang panahon, maaaring gawin ang dalawang pagpapasya: naniniwala sila na ang awtomatizado na pag-aaral ay maaaring susi sa susunod na paglalakas ng AI, at naniniwala rin sila na kapag talagang gumagana na ang loop na ito ng feedback, kailangan ng industriya ang kakayahang magpabagal kapag kinakailangan.

Kapag nabuo na ang siklo na ito, iba na ito sa pagpapalabas ng isang mas malakas na modelo noong nakaraan. Ang dating bilis ng pag-unlad ay limitado sa mga tao sa research team. Kailangan ng mga tao na magtakda ng mga tanong, mag-ayos ng mga eksperimento, at suriin ang mga resulta, at maaaring huminto ang pag-unlad dahil sa budget, lakas ng puwersa, at mga proseso sa organisasyon.

Ang layunin ng automated AI research ay ang paulit-ulit na alisin ang mga bottleneck na ito. Mas malakas ang modelo, mas maraming tulong ito sa team upang mas mabilis na lumikha ng susunod na henerasyon ng modelo; ang susunod na henerasyon ng modelo ay magiging mas mahusay na researcher, at dagdag pa sa pagpapabilis ng susunod na siklo ng pag-aaral.

Kaya, bagaman magkaka-contradictory ang dalawang puwersa, sila ay may karaniwang pamamaraan: ang automated AI research ay nagsisimula nang maging isang tiyak na inhinyeriyang layunin.

Ang pagbabalik ni翁 Jing sa OpenAI ay nagpapakita na ang rekursibong sariling pagpapabuti ay nagsisimula nang makakuha ng espesyalisadong organisasyon at mga tagapagmaneho; ang pagkakaroon ng pagsang-ayon ng NVIDIA na mag-invest ng malaking pondo at pinakabagong computing power pagkatapos makita ang lihim na pag-aaral ng SSI ay nagpapakita na ang bagong landas sa pagkatuto ay kahit na nasa antas na dapat palawakin ang pagpapatotoo.

Hiningi ng mga nagpeticion na maghanda ng brake, hindi dahil naniniwala sila na hindi ito makakamit ang tagumpay, kundi eksaktong dahil sa pagkakaroon nila ng seryosong pag-iisip kung ano ang mangyayari pagkatapos ng tagumpay nito.

Hindi talaga ang pagkakaiba ay kung dapat o hindi ng AI na tulungan ang tao sa pag-aaral. Ang pagbuo ng code, paghahanap ng papel, at awtomatikong pagsasagawa ay nasa loob na ng mga laboratorio. Ang totoo ay, kapag naging sistema na ang AI na hindi lang kasangkapan para mapabilis ang pag-aaral ng mga siyentipiko, kundi kaya ring magmungkahi ng sariling solusyon, pagsasagawa ng eksperimento, pag-evaluate ng resulta, at pagbabago sa susunod na siklo, saan mga punto dapat manatili ang desisyon ng tao.

Ito ay nangangahulugan ng isang serye ng mga isyu na kailangang pag-usapan: Sino ang magtatakda ng layunin nito para sa pag-optimize? Sino ang magpapasya kung ang isang pagbabago na tila nagpapataas ng score ay nagpapabagsak sa mga hangganan ng kaligtasan? Kapag maraming laboratorio ay nasa kompetisyon, sino sa mga kumpanyang ito ang magpapahinga nang mag-isa sa isang epektibong iterasyon? Kung ang cycle ng pag-unlad ng modelo ay talagang nabawasan mula sa isang taon hanggang sa ilang buwan o linggo, kayang sundan pa ba ng panlabas na pagtataya at ang loob na koponan sa kaligtasan?

Hindi na lang naglalaban ang mga kumpanya ng AI para makagawa ng viral na model; naglalaban sila para makamit ang isang sistema ng pag-aaral na makakagawa nang patuloy ng mas malakas na mga model.

Sa isang gilid, ang mga lider sa pag-aaral tulad ni Ilya at Weng Li, na naghahanap ng mga bagong paraan upang gawing bahagi ng kanilang sariling pag-unlad ang AI; sa kabilang gilid, ang libu-libong iba pang mga mananaliksik sa parehong industriya na nangangailangan ng paghahanda ng isang mekanismo para sa pagpapabagal. Sa pagitan ng dalawang pananaw, ang mga grupo ay palaging nagbabago, at ang mga posisyon ay hindi direktang kumakalaban—lahat ay nakaharap sa isang karaniwang hamon: kapag nagsisimula nang mabilisain ang mga kasangkapan sa pag-aaral ang proseso ng pag-aaral mismo, sino ang may karapatan na magdesisyon kung kailan dapat dumating ang susunod na henerasyon ng AI?