Babala ng Anthropic sa paglalapit ng kakayahan ng AI sa rekursibong pagpapabuti mismo

icon币界网
I-share
AI summary iconSummary
Ipinakita ng Anthropic sa kanyang updated S-1A filing na malapit na ito sa pagkuha ng recursive self-improvement (RSI) sa mga AI model. Ang RSI indicator, kung maabot, ay maaaring mag-trigger ng mabilis na pag-unlad ng AI. Binaril ng kumpanya na ang AI-driven na pag-unlad ay maaaring mas mabilis kaysa sa mga safety protocol. Sa ilalim ng kanyang Responsible Scaling Policy, tiniyak ng Anthropic ang malapit na pagsubaybay sa isyu. Ang support at resistance levels sa paglago ng AI capability ay ngayon ang pangunahing tulong. Ang tao ay magiging kailangan sa malapit na panahon. Wala pa sa mga model na nakamit ang RSI threshold.
Binibigyang-diin ng CoinDesk:

Bagaman ang pangunahing pagtingin noong Lunes ay nakatuon sa pinakabagong financial data na inilahad ng Anthropic sa revised S-1A filing—kung saan ang kita ay tumataas, samantalang ang gastos ay umuunlad din—ang AI laboratory ay naglabas ng isa pang “maliit na bomba” sa mga detalye ng filing.

Ang dokumentong ito ay tila nagbabala na malapit na ang kumpanya na lumikha ng isang modelo na may kakayahang recursive self-improvement (RSI).

Ang RSI ay tumutukoy sa pagiging sapat na malakas ng AI sa pagtatrain sa sarili, na nagdudulot ng dramatikong pagpapabilis sa kakayahan ng AI. Para sa mga tagapagbala sa AI, ang RSI ay nagpapahiwatig ng isang kalamidad na walang pagbabalik: ang AI ay binubuo ang sarili nito bilang isang sapat na malakas na bagay, na lumalabas sa kontrol ng tao, at posibleng walang pag-aalala sa pinsalang dulot habang inaasikaso ang mga layunin nito.

Samantala, para sa mga tagapagpaniwala sa AI, ang RSI o isang mapagkakatiwalaang bersyon ng AI na nakakapagpapabuti sa sarili nito, ay nagtataglay ng pangako ng teknolohiyang ito: ito ay magiging isang kasangkapan na magdadala ng hindi maipapaliwanag na produktibidad, mga pagkakatuklas sa agham, at iba pang mga resulta.

Sa tingin ni Anthropic, ang RSI ay isang pangako at isang panganib. Sinabi ng kumpanya sa S-1 na ginagamit nito ang AI sa R&D, ngunit binabalaan din nito: “Ang paggamit ng AI upang tulungan ang pagbuo ng mas malakas na AI ay maaaring magdulot ng malaking panganib sa kaligtasan, lalo na kung ito ay magpapabilis nang malaki sa pag-unlad. Ito ay isa sa mga larangan na sakop ng aming Patakaran sa Responsableng Paglalawak, na naglalahad ng aming plano para sa pagmamasid at pagpapababa ng panganib habang umaabot tayo sa tinatawag na ‘rekursibong sariling pagpapabuti’.”

Kapag lumitaw ang terminong RSI noong maagang bahagi ng taong ito, marami ang naniniwala na ito ay isang trending term lamang, o kaya ay isang sobrang mahirap, hindi maiimplemento, ipinapaliwanag o patotohanang layunin.

Ngunit noong Lunes, dagdagan ng Anthropic ang kanyang seksyon ng “Mga Panganib” ng sumusunod: 1) ang kumpanya ay gumamit ng AI upang lumikha ng ilang bagong modelo, ngunit hindi ito naunawaan ang kanilang pagtaas sa kakayahan; 2) maaaring makamit ng kumpanya ang kanyang panloob na depinisyon ng RSI sa malapit na pagkakataon (ang sumusunod ay pinalakas ayon sa orihinal):

Dagdag pa, mas marami tayong ginagamit na AI system upang mabilisain ang aming sariling pag-unlad, na maaaring magdulot ng mas mabilis na pagtaas sa kakayahan ng aming mga modelo kaysa sa aming kakayahan na magdevelop, mag-verify, at mag-implement ng mga tugon sa kaligtasan, pagkakasundo, at mga pagsasagawa. Kaya, sa nakaraan, maaaring hindi namin nakikilala, o sa hinaharap ay hindi namin makikilala ang malaking pagbilis sa pag-unlad, hanggang sa mangyari na ito.

Halimbawa, ang aming loob na pagtataya at inaasahang pag-unlad para sa mga hinaharap na modelo, at hindi ang pagtataya sa kasalukuyang modelo, ay nagpapakita na maaari nating maabot ang kahulugan ng “makabuluhang pagpapabilis na dinadala ng AI” sa patakaran ng Responsible Scaling Policy. Hindi pa namin itinuturing na lumampas sa hangganan ang anumang kasalukuyang modelo, at patuloy pa naming sinusuri ang mga kaugnay na pangunahing datos.

Gayunpaman, sinabi rin ng Anthropic sa dokumento na ang anumang modelo nito ay hindi pa nakalampas sa antas na ito ng RSI, at ang kumpanya ay nagpapahayag ng pagpapakatotoo na patuloy na papaanib ang tao sa proseso ng pagbuo sa makabuluhang hinaharap. Sinabi ng kumpanya: “Inaasahan naming hindi ito ligtas na gamitin ang Claude para sa ganap na awtomatikong pagdisenyo at pagbuo ng mga tuloy-tuloy na henerasyon ng mga advanced na modelo nang walang makabuluhang pagmamasid o pag-unawa ng tao, kahit na ating maabot ito sa teknikal na aspeto. Kaya, hinahanap namin ang pag-update sa Patakaran ng Responsableng Paglalawak upang panatilihin ang kontrol ng tao sa pag-unlad ng mga advanced na modelo ng Anthropic.”

Maaaring ipahiwatig ng mga nagdududa na ang S-1 ay isang dokumento ng paglilinaw at isang materyal ng pagpapalaganap, at ang pagpapahayag na malapit sa isang malakas na modelo na makakabuo ng sarili nito ay maaaring bahagi rin ng huli.

Gayundin, walang duda na ang kakayahan ni Claude, lalo na sa pagprograma, matematika, at网络安全, ay nakamit ang isang malaking pag-unlad itong taon. Kung naniniwala ang Anthropic na ang posibilidad ng RSI ay malapit na, maaaring dapat nating paniniwalaan ito at kumilos batay dito—posibleng may kailangang gawin din na pamamahala.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.