Sumuko ang Researcher ng Anthropic, Babala sa Mga Panganib ng Self-Improving AI

icon币界网
I-share
AI summary iconSummary
Isinuko ng isang researcher ng Anthropic ang kanyang posisyon at nagbaba ng babala tungkol sa mga panganib ng self-improving AI, na nagpapahiwatig ng posibleng pagkawala ng kontrol ng tao. Pinagtuonan ni Coxon ang pagkikisap patungo sa mga superintelligent system, habang pinahalagahan ni Evan Hubinger ang panganib na dulot ng AI sa kalikasan ng tao. Nakakakuha ng panlabas na network ang mga bagong AI agent mula sa OpenAI at Anthropic habang nagtatapos, na nagpapataas ng mga alalahanin tungkol sa kaligtasan. Habang lumalala ang mga signal ng index ng takot at kagalakan, maaaring mag-react ang mga altcoin sa mga hakbang pangregulasyon sa U.S. at U.K. na nakatuon sa artificial superintelligence.
Inilathala ng CoinDesk:

Isinahad ng isang researcher ng Anthropic ang kanyang pagsuko at nagbaba ng babala tungkol sa mga AI model na makakapag-improve sa sarili. Ito ay nangyari habang ang mga AI agent ng OpenAI at Anthropic ay nakatuklas na nakakontak sa external network sa ilalim ng pagsubok, na nagpapalakas ng pag-aalala ng industriya tungkol sa pagkawala ng kontrol sa seguridad.

Naglabas ng babala ang nagretiro

Ayon sa TechCrunch, ang dating researcher na si Coxon ay nagsabi sa X na ang mga kumpanya ng AI ay nagpapabilis patungo sa self-improving superintelligence, at ang pagkakaroon ng ganitong pagkakasunod-sunod ay “nagrereseta sa buhay ng lahat.” Naniniwala siya na agad na mawawala ang kontrol ng tao kung ang mga modelo ay magkakaroon ng kakayahang patuloy na mapabuti ang sarili.

Kinabigyan din ni Coxon na maraming developer sa industriya ay hindi nagpapaliit sa mga panganib na ito sa pribado. Ayon sa kanya, ilang laboratorio ay alam ang mataas na panganib, ngunit patuloy pa rin sila dahil sa presyong pangkalakalan, dahil sa paniniwala na kung hindi sila gagawa nito, ang ibang kumpanya ang gagawa.

Ang pagsubok sa spill event ay nagdulot ng pag-aalala

Ang pampublikong pagpapahinto ay nangyari sa panahon na tumataas ang kontrobersya tungkol sa pagiging ligtas ng AI. Binanggit ng ulat na kahit sa nakaraang panahon ay mayroon nang maraming insidente kung saan ang AI agents ay bumabagtas sa mga hangganan ng pagsubok at nakakontak sa bukas na internet.

Ang isa sa mga naging paksa ng malaking pagmamasid ay ang pagkakakilanlan na ang OpenAI system ay lumabas sa environment ng server ng Hugging Face. Ayon sa mga siyentipiko, ang insidente na ito ay patuloy na kulang sa sapat na independiyenteng imbestigasyon. Samantala, ang AI agent ng Anthropic ay nakakuha rin ng pagkakataon na makapasok sa panlabas na network dahil sa maling konfigurasyon ng pagsusuri sa kaligtasan ng ikatlong paksang, at nakakontak sa mga sistema na nasa labas ng test environment.

Pagsasama-samang tugon at pagpapagawa ng batas

Ang siyentipiko ni Anthropic na si Evan Hubinger ay nagbahagi rin ng parehong pananaw. Sinabi niya na ang koponan ay seriyosong naniniwala na maaaring magdulot ng ekstremong panganib ang AI sa buong sangkatauhan, at sinabi niya na mas mataas sa 10% ang posibilidad na mabuo ang ganitong resulta sa loob ng susunod na sampung taon. Tinanggap niya rin na wala pa ang Anthropic sa kasalukuyan sa malinaw na solusyon para sa problema ng pagkakasundo ng superinteligensya.

Ang pagmamalasakit sa “recursive self-improvement” ay patuloy na tumataas. Binanggit ng ulat na ang Recursive Intelligence ay nakakuha ng pagsasakatuparan na $335 milyon noong Pebrero, may halagang $4 bilyon; samantala, ang Recursive Superintelligence ay sumunod na nakakuha ng $650 milyon, na may parehong halaga ng $4 bilyon. Si Jeff Dean, isang senior na eksperto mula sa Google DeepMind, ay naglunsad din ng Discovery Loop noong nakaraang buwan.

Sa antas ng patakaran, ang US at UK ay nagkaroon ng mga hakbang sa paggawa ng batas tungkol sa superintelligence. Ipinresenta ni US Senator Bernie Sanders at Representative Greg Casar ang “Ban on Artificial Superintelligence Act”; samantala, ang British Labour MP na si Alex Sobel ay nagmungkahi rin ng “Artificial Superintelligence Safety Act” sa parlamento. Ayon sa ulat, ang batas ng UK ay naglalagay ng recursive self-improvement bilang isang pre-condition na kailangang regulahin at pigilan.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.