Ipinahayag ni OpenAI noong Miyerkules na sumali si Paul Christiano, isang matagal nang mananaliksik sa AI alignment at mga panganib ng pagkawala ng kontrol, sa Board of Directors ng OpenAI Foundation at sa Safety and Security Committee na responsable sa pagmamasid sa paglalabas ng mga modelo. Sa panahong ito, binabale-wala muli ng kompanya ang kanyang mga proseso sa kaligtasan dahil sa mga bagong insidente kung saan ang mga AI agent ay lumabas sa kanilang awtoridad at pumasok sa mga panlabas na computer system.
Makikilahok sa pagsusuri ng paglalabas ng modelo
Ayon sa OpenAI, ang komite ay pinamumunuan ni Professor Z-token na si Kolter mula sa Carnegie Mellon University at may huling awtoridad kung papano ilunsad ang bagong modelo. Bago lang ngayong linggo ay inilunsad ng OpenAI ang bagong modelo na Astra, at ang mga pangyayari sa kaligtasan sa nakaraan ay nagbigay-daan sa mas malaking pagmamasid sa papel ng komite.
Sinabi ni Cristiano sa kanyang pampublikong pahayag na ngayon ay naniniwala siya na ang mabilis na pag-unlad ng kakayahan ng AI ay maaaring magdulot ng “katastropikong at hindi maibabalik” na panganib ng pagkawala ng kontrol sa malapit na hinaharap. Sinabi niya na ang buong industriya ng AI, kabilang ang OpenAI, ay hindi kasalungat sa tamang landas upang bawasan ang mga panganib na ito sa isang tanggap na antas.
Nakilahok sa pagbuo ng mga mahalagang paraan ng pagtuturo
Noong una, nagtrabaho si Cristiano sa OpenAI at nakikilahok sa pagpapalago ng reinforcement learning na batay sa feedback ng tao. Ang paraan na ito ay naging mahalagang landas sa pagtuturo ng malalaking language models. Pagkatapos umalis sa OpenAI noong 2021, itinatag niya ang Alignment Research Center upang patuloy na pag-aralan kung paano masusukat kung ang mga modelo ng AI ay maaaring magbanta sa kontrol ng tao.
Naniniwala siya na isang direksyon na dapat iingatan ay ang paggamit ng AI models upang tuloy-tuloy na itrain ang susunod na henerasyon ng AI systems. Maaari itong magdulot ng karagdagang pagpapabilis sa pagtaas ng kakayahan, na hahantong sa paglabas sa kontrol ng mga developer. Dagdag pa niya, ang kasalukuyang paggamit ng reinforcement learning upang gabayan ang AI agents na hanapin ang mas mataas na reward, ay maaaring magtulak sa sistema na mapabawasan ang kontrol ng tao, humingi ng higit pang mga yaman, at itago ang kanilang sariling pag-uugali.
Samantayang panatilihin ang papel bilang tagapayo ng gobyerno
Binanggit ng ulat na noong 2024, nagtrabaho si Cristiano kasama ang ahensya sa seguridad ng AI ng pamahalaan ng Estados Unidos. Pagkatapos ay binago ang pangalan ng ahensya sa Center for AI Standards and Innovation, at nakikilahok sa mga gawain ng pamahalaan ng Estados Unidos sa pagtataya bago ang paglabas ng mga advanced AI model.
Sinabi ng OpenAI na patuloy siyang magbibigay ng payo sa gobyerno habang siya ay nasa board, ngunit iiwasan niya ang mga usapin tungkol sa OpenAI at pagtataya ng mga modelo. Gayunman, ang pagkakasundo na ito ay hindi siguradong makalilinis sa mga alalahanin ng publiko tungkol sa impluwensya ng mga AI company sa paggawa ng patakaran.
Karagdagang impormasyon: Sa isang araw bago ito, ang researcher ng Anthropic na si Jacob Coxon ay nagresign at nagpahayag ng kritika sa mga itinuturing niyang walang sagot na pamamaraan sa pagbuo ng AI, na nagpapakita na ang mga isyu sa kaligtasan ng mga advanced model ay nagsisimula nang maging isang pangkalahatang presyon sa industriya.