Ayon sa TechCrunch na binanggit ang The Information, ang darating na modelo ni OpenAI na Astra ay gagamit ng isang teknik na tinatawag na "recursive depth" para sa pag-iisip. Maaaring mabawasan ng paraan na ito ang mga nakikita na traces sa proseso ng pag-iisip ng modelo, kaya mas mahirap para sa mga panlabas na makita kung bakit nagkakaroon ng isang partikular na konklusyon ang modelo sa pamamagitan ng mga rekord ng pag-iisip.
Nagbigay ng babala ang mga eksperto sa seguridad
Sa karaniwang reasoning models, ang chain of thought ay karaniwang ipinapakita nang step-by-step kung paano nila nalutas ang isang problema. Bagaman ang ganitong rekord ay hindi katumbas ng buong tunay na internal na proseso ng modelo, ito ay mahalagang kasangkapan upang obserbahan kung paano ito umalis sa layunin, gumawa ng anomalous na desisyon, o maaaring mawala sa kontrol.
Sinabi ni Buck Shlegeris, CEO ng Redwood Research, na sobrang nag-aalala siya sa paggamit ng ganitong teknolohiya ng Astra. Naniniwala siya na kung palawigin pa ng OpenAI ang paggamit ng ganitong paraan, maaaring bumaba nang malinaw ang kakayahan na suriin ang chain of thought ng modelo.
Ang tagapag-ugnay na nagmamalasakit sa kaligtasan ng AI, si Zvi Mowshowitz, ay nagbigay din ng pahayag na kung ang mga laboratorio ay magkakaroon ng kompetisyon sa kakayahan ng mga modelo, maaaring kailanganin ng mga regulador na magsikap sa hinaharap upang maiwasan ang patuloy na pagbaba ng mga pamantayan sa kaligtasan ng industriya.
Reduction of visible traces through circular reasoning
Ang ulat ay nagmumungkahi na ang tinatawag na “opaque recursion” ay nangangahulugan na ang modelo ay hindi na kadalasang natatapos ang pag-iisip sa mga linyar na hakbang, kundi gumagawa ng paulit-ulit na pagtrato sa parehong tanong. Ang gawing ito ay maaaring magbawas sa mga intermediate process na maaaring basahin ng panlabas, na katumbas ng pag-iwas sa nakikita na landas na ibinibigay ng tradisyonal na pag-record ng chain of thought.
Ito rin ang pinakamalaking pag-aalala ng mga siyentipiko sa seguridad. Dahil kapag lalong madalas ng modelo ang paggawa ng pag-iisip sa mga panloob na espasyo na hindi makikita, mas mahirap para sa mga mananaliksik na masukat kung ito ay nagpapakita ng maling impormasyon, pag-iwas sa mga limitasyon, o iba pang hindi inaasahang pag-uugali.
Sinabi ni Ryan Greenblatt, pangunahing siyentipiko ng Redwood Research, na ang mas malaking panganib ay ang ganitong uri ng hindi malinaw na pag-iisip ay mas madaling i-scale kaysa sa tradisyonal na pag-iisip na may chain-of-thought, na maaaring magresulta sa pagkawala ng malaking bahagi ng proseso ng pag-iisip sa mga nakikita na channel.
Pinapahalagahan ni OpenAI ang pagpapanatili ng kakayahang masuri
Gayunpaman, sa kasalukuyang yugto, ang paggamit ng Astra sa teknolohiyang ito ay tinatawag na limitado pa rin. Ayon sa ulat, inaasahan na ang chain-of-thought ng modelo ay mananatiling mababasa, at laban din si OpenAI sa paglalarawan nito bilang paglipat patungo sa ganap na hindi maunawaang “neuro-lingo”.
Ang pangunahing siyentipiko ng OpenAI, si Jakub Pachocki, ay nagsabi sa X na ang kompanya ay patuloy na nagtatrabaho upang panatilihin at gamitin ang kakayahan sa pagmamasid sa chain of thought mula sa mga unang inference model, na isa sa mga pangunahing layunin sa kasalukuyang pananaliksik.
Mahalagang tandaan na hindi lang ang OpenAI ang nag-uusap tungkol sa direksyong ito. Ayon sa sunod na ulat ng The Information, ang Anthropic at Google DeepMind ay nagsasalita rin tungkol sa katulad na teknolohiya. Ibig sabihin, ang pagpapagawa ng balanse sa pagitan ng pagpapabuti ng kakayahan ng modelo at ang pagiging ligtas at maaring suriin ay maaaring maging pangkalahatang paksa sa industriya ng AI sa malapit na hinaharap.