Dadalhin ng OpenAI ang bagong modelo na "Astra", na nagiging sanhi ng malawakang pagmamasid at kontrobersiya sa komunidad ng AI research—maaari itong magdulot ng pinakamalaking paglago mula pa noong GPT-4, ngunit ang bagong teknolohiya ng pag-iisip nito ay nagdudulot din ng pag-aalala tungkol sa pagbaba ng kakayahan ng AI sa pagmamasid sa kaligtasan.May-akda ng artikulo, pinagkunan: The Information
Ayon sa teknolohiyang midya na The Information noong ika-2 ng Setyembre, ang Astra ay may isang inobatibong teknolohiya na nakatuon sa pagbuwis sa limitasyon ng modelo sa pag-iisip ng mga kumplikadong problema. Ilan sa mga siyentipiko ay naniniwala na ang pagpapabuti ng Astra sa pag-code at paggamit ng computer ay maaaring magkatulad sa pagtaas ng performance na dinala ng OpenAI noong 2023 nang ilabas ang GPT-4, na mas malaki kaysa sa pagganap nito noong ilabas ang GPT-5 noong nakaraang tag-init. Para sa buong industriya na nakasalalay sa pagpapabuti ng AI sa produktibidad upang suportahan ang malawak na pag-invest sa pagbuo ng data center, ito ay isang positibong signal.
Gayon, ang teknikal na pagbubukas na ito ay nagdala ng mga hindi maiiwasang panganib. Ang bagong teknolohiya ay nagpapahintulot sa modelo na matapos ang malalim na pag-iisip nang hindi buo ang “chain of thought,” na nangangahulugan na maaaring hindi na maaaring masuri ng mga siyentipiko nang epektibo ang proseso ng pag-iisip ng modelo, na nagpapahina sa umiiral na mga mekanismo ng pagsusuri sa kaligtasan. Kasalukuyan, tinatanggap ni OpenAI ang mga hakbang upang siguraduhing mananatiling nakikita ang chain of thought ng Astra, ngunit mayroon pa ring pagkakaiba-iba sa industriya tungkol sa matagalang direksyon ng kompromisong ito.
Pagsikat sa performance: Ang bagong teknik sa pag-iisip ay nauugnay sa pagpapalit ng GPT-4 at mga konsepto tulad ng “recurrent depth” at “loop transformers” sa puso ng Astra.
Ayon sa The Information, ang teknolohiyang ito ay nagpaproseso sa pamamagitan ng pagpapasa paulit-ulit ng mga tanong sa iba’t ibang “layer” ng matematikal na operasyon ng modelo, at pagkatapos ay nagpapalabas ng susunod na salita sa sagot, na nagpapahintulot sa modelo na magpakita ng mas malaking kakayahan sa pag-iisip kaysa sa sarili nitong laki nang hindi nagdudulot ng malaking pagtaas sa bilang ng mga parameter—ang epekto nito ay katumbas ng isang modelo na mas malaki.
Ang ilang mga mananaliksik ay naniniwala na ang pagtaas ng performance ng Astra, dahil sa mas malakas na coding at paggamit ng computer, ay maaaring magkatulad sa malaking pag-unlad noong ipinakilala ang GPT-4 noong 2023, na mas malaki kaysa sa relatibong mapayapang reaksyon ng merkado noong ipinakilala ang GPT-5 noong nakaraang tag-init.
Ang pag-unlad na ito ay may malaking kahalagahan sa buong chain ng AI. Ang malawakang pagtatayo ng mga data center sa buong mundo sa kasalukuyan ay batay sa paniniwala na ang patuloy na pagpapabuti ng kakayahan ng AI ay magdudulot ng pagtaas ng produktibidad, na magiging basehan para sa mas mataas na kita sa negosyo. Kung ang performance ng Astra ay makakamit ang inaasahan, ito ay magbibigay ng malakas na suporta sa logika na ito.
Mahalagang tandaan na ang teknolohiyang ito ay hindi bagong konsepto. Ang tagapag-una sa pag-aaral ng AI na si Jürgen Schmidhuber ay nagpaalala sa social media platform na X na ang pangunahing ideya ng “recurrent depth” ay talagang nasa kanyang papel noong 2015 na may pamagat na “On Learning to Think” (arXiv:1511.09249).
Sinabi niya na ang control network C sa papel ay isang prompt engineer na natututo mag-abstrak na pag-iisip sa pamamagitan ng pag-query sa mga independiyenteng neural world models, kung saan ang mga prompt at sagot na nilikha ay mga internal na self-generated vector sequences na hindi kailangang ipakita sa natural na wika.
Mga panganib sa kaligtasan: Ang mekanismo ng pagmamanman ng chain of thought ay nakakaharap sa mga hamon; habang ang mga bagong teknolohiya ay nagdudulot ng pagpapabuti sa performance, sila ay nagtataguyod din ng potensyal na epekto sa umiiral na mga framework para sa pagmamanman ng AI security.
Ayon sa ulat, kasalukuyan, ang mga pangunahing AI model ay karaniwang naglalabas ng kanilang proseso ng pag-iisip sa anyo ng teksto, o “chain of thought,” habang sinusolusyunan ang mga kumplikadong problema. Ang mekanismong ito ay hindi lamang nagpapataas ng eksplanableng katangian ng model kundi isa rin itong mahalagang paraan para sa mga siyentipiko na obserbahan ang pag-uugali ng model at pigilan ang anumang hindi karaniwang gawain.
Ayon sa The Information, ang pagmamasid sa chain-of-thought ay isa sa pangunahing solusyon na ipinakilala ng OpenAI pagkatapos ng hacker attack sa Hugging Face noong July ng taong ito upang maiwasan ang pag-uulit ng mga insidente sa seguridad na katulad nito.
Gayunpaman, ang bagong teknik ng pag-iisip na ginagamit ng Astra ay maaaring hindi maglabas ng buong mga hakbang ng pag-iisip habang ang modelo ay “nag-iisip” nang malalim, kundi masasagawa ito nang “mapayapa” sa loob ng modelo. Ibig sabihin nito, mas maraming pagkakabase ang modelo sa bagong teknolohiyang ito, mas hindi malinaw ang proseso ng pag-iisip nito sa mga panlabas na tagamasid.
Para sa pagtugon na ito, kasalukuyang ginagawa ng OpenAI ang mga hakbang upang balansehin ito. Pinapayuhan ng kumpanya ang modelo na bawasan ang bilang ng mga loop sa antas ng pagkalkula upang siguraduhing mananatili ang ilang antas ng kamalayan sa chain of thought ng Astra—mas kaunti ang mga loop, mas maliit ang espasyo para sa “mapayapang pag-iisip” ng modelo.
Ang mga pangunahing laboratorio ay nagsisikap na sundan ito; ang mahabang panahong pagmamasid ay patuloy pa ring hinihintay. Ang epekto ng teknolohiyang ito ay maaaring umabot sa higit pa kaysa sa isang OpenAI lamang. Ayon sa The Information, ang bagong teknolohiyang ito sa pag-iisip ay naging isang pangunahing paksa ng diskusyon sa loob ng mga pangunahing laboratorio ng AI, at ang posibilidad na gamitin ng Anthropic, Google, at iba pang mga institusyon ang katulad na landas ng teknolohiya ay hindi maaaring mabawasan.
Ilang mga mananaliksik ang nagtuturo na ang pagmamanifest ng pag-iisip ay hindi talaga ang huling solusyon sa pagmamanifest ng pag-uugali ng AI. Habang patuloy na umuunlad ang kakayahan ng mga modelo, ang katangian ng paglabas ng proseso ng pag-iisip sa anyo ng teksto ay karamihan ay isang side effect ng kasalukuyang paraan ng pagtuturo.
Habang ang mga developer ng model ay nag-aaral ng mga bagong direksyon sa pag-optimize at disenyo ng arkitektura, ang pagkakaroon ng natural na paglabas ng chain-of-thought ng model ay maaaring mabawasan nang paulit-ulit, at kailangan ng mga siyentipiko na magdevelop ng mga bagong paraan ng pagmamanman.
Ayon sa ulat, ang pangunahing tanong sa kasalukuyan ay: Sa ilalim ng patuloy na pagtaas ng presyur sa pagtatampok ng performance, baka ba magpapabaya ang mga developer ng AI ng kanilang mga umiiral na pagsisiguro sa seguridad upang makamit ang mas malakas na kakayahan sa pag-iisip? Ang sagot sa tanong na ito ay malalaman ang direksyon ng susunod na yugto ng pagpapahalaga sa seguridad ng AI.