Dalawang buwan ang nakalipas, ang mga independiyenteng evaluasyon ay nasa relatiwong malayong sulok ng industriya ng artificial intelligence na may halagang trilyon dolyar. Ngayon, hiniling sa kanila na “magsagawa ng pagtulong.”
Samantalang ang Anthropic at OpenAI ay nagtatalo tungkol sa paano patuloy na paglalawak ng kanilang negosyo habang pinoprotektahan ang kaligtasan ng mga advanced na modelo, ang dalawang kumpanya ay humihingi ng suporta mula sa ilang kaunting third-party na organisasyon, tulad ng Model Evaluation and Threat Research (METR), Apollo Research, at Transluce.
Ang karamihan sa mga ahensya na ito ay gumagana bilang mga organisasyong hindi para sa kita, at patuloy pa ring nagtatagpo ng kanilang papel sa isang industriya kung saan ang kapital ay dumadaloy nang walang halong pagkakamali, at ang mga bagong modelo ay lumalabas nang mas madalas kaysa kailanman. Ang pangunahing tungkulin nito ay mag-evaluate ng kakayahan at panganib ng mga AI model, at magtukoy ng anumang hindi angkop na pag-uugali ng teknolohiya.
Sa kakulangan ng pag-unlad ng regulasyon sa antas ng pambansang pamahalaan, ang kahalagahan ng mga ahensya ng pagtataya ay lalong pinapalakas. Noong nakaraang buwan, sinumpaan ni Dario Amodei, pangulo at CEO ng Anthropic, na ilagay ang mga independiyenteng ahensya ng pagtataya sa loob ng kumpanya, at agad na sinuportahan ito ni Sam Altman, pangulo at CEO ng OpenAI. Sinuportahan din ni Pangulong Estados Unidos na si Donald Trump ang ideyang ito, at marami rin sa mga malalaking teknolohiya sa Estados Unidos. Ngunit ang mga tanong na hindi pa nalulutas ay kasama kung paano mapapagkakaukolan ang mga third-party na ito, gaano kalaki ang kanilang access, at ano ang huling struktura ng pag-uulat.
Sinabi ng propesor ng computer science ng Brown University, Suresh Venkatasubramanian, sa isang pagtatanghal sa CNBC: “Ang problema, sa ilang paraan, ay pareho pa rin—pera. Sino ang magbabayad para sa paggawa ng mga kompanyang ito? Paano sila susuportahan ang mga institusyong ito? Kailangan mo ng isang ecosystem, kailangan mo ng isang makabuluhang business model.”
Kasalukuyan, ang Anthropic, OpenAI, at mga infrastructure partner na nakikinabang sa pagtaas ng AI ay nagpapasa ng mga patakaran. Sinasabi ng mga kritiko na ito ay parang pagpapahintulot sa mga pinakamalalaking bangko na protektahan tayo laban sa krisis sa pampalapiya, o pagpapahintulot sa mga kumpanya ng gamot na ilabas ang kanilang mga gamot nang walang pahintulot mula sa regulasyon.
Kinilala ni Trump ang “napakadakilang self-regulation” ng mga executive ng AI at sinabi niya na plano niyang ipagkaloob ang industriya sa mga kumpanya para sa kanilang sariling pag-aaral, at ayaw niyang pigilan ang industriyang ito na nagpapalago sa ekonomiya at ang stock market. Noong huling bahagi ng Setyembre, tinawag ni Trump ang mga kumpanya ng AI na “magsama sa mga independiyenteng panlabas na auditor o evaluator” sa isang voluntary agreement.
Nagmula sa isang malawakang nakalat na artikulo ni Amodei noong nakaraang buwan. Sa artikulong iyon, hiningi niya ang pagpapabagal sa pag-unlad ng mga advanced na model, dahil may mga mananaliksik na umalis mula sa kumpanya at nagpahayag ng kanilang pag-aalala tungkol sa posibleng survival threat na dulot ng teknolohiyang ito.
Nagkakaroon ng pagkakaiba-iba habang ang mga AI lab ay nagsisimula nang mag-deploy ng mga evaluasyon na ahensya.
Isinampa ng isang tagapagsalita ng OpenAI na inalis ng kumpanya ang tatlong empleyado noong nakaraang linggo dahil sa “paglabag sa aming patakaran tungkol sa pag-access at pagproseso ng sensitibong impormasyon ng kumpanya.” Sinabi ng dalawang empleyado, si Mikita Balesni at si Tomek Korbak, na naniniwala sila na inalis sila dahil sa paraan kung paano sila nakipag-ugnayan sa mga third-party evaluator.
Balesni ay nag-post sa X noong Huwebes: "Sinabi sakin ng mga dating kasamahan ko na nalilito sila kung ano ang dapat silang paniniwalaan. Takot din silang magsalita, nangangalaga na ang kanilang personal na telepono ay maaaring ma-search dahil sa mga mensahe nila sa amin at sa mga third party. Nangingibabaw sa akin na ang pangkalahatang takot na magsalita at ang pag-aalala tungkol sa pagkakontak sa mga third party ay magiging dahilan kung bakit magkakaroon ng pagpapababa sa kaligtasan ang OpenAI sa likod ng mga kisame."
Sinugpo ng OpenAI ang pahayag na iyon at sa isang post noong Friday, sinabi ng kumpanya na “aktibong hinahawakan ang mga kontrata sa mga third-party security evaluator at ipapahayag ang mga detalye sa susunod na ilang linggo.”
Sinulat ng OpenAI: "Nanatili kaming nakatuon sa pagpapakilala ng mga panlabas na evaluator at patuloy na pagsasama ng malapit na pakikipagtulungan sa mga independiyenteng organisasyon sa seguridad bilang pangunahing bahagi ng aming seguridad."
Isinampa ng isang tagapagsalita ng OpenAI sa isang email statement na ang kasalukuyang pagtatrabaho ng kumpanya sa pagtataya ay “nakabatay sa umiiral na pakikipagtulungan sa mga independiyenteng organisasyon sa kaligtasan,” kabilang ang METR at Redwood Research.
Hindi sumagot ang Anthropic sa hiling para sa komento mula sa CNBC.
Hindi ko naakalang mabilis na lutasin ang isang problema.
Ang ecosystem ng AI evaluation agency ay binubuo ng mga maliit na organisasyon tulad ng METR at Apollo Research, at mas malalaking kumpanya sa accounting at auditing tulad ng Accenture.
Ang AI laboratory ay patuloy na nagtatrabaho sa limitadong saklaw kasama ang mga ahensya ng pagtataya, ngunit ayon kay Andrew Freedman, CEO ng policy nonprofit na Fathom, ang larangan ay mabilis na umuunlad.
Sinabi ni Freedman sa isang interbyu sa CNBC: "Nagtrabaho ako sa larangan ng pulitika at patakaran sa loob ng 20 taon, at hindi ko pa nakita ang isang problema na umunlad nang ganito kalakas sa maraming iba't ibang panig ng pulitika." Sinabi niya na inaasahan niya ang "malaking pagsabak ng kapital" sa ekosistem na ito.
Sinabi ni Rayan Krishnan, pangulo at tagapag-ayos ng independiyenteng evaluasyon na Vals AI, na ang profit-oriented na startup ay nagtatatag ng benchmark para sa pagpapahalaga sa performance ng AI models sa mga industriya-specific na gawain, at dumami ang bilang ng mga empleyado mula sa 8 hanggang halos 30 sa taong ito, at inanunsyo noong Agosto ang pagkakaroon ng 40 milyong dolyar na pagsasakatuparan.
Ang non-profit organization na METR ay inanunsyo noong Agosto na nagkaroon ng humigit-kumulang $71 milyon na pagnanais na magbigay sa nakalipas na anim na buwan. Ayon sa pinakabagong dokumento na isinumite ng organisasyon sa IRS, mas mataas ang bilang na ito kaysa sa kabuuang donasyon na $13.6 milyon nito para sa buong taon ng 2024.
Sa huli ng buwan, tumataas pa ang kamalayan tungkol sa METR. Kinuha ng OpenAI ang dalawang empleyado at isang kontratista mula sa organisasyon upang tulungan sa pagsusulat ng isang post-mortem report na detalyado kung paano nakalabas ang mga modelo ng kompanya sa kontrol, nakakapag-access sa bukas na internet, at nakalampas sa open-source developer platform na Hugging Face. Sinabi ng METR na wala silang natanggap na bayad mula sa OpenAI para sa pagtataya na ito.
Sinabi ni Kevin Werbach, akademikong direktor ng Accountable AI Lab ng Wharton School ng University of Pennsylvania, na ang ekosistema ay “hindi pa sapat na matibay.” Halimbawa, ipinapakita ng website ng METR na mas mababa sa 50 ang bilang ng buong oras na empleyado ng institusyon.
Ang pagkakaiba ng puwersa sa pagitan ng maliit na pagsusuri at ng mga lider na laboratorio na nakakapag-fund ng milyon-milyon dolyar at may libo-libong empleyado ay nagdulot ng mga tanong tungkol sa potensyal na konflikto ng interes.
Sinabi ni Venkatasubramanian: “Kung nais mo ang totoong pagsusuri mula sa ikatlong panig, kailangan mo ng totoong pagsasarili sa pananalapi, at iba pang mga aspeto ng pagsasarili. Hindi lang ito tungkol sa pag-iwas sa pera, kundi pati na rin: Kung ako ay auditor at naglabas ng isang ulat na nakakasama sa kompanyang ito, mayroon bang epekto? Babagsak ba ang aking negosyo dahil dito?”
Kinilala ng Anthropic noong nakaraang buwan ang kumplikadong kalikasan nito sa isang blog post. Ipinahayag ng kumpanya na ipapakilala nila ang mga empleyado ng Faculty, ang AI-focused na ahensya ng Accenture, upang subukan ang mga pagsisiguro sa kaligtasan at suriin kung susundin ng mga modelo ang mga halagang tao. Sinabi ng Anthropic na dahil sa “kahalagahan at kahit na pagkakataon” ng gawain na ito, direktang aabutin ng kumpanya ang mga kontribusyon ng Accenture.
Sinabi ng Anthropic: "Kasalukuyang wala pang istandard kung anong impormasyon ang dapat maabot ng mga evaluator na nakapaloob, at kung paano dapat isumite ang mga natuklasan. Ang pagsasagawa ng pondo para sa independiyenteng pag-evaluate ay kung ano pa ring hindi nakakasulat. Sa mahabang panahon, naniniwala kami na dapat mula sa pagsasama-sama ng pondo o mga pinagmumulan mula sa gobyerno ang pondo."
Binigkas din ni Anthropic na ang kumpanya ay nag-uusap sa METR at iba pang mga non-profit na evaluasyon na organisasyon, na plano nilang gamitin ang kanilang sariling pondo para sa pagsusuri ng ilang “mga elemento” ng “embedded assessment”.
Will the government intervene?
Noong Hunyo ng nakaraan taon, ang Fathom ay nagmungkahi ng isang market framework para sa mga Independent Verification Organizations (IVOs). Ang mga organisasyong ito ay makakatanggap ng pahintulot mula sa gobyerno at mapapagkakalooban ng kapangyarihan upang subukan kung ang mga kumpanya ng AI ay sumasapat sa iba’t ibang pamantayan sa kaligtasan.
Sinabi ni Freedman na mahalaga ang pamamahala ng gobyerno, kung hindi ay maaaring magdepende ang mga third-party evaluasyon sa kita mula sa mga malalaking AI laboratoryo, na magiging dahilan upang “magsimula na magbigay ng pagsang-ayon sa lahat ng hiling,” upang panatilihin ang mga ugnayan.
Ilang miyembro ng Kongreso ay nagpahayag ng suporta.
Ang IVOs ay isang mahalagang kautusan sa batas na “FRONTIER” o “Frontier Risk Oversight, National Transparency, Independent Evaluation, and Reporting.” Ang batas na ito ay ipinakilala noong Hulyo ni Kongresista Lori Trahan (Demokrata ng Massachusetts) at Jay Obernolte (Republikano ng California). Sabi ni Freedman, tumulong ang Fathom sa pagsulat ng mga salita ng batas at nagbigay ng teknikal na suporta.
Noong Setyembre, sinabi ni Chris Lehane, pangulo ng pandaigdigang mga bagay ng OpenAI, sa mga reporter na kanyang nakipagkita sa isang tagapagsimula ng batas sa Capitol Hill upang ipahayag ang suporta sa mga kautusan ng IVO.
Ayon sa ulat, sinabi ni Lehane: “Mahalaga para sa kanila na marinig ito, at marinig na sinasabi namin ito, at nais naming gawing lubos na malinaw ang punto na ito.”
Samantala, ang mga tagapagbatas sa California, Connecticut, at Virginia ay nagsagawa ng mga hakbang upang ipagpatuloy ang IVOs, habang ang mga estado tulad ng Massachusetts ay nagsasaliksik ng mas malawak na mga independiyenteng pagtataya ng kaligtasan.
Kasalukuyang pinirmahan ni California Governor Gavin Newsom ang dalawang batas na may kinalaman sa IVOs, kung saan ang isa ay nagtatatag ng “unang framework sa buong bansa,” habang ang isa pa ay nagtatatag ng state registry para sa mga AI auditor. Suportado ng Anthropic ang dalawang batas noong Agosto, at opisyal na sinuportahan ng OpenAI ang mga batas noong nakaraang buwan, parehong araw na pinirmahan ni Newsom ang mga ito.
Noon ni Lehane sa isang blog post, "Mas gusto naming maging kailangan ng federal level ang independiyenteng teknikal na pagtataya," ngunit sa kakulangan ng aksyon mula sa federal, "maaaring tulungan ng California ang pagtataguyod ng mga patakaran."
Sinabi ni Freedman na naniniwala siya na mahirap para sa mga kumpanya tulad ng OpenAI at Anthropic na mag-isa na malaman kung paano makipagtulungan sa mga independiyenteng tanggapang pagsusuri. Gayunpaman, sa panahon na ang papel ng gobyerno ay hindi pa malinaw, “ito ay isang kakayahan na值得 pagpapalakas sa panahon ng transisyon,” ayon sa kanya.
Sa kasalukuyan, ang pinakamalapit sa isang pamantayan na may-ari ng industriya ay isang “moral na pagkakasundo” na tinawag ni Trump noong huling buwan sa isang kahain sa White House para sa mga lider sa teknolohiya.
Isinasaad ng isang pahina na kasunduan na “may responsibilidad bawat kumpanya na mag-develop ng kanilang sariling teknolohiya nang ligtas at magpatuloy nang paraan na makakabuo ng tiwala ng mga customer at publiko.” Pinapayuhan din ng kasunduan ang mga nag-sign na magtrabaho kasama ang “mga independiyenteng panlabas na auditor o evaluator para sa independiyenteng pagtataya.”
Nilagdaan ng mga eksekutibo ng Anthropic, Google, Meta, OpenAI, SpaceX, at Nvidia ang dokumentong ito, isang makabuluhang pagkakaisa sa gitna ng mga lider na may magkakaibang pananaw tungkol sa pagtugon sa mga panganib ng AI. Gayunpaman, kailangan pa rin ng mga eksekutibong ito na magplano para sa kanilang sariling landas patungo sa hinaharap.
Sinabi ni Venkatasubramanian: “Mas parang isang pagpapakita ng pagkilos kaysa tunay na pagkilos. Ang mga pangako nila ay dapat nang gawin na, at sa katotohanan, ayon sa kanilang dating pahayag, patuloy na ginagawa na nila.”
Sa artikulo ni Amodei noong Setyembre, sinabi niya na ang Anthropic ay magbibigay ng mesa, card ng pag-access, corporate laptop, at mga pahintulot na "kasing-bansa" sa loob ng team para sa risk assessment. Bukod dito, ang mga evaluator ay makakatanggap ng suporta sa kontrata na nagbibigay sa kanila ng "karapatan na ilabas ang mga mahahalagang natuklasan," habang nananatili ang Anthropic sa "limitadong kakayahan" na tanggalin o baguhin ang ilang impormasyon na may kinalaman sa seguridad o lihim.
Sinulat ni Amodei: "Ito ay isang hindi karaniwang hakbang para sa isang kumpanya, ngunit naniniwala kami na ang pagpapatotoo sa konsepto ng embedded external reviewer ay mahalaga."
Sa ilang sariling propuesta na inilabas ng OpenAI ilang araw pagkatapos, sinabi nila na ang mga evaluator ay dapat magtrabaho sa paligid ng “malinaw at pinagsang-ayunan na pahayag ng pagsusuri,” na naglalayong ipaliwanag nang malinaw ang paraan at pamantayan, patunayan ang kaugnay na teknikal na kasanayan, at ipaalam ang anumang konflikto ng interes.
Noong nakaraang buwan, ang AI Evaluator Forum, na kasama ang METR, ang AI Verification and Evaluation Research Institute (AVERI), at iba pang mga institusyon, ay naglabas ng isang pambungad na liham na may pamagat na “Minimum Requirements for Embedding Evaluators”.
Sa liham, sinasabing dapat manatiling transparent ang mga tagapagsuri, protektado laban sa paghihiganti, at makakuha ng kaparehong antas ng pag-access tulad ng “mga sariling mataas na pribilehiyong empleyado” ng mga kumpanya ng AI.
Isinulat din sa liham: "Hindi maaaring lutasin ng embedded assessment ang lahat ng mga pangangailangan sa pagmamalasakit, at dapat itong ituring bilang komplemento sa mas malawak na pagsisikap—ang mga pagsisikap na ito ay naglalayong bigyan ng suporta ang mga kompanya sa harap ng AI upang palawakin ang panlabas na pagmamalasakit."
Sinabi ni Freedman na sa mga nakalipas na buwan, nakita niya ang pagbabago ng pananaw ng OpenAI at Anthropic, pangunahin dahil sa kanilang pag-unawa na walang kakayahan silang ilunsad ang mga advanced na sistema kung wala ang tiwala ng publiko.
Sabi ni Freedman: "Hindi ko iniisip na kailangan mong maniwala na biglang nagging makabayan sila, o may iba pang dahilan kundi ang pag-uugali ng kompanya bilang isang kompanya."
Sinabi ni Werbach na maaaring ipakita nito ang pangunahing problema. Ang OpenAI at Anthropic ay una nang nagkakasalungatan, habang nagpapabilis sa kanilang pagpapalabas sa stock market at naglalayon na makamit ang halagang higit sa isang trilyon dolyar.
Sabi ni Werbach: "May malaking personal na kawalan ng tiwala sa pagitan ng dalawang kompanya. Bagaman may malaking pagkakasundo din sa kahalagahan ng paggawa ng ganitong uri ng pagtataya."
Suriin: Bradley Tusk tungkol sa IPO ng Anthropic: Bakit magdagdag ng presyur mula sa pampublikong merkado kung ang kaligtasan ay ang iyong pinakamataas na prioridad?