Dua bulan yang lalu, agensi penilaian bebas berada di sudut yang相对 tenang dalam industri kecerdasan buatan bernilai trilion dolar. Kini, mereka diminta untuk "menyelamatkan situasi".
Semasa Anthropic dan OpenAI berdebat sengit mengenai cara melanjutkan pertumbuhan perniagaan sambil menjamin keselamatan model canggih, kedua-dua syarikat ini mencari sokongan daripada beberapa agensi pihak ketiga kecil, seperti Model Evaluation and Threat Research (METR), Apollo Research, dan Transluce.
Kebanyakan agensi penilaian ini beroperasi sebagai organisasi bukan keuntungan, dan masih mencari kedudukan mereka dalam industri di mana modal mengalir dengan kelajuan tanpa preceden dan model baharu dikeluarkan dengan frekuensi tanpa preceden. Tanggungjawab utama mereka ialah menilai kemampuan dan risiko model AI, serta mengenal pasti kes-kes di mana teknologi menunjukkan tingkah laku yang tidak sewajarnya.
Dalam ketiadaan kemajuan peraturan peringkat persekutuan, kepentingan agensi penilaian diperbesarkan. CEO Anthropic, Dario Amodei, berjanji bulan lalu untuk mengintegrasikan agensi penilaian bebas ke dalam syarikat, dan CEO OpenAI, Sam Altman, segera menyokong idea ini. Presiden Amerika Syarikat, Donald Trump, juga menyokong idea ini, begitu juga banyak syarikat teknologi besar Amerika. Namun, soalan yang belum diselesaikan termasuk: bagaimana pihak ketiga ini seharusnya dibiayai, sejauh mana akses yang akan mereka miliki, dan struktur pelaporan akhir akan seperti apa.
Profesor Sains Komputer Universiti Brown, Suresh Venkatasubramanian, berkata dalam temu bual dengan CNBC: "Masalahnya, dalam beberapa segi, tetap sama—ia adalah wang. Siapa yang akan membayar untuk perkerjaan ini bagi syarikat-syarikat ini? Bagaimana mereka boleh menyokong institusi-institusi ini? Anda memerlukan ekosistem, anda memerlukan model perniagaan yang boleh dilaksanakan."
Sekarang, Anthropic, OpenAI, dan rakan infrastruktur yang mendapat keuntungan daripada gelombang AI sedang menyusun peraturan. Kritikus mengatakan ini seperti membiarkan bank-bank terbesar melindungi kita daripada krisis kewangan, atau membenarkan syarikat farmaseutikal memasarkan ubat-ubatan tanpa persetujuan pengawasan.
Trump baru-baru ini memuji “pengawasan diri yang sangat cemerlang” oleh para eksekutif AI, dan menyatakan bahawa beliau bercadang untuk menyerahkan industri ini kepada sektor swasta, tanpa menghalang industri yang sedang mendorong pertumbuhan ekonomi dan pasaran saham ini. Pada akhir September, Trump mendorong syarikat-syarikat AI untuk “bekerjasama dengan auditor atau penilai luar yang bebas” dalam satu perjanjian sukarela.
Perbincangan ini dipicu oleh artikel yang diterbitkan oleh Amodei bulan lalu yang menjadi viral. Dalam artikel itu, beliau menyerukan agar pembangunan model canggih "diperlambat", kerana terdapat penyelidik yang meninggalkan syarikat dan mengungkapkan kebimbangan terhadap ancaman eksistensial yang mungkin ditimbulkan oleh teknologi ini.
Ketika makmal AI mula melaksanakan agensi penilaian, gesekan telah muncul.
Seorang jurucakap OpenAI mengatakan bahawa syarikat itu memecat tiga pekerja minggu lepas kerana mereka “melanggar polisi kami mengenai akses dan pemprosesan maklumat sensitif syarikat”. Dua daripada pekerja tersebut, Mikita Balesni dan Tomek Korbak, menyatakan bahawa mereka percaya mereka dipecat kerana cara mereka berkomunikasi dengan pihak ketiga penilai.
Balesni menulis di X pada hari Kamis: "Rakan sekerja saya yang lama memberitahu saya bahawa mereka bingung tentang apa yang harus dipercayai. Mereka juga takut untuk bersuara, risau telefon peribadi mereka akan disita kerana mesej dengan kami dan pihak ketiga. Saya risau, ketakutan umum untuk bersuara dan kebimbangan tentang hubungan dengan pihak ketiga ini akan menyebabkan OpenAI mengurangkan usaha keselamatan di belakang layar."
OpenAI menyangkal pernyataan tersebut dan, pada hari Jumaat, menyatakan dalam satu pos bahawa syarikat sedang "secara aktif mengakhiri kontrak dengan penilai keselamatan pihak ketiga dan akan mengumumkan butiran dalam beberapa minggu mendatang."
OpenAI menulis: "Kami berkomitmen untuk mengintegrasikan penilai luar dan terus menjadikan kerjasama rapat dengan organisasi keselamatan bebas sebagai bahagian penting dalam kerja keselamatan kami."
Seorang jurucakap OpenAI menyatakan dalam pernyataan emel bahawa kerja yang akan dilakukan oleh syarikat tersebut "berdasarkan kepada kerjasama sedia ada dengan organisasi keselamatan bebas", termasuk METR dan Redwood Research.
Anthropic tidak memberi respons terhadap permintaan komen dari CNBC.
Saya tidak pernah melihat masalah diselesaikan secepat ini
Ekosistem agensi penilaian AI terutama terdiri daripada organisasi kecil seperti METR dan Apollo Research, serta syarikat perakaunan dan audit yang lebih besar seperti Accenture.
AI lab terus bekerjasama dalam lingkungan terhadap agensi penilaian, tetapi CEO organisasi bukan keuntungan Fathom, Andrew Freedman, berkata bidang ini sedang matang dengan cepat.
Freedman dalam temu bual dengan CNBC berkata, "Saya telah bekerja dalam bidang politik dan dasar selama 20 tahun, dan saya belum pernah melihat isu apa pun yang bergerak secepat ini di sepanjang spektrum politik yang begitu pelbagai." Beliau menyatakan bahawa dijangka akan berlaku "arus modal yang besar" ke dalam ekosistem ini.
Rayan Krishnan, CEO agensi penilaian bebas Vals AI, menyatakan bahawa syarikat permulaan berkeuntungan ini membina piawai untuk mengukur prestasi model AI dalam tugas-tugas khusus industri, dengan bilangan pekerja meningkat dari 8 kepada sekitar 30 tahun ini, serta mengumumkan pembiayaan sebanyak $40 juta pada bulan Ogos.
Organisasi bukan keuntungan METR mengumumkan pada bulan Ogos bahawa ia telah menerima komitmen dana sebanyak kira-kira US$71 juta dalam enam bulan terakhir. Menurut dokumen terkini yang diserahkan organisasi itu kepada Lembaga Hasil Dalam Negeri AS, nombor ini lebih tinggi daripada jumlah sumbangan keseluruhan sebanyak US$13.6 juta pada tahun 2024.
Pada akhir bulan itu, kepopularan METR meningkat lebih lanjut. OpenAI mempekerjakan dua pekerja dan seorang kontraktor dari institusi tersebut untuk membantu menyusun laporan pasca-kejadian yang menerangkan bagaimana model perusahaan itu melarikan diri dari pengawasan, mengakses internet terbuka, dan menembus platform pengembang sumber terbuka Hugging Face. METR menyatakan bahawa ia tidak menerima bayaran daripada OpenAI bagi penilaian ini.
Ketua Akademik Accountable AI Lab di Wharton School, University of Pennsylvania, Kevin Werbach, menyatakan bahawa ekosistem ini "masih belum cukup kukuh". Sebagai contoh, laman web METR menunjukkan bahawa jumlah pekerja penuh masa institusi ini kurang daripada 50 orang.
Ketidakseimbangan kuasa antara agensi penilaian kecil dengan laboratori terkemuka yang telah memperoleh pendanaan berbilion dolar AS dan mempekerjakan beribu-ribu orang telah menimbulkan persoalan mengenai konflik kepentingan yang berpotensi.
Venkatasubramanian berkata: "Jika anda ingin penilaian pihak ketiga yang sebenar, anda memerlukan kemerdekaan kewangan yang sebenar, serta kemerdekaan dalam aspek-aspek lain. Ini bukan hanya tentang tidak menerima duit, tetapi juga: Jika saya seorang auditor dan menerbitkan laporan yang merugikan syarikat ini, adakah saya akan menghadapi konsekuensi? Perniagaan saya akan menjadi lesu akibatnya?"
Anthropic mengakui kompleksiti ini dalam sebuah artikel blog bulan lalu. Syarikat tersebut mengumumkan bahawa mereka akan menempatkan pekerja dari Faculty, unit Accenture yang khusus dalam AI, ke dalam syarikat untuk menguji langkah-langkah keselamatan dan menilai sama ada model tersebut akan bertindak selaras dengan nilai-nilai manusia. Anthropic menyatakan bahawa, mengingat “kepentingan dan kegentingan” kerja ini, syarikat akan membiayai secara langsung sumbangan Accenture yang berkaitan.
Anthropic berkata: "Saat ini, tidak ada piawaian mengenai maklumat apa yang seharusnya diakses oleh penilai terbenam, atau bagaimana mereka harus melaporkan penemuan mereka. Pendanaan untuk penilaian bebas juga belum ditetapkan. Dari perspektif jangka panjang, kami percaya bahawa pendanaan seharusnya datang dari sumber kumpulan atau kerajaan."
Anthropic juga menyatakan bahawa syarikat sedang berbincang dengan METR dan agensi penilaian bukan keuntungan lain, yang merancang untuk menguji coba beberapa "elemen" penilaian "tertanam" menggunakan dana sendiri.
Will the government intervene?
Pada Jun tahun lalu, Fathom mengusulkan satu kerangka pasaran untuk Organisasi Pengesahan Bebas (Independent Verification Organizations, IVOs). Organisasi-organisasi ini akan mendapat kebenaran kerajaan dan diberi kuasa untuk menguji sama ada syarikat AI memenuhi pelbagai piawaian keselamatan.
Freedman menyatakan bahawa pengawasan kerajaan adalah penting, jika tidak, agensi penilaian pihak ketiga mungkin bergantung kepada pendapatan daripada makmal AI besar, yang mendorong mereka untuk "mengesahkan tanpa soal" demi mempertahankan hubungan.
Beberapa ahli undang-undang telah menyatakan sokongan.
IVOs merupakan klausul utama dalam undang-undang FRONTIER (Frontier Risk Oversight, National Transparency, Independent Evaluation and Reporting) yang diperkenalkan pada bulan Julai oleh Ahli Kongres Lori Trahan (Demokrat, Massachusetts) dan Jay Obernolte (Republikan, California). Freedman mengatakan bahawa Fathom membantu menyusun rumusan undang-undang tersebut serta menyediakan sokongan teknikal.
Chris Lehane, Ketua Urusan Global OpenAI, memberitahu wartawan pada bulan September bahawa beliau telah bertemu dengan salah seorang pengusul undang-undang tersebut di Capitol Hill untuk menyatakan sokongan terhadap ketentuan IVO.
Menurut laporan, Lehane berkata: “Ia penting bagi mereka untuk mendengar ini, dan untuk mendengar kami mengatakan hal ini, dan kami juga ingin menjelaskan ini dengan sangat jelas.”
Sementara itu, ahli undang-undang di California, Connecticut, dan Virginia telah mengambil langkah-langkah untuk memajukan IVO, manakala negara seperti Massachusetts sedang mempertimbangkan penilaian keselamatan bebas secara lebih luas.
Gubernur California, Gavin Newsom, baru-baru ini menandatangani dua undang-undang yang berkaitan dengan IVOs, satu membina "kerangka pertama di seluruh negara," dan yang lain membina pendaftaran negeri untuk auditor AI. Anthropic menyokong kedua-dua undang-undang ini pada bulan Ogos, dan OpenAI secara rasmi menyokong undang-undang ini bulan lepas, pada hari yang sama ketika Newsom menandatangani ia menjadi undang-undang.
Lehane menulis dalam sebuah artikel blog: "Kami lebih suka persyaratan penilaian teknikal bebas pada peringkat persekutuan," tetapi dalam ketiadaan tindakan persekutuan, "California boleh membantu menetapkan peraturan."
Freedman menyatakan bahawa beliau percaya syarikat-syarikat seperti OpenAI dan Anthropic akan mengalami kesukaran besar untuk mencari cara sendiri bekerjasama dengan agensi penilaian bebas. Namun, dalam keadaan peranan kerajaan masih tidak jelas, “ini adalah kemampuan yang patut dikembangkan semasa peralihan,” katanya.
Sekarang, perkara paling hampir kepada piawaian yang dimiliki oleh industri ialah perjanjian "berikat secara moral" yang disebut oleh Trump semasa perjamuan tengah hari untuk pemimpin teknologi di Gedung Putih pada akhir bulan lalu.
Perjanjian satu muka ini menyatakan, "Setiap syarikat bertanggungjawab untuk membangunkan teknologi mereka sendiri dengan cara yang selamat dan memajukannya dengan cara yang dapat membina kepercayaan pelanggan dan awam." Perjanjian tersebut juga menggalakkan pihak yang menandatangani untuk bekerjasama dengan "pengauditan atau penilaian luaran bebas" untuk menjalankan penilaian bebas.
Dokumen ini ditandatangani oleh para eksekutif dari Anthropic, Google, Meta, OpenAI, SpaceX, dan Nvidia, menjadi persembahan persatuan yang jarang terjadi di antara pemimpin yang memiliki pandangan berbeza mengenai cara menangani risiko AI. Namun, para eksekutif ini masih perlu merancang jalan ke depan masing-masing.
Venkatasubramanian berkata: “Ini lebih seperti pertunjukan yang cuba menunjukkan tindakan, tetapi sebenarnya tidak ada tindakan yang berlaku. Apa yang mereka janjikan untuk dilakukan sepatutnya sudah dilakukan, dan sebenarnya mereka sebelum ini juga mengklaim bahawa mereka terus melakukannya.”
Dalam artikel bulan September, Amodei menyatakan bahawa Anthropic akan menyediakan meja kerja, kad akses, komputer riba syarikat, serta kuasa yang "secara asas setara" dengan pasukan penilaian risiko dalaman kepada penilai. Selain itu, penilai juga akan menerima sokongan kontrak yang memberi mereka "hak untuk mempublikasikan penemuan penting", sementara Anthropic mengekalkan "keupayaan terhad" untuk menghapus atau mengubah maklumat tertentu yang berkaitan dengan keselamatan atau kerahsiaan.
Amodei menulis: "Ini adalah langkah yang tidak biasa bagi sebuah syarikat, tetapi kami percaya bahawa membuktikan konsep pemeriksa luar yang tertanam adalah penting."
Beberapa hari kemudian, OpenAI mengeluarkan cadangannya sendiri dan menyatakan bahawa penilai harus bekerja berdasarkan "pernyataan penilaian yang jelas lingkupnya dan disepakati bersama", dengan menjelaskan kaedah dan standard, membuktikan kecekapan teknikal yang berkaitan, serta mengungkapkan konflik kepentingan.
Forum Penilai AI, yang merangkumi METR, AI Verification and Evaluation Research Institute (AVERI), dan institusi lain, mengeluarkan surat terbuka bulan lalu berjudul “Syarat Minimum untuk Penilai yang Ditanamkan”.
Surat tersebut menyatakan bahawa penilai harus mengekalkan transparansi, dilindungi daripada balasan, dan mendapat akses yang setara dengan “pegawai istimewa sendiri” syarikat AI.
Surat itu juga menyatakan: "Penilaian terbenam tidak dapat menyelesaikan semua keperluan pengawasan, dan harus dipandang sebagai pelengkap kepada usaha yang lebih luas—usaha yang bertujuan untuk mendorong syarikat AI terkini memperluas pengawasan luar."
Freedman menyatakan bahawa dalam beberapa bulan terakhir, beliau melihat perubahan sikap OpenAI dan Anthropic, terutamanya kerana kesedaran mereka bahawa tanpa keyakinan awam, mereka tidak dapat melancarkan sistem canggih.
Freedman berkata: "Saya tidak fikir anda perlu percaya bahawa mereka tiba-tiba menjadi altruistik, atau ada apa-apa lagi selain syarikat bertindak seperti syarikat."
Werbach mengatakan, ini mungkin menonjolkan masalah utama. OpenAI dan Anthropic pada awalnya saling bersaing, sambil mendorong menuju pelantikan di bursa dan mengejar valuasi melebihi $1 triliun.
Werbach berkata: “Terdapat ketidakpercayaan peribadi yang besar di antara dua syarikat ini. Walaupun terdapat konsensus yang besar mengenai keperluan untuk menjalankan penilaian semacam ini.”
TONTON: Bradley Tusk mengenai IPO Anthropic: Mengapa tambah tekanan pasaran awam jika keselamatan adalah keutamaan utama anda?