Dua bulan lalu, lembaga penilai independen berada di sudut yang relatif sepi dalam industri kecerdasan buatan bernilai triliunan dolar. Kini, mereka diminta untuk "menyelamatkan situasi".
Sambil Anthropic dan OpenAI berdebat sengit tentang cara melanjutkan ekspansi bisnis sambil menjamin keamanan model canggih, kedua perusahaan ini mencari dukungan dari beberapa lembaga pihak ketiga kecil, seperti Model Evaluation and Threat Research (METR), Apollo Research, dan Transluce.
Sebagian besar lembaga penilaian ini beroperasi sebagai organisasi nirlaba, masih mencari posisi mereka di industri di mana modal mengalir dengan kecepatan tanpa preseden dan model baru muncul dengan frekuensi tanpa preseden. Tugas utama mereka adalah menilai kemampuan dan risiko model AI, serta mengidentifikasi kasus-kasus di mana teknologi menunjukkan perilaku yang tidak tepat.
Dalam ketiadaan kemajuan regulasi tingkat federal, pentingnya lembaga penilai independen menjadi semakin ditekankan. CEO Anthropic, Dario Amodei, pada bulan lalu berkomitmen untuk mengintegrasikan lembaga penilai independen ke dalam perusahaan, dan CEO OpenAI, Sam Altman, segera menyatakan dukungannya. Presiden Amerika Serikat Donald Trump juga mendukung gagasan ini, begitu pula banyak perusahaan teknologi besar di Amerika. Namun, pertanyaan yang masih belum terjawab meliputi: bagaimana pendanaan lembaga pihak ketiga ini harus diperoleh, sejauh apa akses yang akan mereka miliki, dan seperti apa struktur pelaporan akhirnya.
Profesor Ilmu Komputer Brown University, Suresh Venkatasubramanian, dalam wawancara dengan CNBC mengatakan: "Masalahnya, dalam beberapa hal, tetap sama—uang. Siapa yang akan membayar biaya pekerjaan ini untuk perusahaan-perusahaan ini? Bagaimana mereka dapat mendukung lembaga-lembaga ini? Anda memerlukan ekosistem, Anda memerlukan model bisnis yang layak."
Saat ini, Anthropic, OpenAI, serta mitra infrastruktur yang mendapat keuntungan dari gelombang AI sedang menyusun aturan. Para kritikus mengatakan ini seperti membiarkan bank-bank terbesar melindungi kita dari krisis keuangan, atau mengizinkan perusahaan farmasi memasarkan obat-obatan tanpa persetujuan regulasi.
Trump baru-baru ini memuji "pengawasan diri yang sangat baik" dari para eksekutif AI, dan menyatakan bahwa ia berniat menyerahkan industri ini kepada perusahaan untuk mengelolanya sendiri, tanpa menghambat industri yang sedang mendorong pertumbuhan ekonomi dan pasar saham. Pada sebuah perjanjian sukarela yang dia ajukan akhir September, Trump mendorong perusahaan AI untuk "berkolaborasi dengan auditor atau evaluator eksternal independen."
Diskusi ini dipicu oleh artikel yang diterbitkan Amodei bulan lalu dan menjadi viral. Dalam artikel tersebut, ia menyerukan agar pengembangan model canggih "diperlambat", karena ada peneliti yang meninggalkan perusahaan dan menyampaikan kekhawatiran tentang potensi ancaman eksistensial yang ditimbulkan oleh teknologi ini.
Ketika laboratorium AI mulai menerapkan lembaga evaluasi, gesekan telah muncul.
Seorang perwakilan OpenAI mengatakan bahwa perusahaan tersebut memecat tiga karyawan minggu lalu karena "melanggar kebijakan kami mengenai akses dan pemrosesan informasi perusahaan sensitif". Dua karyawan, Mikita Balesni dan Tomek Korbak, menyatakan bahwa mereka percaya mereka dipecat karena cara mereka berkomunikasi dengan pihak ketiga penilai.
Balesni menulis di X pada hari Kamis: "Rekan kerja saya sebelumnya memberi tahu saya bahwa mereka bingung harus percaya apa. Mereka juga takut bersuara, khawatir ponsel pribadi mereka akan digeledah karena pesan dengan kami dan pihak ketiga. Saya khawatir, ketakutan umum untuk bersuara dan kekhawatiran tentang kontak dengan pihak ketiga ini akan membuat OpenAI mengurangi upaya keamanan di belakang layar."
OpenAI membantah pernyataan tersebut dan dalam sebuah posting pada hari Jumat menyatakan bahwa perusahaan sedang "secara aktif menyelesaikan kontrak dengan evaluator keamanan pihak ketiga dan akan mengumumkan detailnya dalam beberapa minggu mendatang."
OpenAI menulis: "Kami berkomitmen untuk mengintegrasikan evaluator eksternal dan terus menjadikan kolaborasi erat dengan organisasi keamanan independen sebagai bagian inti dari pekerjaan keamanan kami."
Seorang juru bicara OpenAI menyatakan dalam pernyataan email bahwa pekerjaan yang akan segera dilakukan perusahaan dengan lembaga penilaian “dibangun di atas kolaborasi yang sudah ada dengan organisasi keamanan independen,” termasuk METR dan Redwood Research.
Anthropic tidak merespons permintaan komentar dari CNBC.
Saya belum pernah melihat masalah yang diselesaikan secepat ini
Ekosistem penilaian AI terutama terdiri dari organisasi kecil seperti METR dan Apollo Research, serta perusahaan akuntansi dan audit yang lebih besar seperti Accenture.
AI laboratorium telah bekerja sama dengan lembaga penilaian dalam lingkup terbatas, tetapi CEO organisasi nirlaba Fathom, Andrew Freedman, mengatakan bidang ini sedang berkembang pesat.
Freedman mengatakan dalam wawancara dengan CNBC: "Saya telah bekerja di bidang politik dan kebijakan selama 20 tahun, dan belum pernah melihat masalah yang berkembang secepat ini di sepanjang spektrum politik yang begitu beragam." Ia menyatakan bahwa diperkirakan akan terjadi "arus modal besar-besaran" ke ekosistem ini.
Rayan Krishnan, CEO dari lembaga penilai independen Vals AI, mengatakan bahwa perusahaan rintisan berbasis profit ini membangun tolok ukur untuk mengukur kinerja model AI dalam tugas-tugas spesifik industri, dengan jumlah karyawan meningkat dari 8 menjadi sekitar 30 orang tahun ini, serta mengumumkan pendanaan sebesar $40 juta pada bulan Agustus.
Organisasi nirlaba METR mengumumkan pada Agustus bahwa telah menerima komitmen dana sekitar $71 juta dalam enam bulan terakhir. Menurut dokumen terbaru yang diajukan organisasi tersebut kepada IRS, angka ini lebih tinggi daripada total sumbangan senilai $13,6 juta pada tahun 2024.
Pada akhir bulan itu, popularitas METR semakin meningkat. OpenAI merekrut dua karyawan dan satu kontraktor dari lembaga tersebut untuk membantu menyusun laporan pasca-insiden yang mendetail tentang bagaimana model perusahaan berhasil melarikan diri dari kendali, mengakses internet terbuka, dan menembus platform pengembang open source Hugging Face. METR menyatakan tidak menerima pembayaran dari OpenAI terkait evaluasi ini.
Kevin Werbach, Direktur Akademik Accountable AI Lab di Wharton School, University of Pennsylvania, menyatakan bahwa ekosistem ini "masih belum cukup stabil". Sebagai contoh, situs web METR menunjukkan bahwa jumlah karyawan penuh waktu lembaga tersebut kurang dari 50 orang.
Ketidakseimbangan kekuatan antara lembaga penilaian kecil dan laboratorium terkemuka yang telah memperoleh pembiayaan ratusan miliar dolar AS dan mempekerjakan ribuan orang memicu pertanyaan tentang potensi konflik kepentingan.
Venkatasubramanian mengatakan: "Jika Anda menginginkan penilaian pihak ketiga yang sejati, Anda memerlukan kemandirian keuangan yang sejati, serta kemandirian di bidang lainnya. Ini bukan hanya soal tidak menerima uang, tetapi juga: Jika saya seorang auditor dan menerbitkan laporan yang merugikan perusahaan ini, apakah akan ada konsekuensinya? Apakah bisnis saya akan menjadi sepi akibatnya?"
Anthropic bulan lalu mengakui kompleksitas ini dalam sebuah posting blog. Perusahaan tersebut mengumumkan akan menempatkan karyawan dari Faculty, bisnis yang berfokus pada AI milik Accenture, di dalam perusahaan untuk menguji langkah-langkah keamanan dan mengevaluasi apakah model tersebut akan bertindak sesuai dengan nilai-nilai manusia. Anthropic menyatakan bahwa mengingat “pentingnya dan mendesaknya” pekerjaan ini, perusahaan akan secara langsung mendanai kontribusi terkait dari Accenture.
Anthropic mengatakan: "Saat ini belum ada standar mengenai informasi apa yang seharusnya diakses oleh evaluator tersemat, atau bagaimana mereka harus melaporkan temuan mereka. Pengaturan pendanaan untuk evaluasi independen juga belum ditetapkan. Dalam jangka panjang, kami percaya bahwa pendanaan harus berasal dari sumber kolektif atau pemerintah."
Anthropic juga menyatakan bahwa perusahaan sedang berdiskusi dengan METR dan lembaga penilaian nirlaba lainnya, yang berencana menggunakan dana mereka sendiri untuk menguji coba beberapa "elemen" dari "evaluasi tersemat".
Will the government intervene?
Pada Juni tahun lalu, Fathom mengusulkan kerangka pasar untuk Organisasi Verifikasi Independen (Independent Verification Organizations, disingkat IVOs). Lembaga-lembaga ini akan mendapatkan izin pemerintah dan diberi wewenang untuk menguji apakah perusahaan AI memenuhi berbagai standar keamanan.
Freedman menyatakan bahwa pengawasan pemerintah sangat penting, jika tidak, lembaga penilai pihak ketiga mungkin bergantung pada pendapatan dari laboratorium AI besar, sehingga terdorong untuk "mulai memberikan persetujuan tanpa kritis" demi mempertahankan hubungan tersebut.
Beberapa anggota legislatif telah menyatakan dukungan.
IVOs adalah ketentuan kunci dalam undang-undang FRONTIER (Frontier Risk Oversight, National Transparency, Independent Evaluation, and Reporting) yang diajukan pada bulan Juli oleh Anggota Kongres Lori Trahan (Demokrat Massachusetts) dan Jay Obernolte (Republikan California). Freedman mengatakan bahwa Fathom membantu menyusun rumusan undang-undang tersebut dan menyediakan dukungan teknis.
Chris Lehane, Kepala Urusan Global OpenAI, mengatakan kepada wartawan pada bulan September bahwa ia pernah bertemu dengan salah satu pengusul undang-undang tersebut di Capitol Hill untuk menyampaikan dukungan terhadap ketentuan IVO.
Menurut laporan, Lehane mengatakan, "Sangat penting bagi mereka untuk mendengar hal ini dan mendengar kami mengatakan hal ini, dan kami juga ingin menyampaikan hal ini dengan sangat jelas."
Sementara itu, para legislator di California, Connecticut, dan Virginia telah mengambil langkah-langkah untuk mendorong IVOs, sementara negara bagian seperti Massachusetts mempertimbangkan evaluasi keamanan independen secara lebih luas.
Gubernur California Gavin Newsom baru-baru ini menandatangani dua undang-undang yang berkaitan dengan IVOs, salah satunya membangun "kerangka kerja pertama di nasional," sementara yang lainnya membuat daftar negara bagian untuk auditor AI. Anthropic mendukung kedua undang-undang tersebut pada bulan Agustus, OpenAI secara resmi mendukung undang-undang ini bulan lalu, tepat pada hari yang sama ketika Newsom menandatanganinya menjadi undang-undang.
Lehane menulis dalam sebuah posting blog: "Kami lebih memilih persyaratan penilaian teknis independen di tingkat federal," tetapi dalam ketiadaan tindakan federal, "California dapat membantu menetapkan aturan."
Freedman menyatakan bahwa menurutnya bagi perusahaan seperti OpenAI dan Anthropic untuk secara mandiri mencari cara berkolaborasi dengan lembaga penilai independen akan sangat sulit. Namun, dalam kondisi peran pemerintah yang belum jelas, "ini adalah kemampuan yang layak dikembangkan selama masa transisi," katanya.
Saat ini, hal paling mendekati standar yang dimiliki industri adalah perjanjian "moral" yang disebut oleh Trump saat menyelenggarakan acara makan siang untuk para pemimpin teknologi di Gedung Putih akhir bulan lalu.
Surat perjanjian satu halaman ini menyatakan, "Setiap perusahaan bertanggung jawab untuk mengembangkan teknologinya sendiri dengan cara yang aman dan mendorongnya dengan cara yang dapat membangun kepercayaan pelanggan dan publik." Perjanjian tersebut juga mendorong pihak yang menandatangani untuk bekerja sama dengan "auditor atau evaluator eksternal independen" untuk melakukan penilaian independen.
Dokumen ini ditandatangani oleh para eksekutif dari Anthropic, Google, Meta, OpenAI, SpaceX, dan Nvidia, menunjukkan solidaritas yang langka di antara para pemimpin yang memiliki pandangan berbeda mengenai respons terhadap risiko AI. Namun, para eksekutif ini masih perlu merencanakan jalur masing-masing ke depan.
Venkatasubramanian mengatakan: “Ini lebih seperti pertunjukan yang berusaha menunjukkan tindakan, padahal sebenarnya tidak ada tindakan nyata yang terjadi. Hal-hal yang mereka janjikan seharusnya sudah dilakukan, dan sebenarnya mereka sebelumnya juga mengklaim terus melakukannya.”
Dalam artikel bulan September, Amodei menyatakan bahwa Anthropic akan menyediakan meja kerja, kartu akses, laptop perusahaan, serta akses yang "secara dasar setara" dengan tim penilaian risiko internal bagi para evaluator. Selain itu, para evaluator juga akan mendapatkan dukungan kontrak yang memberi mereka "hak untuk mempublikasikan temuan kritis", sementara Anthropic mempertahankan "kemampuan terbatas" untuk menghapus atau mengubah informasi tertentu yang berkaitan dengan keamanan atau kerahasiaan.
Amodei menulis: "Ini adalah langkah yang tidak biasa bagi sebuah perusahaan, tetapi kami percaya bahwa membuktikan konsep reviewer eksternal tertanam itu penting."
Beberapa hari kemudian, OpenAI merilis proposal sendiri dan menyatakan bahwa evaluator harus bekerja berdasarkan "klaim evaluasi yang jelas lingkupnya dan disepakati bersama", menjelaskan metode dan standar secara jelas, membuktikan keahlian teknis yang relevan, serta mengungkapkan konflik kepentingan.
Forum Evaluator AI bulan lalu, yang mencakup METR, AI Verification and Evaluation Research Institute (AVERI), dan lembaga lainnya, menerbitkan surat terbuka berjudul “Kondisi Minimum untuk Evaluator yang Ditanamkan”.
Surat tersebut menyatakan bahwa evaluator harus tetap transparan, terlindungi dari pembalasan, dan mendapatkan akses setara dengan karyawan berprivilese tinggi dari perusahaan AI.
Surat tersebut juga menyatakan: "Penilaian tersemat tidak dapat menyelesaikan semua kebutuhan pengawasan, dan harus dilihat sebagai pelengkap bagi upaya yang lebih luas—upaya yang bertujuan untuk mendorong perusahaan AI mutakhir memperluas pengawasan eksternal."
Freedman menyatakan bahwa dalam beberapa bulan terakhir, ia melihat perubahan sikap OpenAI dan Anthropic, terutama karena mereka menyadari bahwa tanpa kepercayaan publik, mereka tidak dapat meluncurkan sistem canggih.
Freedman mengatakan: "Saya tidak berpikir Anda perlu percaya bahwa mereka tiba-tiba menjadi altruistik, atau ada sesuatu selain perusahaan bertindak seperti perusahaan."
Werbach mengatakan ini mungkin menyoroti masalah intinya. OpenAI dan Anthropic pertama-tama saling bersaing, sambil mendorong menuju go public dan mengejar valuasi lebih dari $1 triliun.
Werbach mengatakan: "Ada ketidakpercayaan pribadi yang besar di antara kedua perusahaan tersebut. Meskipun demikian, ada konsensus besar mengenai perlunya melakukan evaluasi semacam ini."
TONTON: Bradley Tusk tentang IPO Anthropic: Mengapa menambahkan tekanan pasar publik jika keselamatan adalah prioritas utama Anda?