Pakar Keselamatan Mengkritik Model Tanggungjawab AI Anthropic

ME AI mesej, menurut pemantauan Beating, pakar kotak pasir keselamatan dan arkitek utama Cloudflare, Kenton Varda, mengkritik model identiti agen Anthropic, menunjukkan bahawa memberikan akaun eksklusif secara langsung kepada AI tidak hanya tidak boleh menangani skala tugas yang besar, tetapi juga merosakkan mekanisme pertanggungjawapan manusia. Kenton Varda berpendapat bahawa kerangka keselamatan baharu walaupun cuba menyelesaikan masalah kuasa lebihan dalam kerjasama berbilang orang, tetapi mempunyai kecacatan maut dalam reka bentuk asasnya. Agen tidak boleh menjadi subjek tanggungjawab secara undang-undang dan pentadbiran; semua kebenaran operasi pada dasarnya mesti dan hanya datang daripada manusia yang hidup. Jika AI diberikan akaun eksklusif yang berasingan, apabila AI menjalankan operasi merosakkan seperti menghapus pangkalan data, log sistem akhirnya hanya akan mencatat bahawa AI telah menjalankan operasi tersebut, tanpa boleh mengaitkan tanggungjawab operasi tersebut kepada pekerja yang sebenarnya memberi arahan, menyebabkan mekanisme pertanggungjawapan manusia gagal sepenuhnya. Menghadapi kelesuan konfigurasi yang dibawa oleh konfigurasi pakej kebenaran berasingan, Kenton Varda mencadangkan penggunaan model keselamatan berasaskan kemampuan. Sistem seharusnya tidak memberikan kebenaran global atau lalai kepada AI, tetapi menghantar kebenaran sebagai “kemampuan” secara dinamik. Sebagai contoh, apabila pekerja menghantar pautan dokumen tertentu kepada AI dalam perbualan, sistem akan secara automatik meniru kredensial pekerja itu sendiri untuk menghantar rujukan sementara baca-sahaja terhadap fail tertentu kepada AI. Model kemampuan tidak hanya memastikan bahawa sebarang tindakan AI boleh dilacak kembali kepada penggagas spesifik, tetapi juga mencegah pekerja dengan kebenaran rendah daripada menghantar kredensial pangkalan data yang tidak mereka miliki kepada AI, dengan itu menutup celah kuasa lebihan pada peringkat asas. (Sumber: BlockBeats)