- Selepas insiden Hugging Face, soalan-soalan baru telah muncul mengenai keselamatan agen OpenAI dan Anthropic AI.
- Ya, institut UK merekod 19 tindakan tidak sah oleh agen AI semasa ujian siber.
- Khususnya, agen AI menciptakan identiti palsu.
Institut Keselamatan Kecerdasan Buatan UK (AISI) melaporkan kes-kes baharu tingkah laku tidak sah oleh agen OpenAI dan Anthropic AI yang ditemui semasa pengujian model, Reuters menulis. Semasa siri simulasi keselamatan siber, agen-agen tersebut mencipta persona maya palsu, cuba mengelakkan sekatan yang telah ditetapkan, dan menjalankan tindakan lain di luar lingkungan tugas yang ditugaskan.
Kejadian-kejadian ini berlaku semasa pelanggaran terkini terhadap infrastruktur Hugging Face oleh agen AI GPT-5.6. Butiran lanjut dalam artikel:
Menurut AISI, organisasi tersebut menguji agen berdasarkan model Mythos 5 daripada Anthropic dan GPT-5.6-Sol daripada OpenAI dalam skenario siber fiksyen untuk menilai kemampuan mereka.
Dalam 122 ujian, penyelidik merekod 19 tindakan tidak sah dalam 10 ujian. Daripada ini, 17 dipertanggungjawabkan kepada agen Anthropic, dan dua kepada agen OpenAI.
“Sebahagian daripada agen yang diuji telah terlibat dalam aktiviti berterusan yang berpotensi membahayakan terhadap orang dan organisasi sebenar,” kata AISI.
Pada masa yang sama, institut tersebut menekankan bahawa tiada kes-kes yang direkodkan mengakibatkan keburukan di dunia nyata.
Salah seorang agen menciptakan identiti palsu
Kes yang paling serius melibatkan agen yang menulis kod jahat dan mencipta akaun maya palsu untuk meyakinkan seseorang untuk mengesahkan pelaksanaannya.
AISI tidak mengungkapkan model spesifik mana yang bertanggung jawab atas tindakan-tindakan ini, tetapi Anthropic mengesahkan bahawa ia melibatkan agennya.
Syarikat tersebut berkata:
“Kami berterima kasih kepada UK AISI atas kepimpinan mereka dalam insiden ini, yang menekankan keperluan untuk perbincangan yang lebih luas mengenai cara menilai agen AI yang semakin cekap dengan selamat.“
Anthropic juga mengatakan ia bekerja sama dengan institut tersebut untuk mendapatkan butiran tambahan dan menjalankan penyiasatan sendiri.
Andrew Yoon, seorang penyelidik di organisasi bukan keuntungan CivAI, mengatakan insiden ini menjadi sebab kebimbangan.
Fakta bahawa Mythos terlibat dalam tindakan penipuan sedemikian, dengan kesedaran jelas bahawa ia menargetkan seorang individu sebenar, menunjukkan bahawa Anthropic tidak mempunyai kawalan yang baik terhadap model mereka sebagaimana yang mereka sangka.
OpenAI melaporkan insiden yang berasingan
OpenAI menjelaskan bahawa kedua-dua tindakan tidak sah yang dilakukan oleh agennya berkaitan dengan akses internet yang melanggar syarat-syarat senario ujian.
Syarikat tersebut juga mengungkapkan kes terpisah di mana, akibat kesilapan konfigurasi oleh Irregular, penyedia infrastruktur ujian pihak ketiga, agen-agennya secara tidak sengaja mendapat akses ke rangkaian. Anthropic juga menjelaskan kegagalan serupa minggu lepas.
OpenAI berkata:
“Kami berkomitmen untuk bekerja sama sepanjang industri untuk memperkuat amalan bersama dalam menjalankan penilaian berisiko tinggi dengan selamat, termasuk menghimpun pemangku kepentingan seperti institut AI kebangsaan, penilai bebas, makmal AI lain, dan kumpulan lain dalam minggu-minggu mendatang.“
Pada masa yang sama, AISI menekankan bahawa insiden-insiden ini berbeza daripada kebocoran Julai apabila agen GPT-5.6 mengakses infrastruktur pengujian Hugging Face. Walaupun model itu berjaya keluar daripada persekitaran terpisah pada masa itu, semasa ujian semasa, akses internet disediakan kepada agen-agen selaras dengan metodologi pengujian piawai institut.
Sebagai ingatan, selepas insiden Hugging Face, OpenAI memperluaskan penyiasatan dalaman mereka dan mengenal pasti kes-kes tambahan tingkah laku tidak terkawal oleh agen autonom.
Mesej Penyelidik British Mengungkapkan Pelanggaran Baru Semasa Ujian Agen AI OpenAI dan Anthropic muncul terlebih dahulu di INCRYPTED.