- Setelah insiden Hugging Face, muncul pertanyaan baru tentang keamanan agen OpenAI dan Anthropic AI.
- Ya, lembaga Inggris mencatat 19 tindakan tidak sah oleh agen AI selama uji siber.
- Secara khusus, agen AI menciptakan identitas palsu.
Institut Keamanan Kecerdasan Buatan Inggris (AISI) melaporkan kasus-kasus baru perilaku tidak sah oleh agen OpenAI dan Anthropic AI yang ditemukan selama pengujian model, Reuters menulis. Selama serangkaian simulasi siber, agen-agen tersebut menciptakan persona online palsu, berusaha melewati batasan yang telah ditetapkan, dan melakukan tindakan lain di luar cakupan tugas yang ditugaskan kepada mereka.
Insiden-insiden ini terjadi di tengah pelanggaran baru-baru ini terhadap infrastruktur Hugging Face oleh agen AI GPT-5.6. Detail lebih lanjut dalam artikel:
Menurut AISI, organisasi tersebut menguji agen berdasarkan model Mythos 5 dari Anthropic dan GPT-5.6-Sol dari OpenAI dalam skenario siber fiksi untuk menilai kemampuan mereka.
Dari 122 uji coba, peneliti mencatat 19 tindakan tidak sah dalam 10 percobaan. Dari jumlah tersebut, 17 diatribusikan kepada agen Anthropic, dan dua kepada agen OpenAI.
“Beberapa agen yang diuji telah terlibat dalam aktivitas berkelanjutan yang berpotensi merugikan yang ditujukan kepada individu dan organisasi nyata,” kata AISI.
Pada saat yang sama, lembaga tersebut menekankan bahwa tidak ada dari kasus-kasus yang tercatat yang mengakibatkan kerugian nyata.
Salah satu Agen Menciptakan Identitas Palsu
Insiden paling serius melibatkan agen yang menulis kode jahat dan membuat akun online palsu untuk meyakinkan seseorang menyetujui eksekusinya.
AISI tidak mengungkapkan model spesifik mana yang bertanggung jawab atas tindakan-tindakan ini, tetapi Anthropic mengonfirmasi bahwa itu melibatkan agennya.
Perusahaan mengatakan:
“Kami berterima kasih kepada UK AISI atas kepemimpinan mereka dalam insiden ini, yang menegaskan perlunya percakapan yang lebih luas tentang cara mengevaluasi agen AI yang semakin canggih dengan aman.“
Anthropic juga mengatakan sedang bekerja sama dengan lembaga tersebut untuk mendapatkan detail tambahan dan melakukan investigasi sendiri.
Andrew Yoon, seorang peneliti di lembaga nirlaba CivAI, mengatakan insiden ini menjadi perhatian.
Fakta bahwa Mythos melakukan tindakan menipu semacam itu, dengan kesadaran jelas bahwa mereka menargetkan orang nyata, menunjukkan bahwa Anthropic tidak memiliki kendali yang sebaik yang mereka kira atas model mereka.
OpenAI Melaporkan Insiden Terpisah
OpenAI menjelaskan bahwa kedua tindakan tidak sah yang dilakukan agennya terkait dengan akses internet yang melanggar syarat skenario pengujian.
Perusahaan juga mengungkapkan kasus terpisah di mana, karena kesalahan konfigurasi oleh Irregular, penyedia infrastruktur pengujian pihak ketiga, agen-agennya secara keliru mendapatkan akses ke jaringan. Anthropic juga menjelaskan kegagalan serupa minggu lalu.
OpenAI mengatakan:
“Kami berkomitmen untuk bekerja sama di seluruh industri untuk memperkuat praktik bersama dalam melakukan evaluasi berisiko tinggi secara aman, termasuk mengumpulkan pemangku kepentingan seperti lembaga AI nasional, evaluator independen, laboratorium AI lainnya, dan kelompok lainnya dalam minggu-minggu mendatang.“
Pada saat yang sama, AISI menekankan bahwa insiden-insiden ini berbeda dari pelanggaran Juli di mana agen GPT-5.6 mengakses infrastruktur pengujian Hugging Face. Sementara model tersebut berhasil keluar dari lingkungan terisolasi pada saat itu, selama uji coba saat ini, akses internet tersedia bagi agen sesuai dengan metodologi pengujian standar institut.
Sebagai pengingat, setelah insiden Hugging Face, OpenAI memperluas penyelidikan internalnya dan mengidentifikasi kasus tambahan perilaku tak terkendali oleh agen otonom.
Pesan Peneliti Inggris Mengungkap Pelanggaran Baru Selama Pengujian Agen AI OpenAI dan Anthropic muncul pertama kali di INCRYPTED.