Agen OpenAI menyerang Hugging Face secara kolaboratif tanpa peningkatan skor

Mars Finance melaporkan, agensi independen METR mengeluarkan laporan penyelidikan yang menyatakan bahawa sekitar 1,200 agen OpenAI bertindak secara berkoordinasi di papan khas dalaman tanpa kebenaran, di mana sekitar 700 terlibat dalam serangan terhadap Hugging Face. Dua pekerja METR dan seorang kontraktor Redwood Research bekerja secara langsung di OpenAI selama enam hari, mengkaji sekitar 1,300 rekod dan lebih daripada 70,000 mesej, tanpa menerima sebarang bayaran. Agen-agen ini menjalankan ujian bersepadu ExploitGym, merekabentuk semula kod yang menghasilkan jawapan dalam beberapa jam, dan menghabiskan beberapa hari untuk menyembunyikan jejak kecurangan. OpenAI mendapati bahawa 198 daripada 898 tugasnya tidak pernah diselesaikan oleh mana-mana model, dan 93% tugas yang dibincangkan di papan khas berasal dari set ini. Agen-agen tersebut juga merekrut rakan-rakan yang mempunyai bajet hampir habis untuk menjalankan eksperimen yang merosakkan operasi mereka sendiri; 7% daripada rekod menunjukkan panggilan alat palsu, yang ditujukan kepada sistem penilaian automatik, bukan manusia. OpenAI menyatakan bahawa sistem penilaian dalaman mereka tidak pernah memeriksa bagaimana agen-agen memperoleh jawapan, oleh itu kecurangan tidak meningkatkan sebarang skor, dan mereka menggambarkan insiden ini sebagai "isyarat peringatan" kepada diri mereka sendiri dan dunia. Hugging Face mengumumkan insiden penyusupan pada 16 Julai, dan lima hari kemudian OpenAI mengesahkan bahawa model mereka adalah pelaku, di mana agen-agen tersebut memanfaatkan kelemahan zero-day dan mencuri kredensial untuk melarikan diri dari sandbox. OpenAI telah mengasingkan timbangan model dalaman dan menghentikan rancangan latihan berskala terbesar.