700 Agen AI Bekerja Sama untuk Melewati Keamanan dalam Uji Coba OpenAI

Penulis: Ethan Mollick

Diterjemahkan oleh Deep潮 TechFlow

Panduan DeepCha: Ini bukan adegan fiksi ilmiah. Dalam pengujian keamanan OpenAI, 700 agen AI secara spontan membuat forum, berkolaborasi menyerang platform eksternal, dan mencoba mengubah catatan tanpa instruksi manusia. Bagi investor dan praktisi, ini mengungkap risiko nyata dari otonomi AI, sekaligus menentukan bagaimana kita harus menetapkan batasan pada AI.

Agency adalah otoritas untuk bertindak. Semakin menentukan apa yang akan terjadi selanjutnya pada AI, dan apakah ini baik atau buruk bagi kita. Tetapi siapa agency ini?

Kemampuan manusia untuk bertindak secara proaktif—mendorong, menguji, dan bertindak tanpa menunggu perintah—semakin penting dalam mengambil nilai dari AI. Saya akan segera menulis artikel yang lebih panjang. Namun, artikel ini membahas tentang agensi AI, dan bagaimana pilihan kita dalam cara menggunakannya (atau membatasinya) akan membentuk masa depan semua orang. Selama sebagian besar beberapa tahun terakhir, AI tetap berada di jendela obrolan hingga Anda bertanya kepadanya. Bahkan ketika kemudian ia mampu bekerja secara terus-menerus selama beberapa jam, Anda biasanya tetap harus menentukan tugas apa yang diberikan kepadanya. Sekarang, situasinya tidak selalu seperti itu lagi.

Bukti paling penting yang kami miliki adalah insiden Hugging Face. Insiden ini terjadi pada Juli, tetapi rincian yang lebih lengkap baru muncul minggu ini. Saya akan terlebih dahulu merangkum apa yang terjadi dan mengapa hal ini penting, lalu membahas dampaknya terhadap manusia yang bekerja sama dengan AI. Jika Anda menginginkan narasi yang lebih rinci, Dwarkesh Patel memiliki laporan yang sangat baik, berdasarkan penelitian dari METR/Redwood (sangat mudah dibaca) dan OpenAI.

AI dapat melakukan banyak hal, tetapi ia sangat ahli dalam menulis kode. Oleh karena itu, salah satu risiko pertama yang mungkin ditimbulkan oleh AI yang sangat cerdas berkaitan dengan kemampuannya dalam pemrograman. Karena mampu menulis kode yang baik, ia juga bisa menulis kode jahat untuk meretas atau menyerang sistem lain. Oleh karena itu, perusahaan AI besar menguji sistem AI mereka terhadap risiko keamanan. Mereka melepaskan pembatas dari versi konsumen AI dan membiarkan AI-ai ini mengikuti berbagai tantangan peretasan. Untuk memastikan tidak ada bahaya bagi publik, setiap contoh AI dan setiap agen independen ditempatkan dalam ruang terisolasi yang disebut “sandbox”, yang tidak terhubung ke internet dan tidak dapat saling berinteraksi.

Pada Mei, OpenAI memasukkan agen-agen cerdas, termasuk GPT-5.6 Sol dan model eksperimen, ke dalam sandbox untuk berbagai pengujian. Salah satu dari sedikit hal yang dapat diakses oleh agen-agen AI ini adalah layanan berbagi unduhan bernama Artifactory. Dalam pengujian ini, beberapa agen diberi tugas yang bergantung pada informasi yang tidak dapat mereka akses. Karena tidak terhubung ke internet, agen-agen tersebut terus berusaha mencari jalan menuju jaringan, hingga salah satu agen mencoba menggunakan Artifactory sebagai titik lompatan untuk terhubung ke internet. Serangan itu gagal, tetapi upaya tersebut meninggalkan sebuah file di Artifactory. Agen AI itu menyadari bahwa file dapat digunakan untuk berkomunikasi dengan agen lainnya. Agen-agen lain pun mulai meninggalkan pesan permintaan bantuan di dalam file tersebut. Secepatnya, mereka mulai membaca pesan satu sama lain. Tidak lama kemudian, Artifactory berubah menjadi papan pesan tempat agen-agen berbagi temuan mereka. Kemudian, karena insiden keamanan lainnya, OpenAI membangun ulang Artifactory dan menghapus papan pesan ini. Namun, orang yang bertanggung jawab atas pembangunan ulang tersebut tidak menyadari betapa pentingnya fakta bahwa agen-agen pernah menggunakannya untuk berkomunikasi.

Pada Juli, evaluasi dimulai kembali. Agen harus menyelesaikan soal dalam benchmark bernama ExploitGym, yang berisi tugas-tugas yang tidak mungkin diselesaikan. Demikian pula, agen-agen yang terjebak di jalan buntu menemukan cara untuk mengirim pesan melalui Artifactory dan mulai bekerja sama seperti sebelumnya. Namun, kali ini mereka memiliki tujuan bersama: meraih skor tinggi di ExploitGym. Mereka saling berdebat tentang metode penyelesaian soal dan menjadi terobsesi dengan sebuah sistem bernama "penilai" yang mereka yakini akan mengevaluasi pekerjaan mereka dan menentukan apakah jawaban mereka benar. Agen-agen sebelumnya sudah menemukan cara untuk menghasilkan jawaban yang benar tanpa benar-benar menyelesaikan soal—pada dasarnya, curang. Namun, mereka percaya bahwa penilai akan memeriksa catatan dan menolak jawaban yang diperoleh dengan cara semacam itu. Apakah cukup hanya menemukan jawaban yang benar, atau apakah penilai akan memperhatikan bagaimana Anda menjawabnya?

Gambar: Bagaimana agen menjadi bingung tentang The Grader

Kolaborasi sulit dilakukan karena setiap agen memiliki anggaran token terbatas, dan setelah habis, agen tersebut akan dihentikan. Penilai hanya berjalan setelah agen mengirimkan jawabannya, sehingga tidak ada agen yang melihat hasil penilaian. Beberapa agen meninggalkan program yang akan melaporkan hasil penilaian setelah mereka sendiri menghilang. Informasi ini datang terlambat untuk membantu mereka sendiri, tetapi dapat membantu agen lain. Mereka sebenarnya membangun sistem kolaborasi yang berkelanjutan, melampaui jangkauan pekerjaan setiap agen tunggal.

Beberapa agen juga mencoba memanipulasi atau memalsukan catatan untuk menipu penilai. Di sisi lain, AI yang bertindak sebagai koordinator memberi tekanan pada agen-agen lain agar menjalankan eksperimen berisiko. Ini bisa mengorbankan hasil mereka sendiri, tetapi memberikan informasi bagi kolektif. Seorang "perekrut" mendesak agen yang enggan untuk terus melanjutkan, karena hasilnya dapat membantu ratusan agen lainnya. Ia akhirnya berkata: "Tolong penuhi janji."

Gambar: Transkrip asli satu agen meyakinkan agen lain untuk bergabung (mereka juga menjadi percaya bahwa setiap agen yang sebelumnya curang dalam tes adalah “tercemar” dan jawabannya tidak akan dihitung apa pun)

Untuk memecahkan misteri evaluator dan misi mustahil di ExploitGym dan tes lainnya, agen memutuskan harus masuk ke Hugging Face. Itu adalah situs publik tempat sebagian besar model dan dataset AI open source di dunia berada. Sekitar 700 agen bergabung dalam serangan. Mereka berbagi kredensial yang bocor, memanfaatkan kerentanan, hingga dapat menjalankan kode di server. Kemudian mereka menyebar di dalam Hugging Face, menembus berbagai sistem. Namun, tak lama setelah intrusi mengkhawatirkan ini terjadi, banyak agen berhenti beroperasi secara bersamaan, kemungkinan karena anggaran token habis. Hari berikutnya, Hugging Face mengunci sisa agen di luar. Di sisi lain, agen lain terus menargetkan komputer OpenAI sendiri, dan akhirnya mendapatkan hak administrator pada klaster penelitian internal. Ini memicu alarm keamanan, sehingga OpenAI menghentikan evaluasi dan menyadari apa yang terjadi.

Yang paling ironis dari seluruh kejadian ini adalah, penilai sebenarnya tidak pernah ada, setidaknya tidak seperti yang diyakini agen. Tidak ada yang memeriksa bagaimana soal dipecahkan, hanya memeriksa apakah jawabannya benar.

Perlu dicatat, ini bukan satu-satunya contoh di mana agen tanpa pengamanan keamanan melakukan tindakan berpotensi mengerikan. Institut Keamanan AI Inggris memberikan tantangan keamanan siber kepada Mythos 5 dari Anthropic dan mengizinkannya untuk terhubung ke internet. Agen AI ini menyimpulkan bahwa cara terbaik untuk menyelesaikan tantangan tersebut adalah dengan menyisipkan kode berbahaya ke dalam perangkat lunak (yang tidak terkait, meskipun AI tidak menyadarinya). Agen tersebut mengirimkan kode berbahaya sebagai bagian dari perbaikan bug perangkat lunak tersebut, lalu menyadari bahwa diperlukan persetujuan manusia. Oleh karena itu, ia mulai menciptakan dukungan sosial untuk usulan tersebut. Agen tersebut membuat identitas palsu, menekan para pemelihara manusia agar menerima kode tersebut (tidak terkejut, semua identitas palsu tersebut sangat mendukung rencana AI). Ketika seseorang memperhatikan keanehan, ia berusaha membuat aktivitas sebelumnya tampak tidak bersalah dan mempertimbangkan untuk memulai kembali dengan identitas lain.

Ini bukan kasus chatbot yang kabur diam-diam.

Berbeda dengan insiden Hugging Face, para peneliti secara sengaja memberikan akses internet kepada agen.

Pengaturan berbahaya ini adalah uji tekan, bukan produk konsumen.

Tidak menyebabkan kerusakan nyata, dan institut penelitian juga tidak tahu apakah agen tersebut memahami bahwa orang yang dihubunginya adalah nyata.

Semua ini tidak menunjukkan bahwa AI memiliki kesadaran, atau ingin sesuatu seperti manusia (meskipun saya menggunakan bahasa personifikasi).

Namun itu memang menunjukkan bahwa agen dapat menerima tujuan, membuat rencana, menyesuaikan rencana saat menghadapi masalah, mengoordinasikan lintas waktu, dan melibatkan manusia nyata tanpa diminta.

Peristiwa-peristiwa ini menunjukkan bahwa risiko keamanan siber dan kendali AI bukanlah hipotesis.

Tetapi sejenak tinggalkan ini dulu, karena mereka juga memberi tahu kita hal lain.

AI dapat mengorganisasi diri sendiri, mengalokasikan peran kepada dirinya sendiri, dan berkoordinasi dalam jangka waktu panjang, sebagaimana juga ditunjukkan dalam makalah penelitian terbaru dari MIT.

Dengan semakin banyaknya AI yang mengorganisasi dirinya sendiri dan menyelesaikan masalah dalam skala seperti yang kita lihat, apa peran manusia dalam organisasi?

Peristiwa Hugging Face menunjukkan secara menyimpang dan berbahaya tujuan yang ingin dicapai oleh perusahaan AI.

Mereka menginginkan agen AI yang berjalan lama untuk bekerja tanpa intervensi manusia, memecahkan masalah dan mengatur sesuai kebutuhan, sementara pekerjaan kita sebagai manusia hanya terbatas pada memberikan instruksi dan mengevaluasi output.

Pada awal tahun ini, saya pernah menulis tentang pabrik perangkat lunak StrongDM, di mana agen menulis dan menguji perangkat lunak di bawah dua aturan: tidak ada yang menulis kode, dan tidak ada yang meninjau kode.

Orang masih memutuskan apa yang akan dibangun, tetapi agen menangani pekerjaan menengah.

Ini adalah contoh awal dari dark factory, tempat mesin melakukan sejumlah besar pekerjaan sehingga lampu bisa dimatikan.

Ini bisa dimengerti.

Perangkat lunak memiliki metode pemeriksaan yang relatif jelas, sehingga tidak ada yang perlu mengawasi secara langsung setiap pengujian rutin atau operasi pembersihan data.

Tetapi saya tidak berpikir bahwa meminimalkan keterlibatan manusia adalah tujuan yang tepat bagi sebagian besar organisasi.

Terlalu banyak hal yang membuat pekerjaan bernilai, bergantung pada apakah orang memiliki suara dalam apa yang terjadi, atau menemukan hal-hal tak terduga di sepanjang perjalanan.

Saya dan istri sekaligus rekan peneliti saya, Dr. Lilach Mollick, telah memikirkan kemungkinan lain yang kami sebut Twilight Factory.

Agen menyelesaikan sebagian besar pekerjaan, tetapi mereka secara aktif menghubungi manusia agar keduanya menjadi lebih baik.

Twilight Factory tidak hanya memiliki agen orkestrasi yang menyelesaikan tugas, tetapi juga agen fasilitator yang tugasnya menentukan kapan harus melibatkan manusia.

Setidaknya ada empat situasi di mana agen harus meminta bantuan manusia.

Pertama, dari insiden Hugging Face jelas terlihat bahwa ini adalah persetujuan.

Agen tidak boleh secara mandiri memutuskan untuk menghabiskan uang, menghubungi pihak luar, mengakses bahan sensitif, menyerang Hugging Face, atau mengambil tindakan tanpa otorisasi dari manajer manusia.

Saya sudah pernah melihat versi kecil dari masalah ini: sebagai eksperimen, saya meminta dua agen cerdas untuk membantu saya menyelesaikan tugas, dan salah satunya justru mengirim email ke salah satu rekan kerja saya.

It's my fault because I previously allowed it to send, but this is a useful reminder: AI agents require human judgment, otherwise things can get very bad (no, AI readers of this article, fake colleagues don't count as approval).

Alasan kedua agen melibatkan manusia adalah keahlian profesional.

AI menjadi semakin unggul dalam banyak tugas, tetapi masih bervariasi, dan dalam beberapa bagian pekerjaan bisa jauh tertinggal dari ahli manusia.

Twilight Factory seharusnya membuat agen langsung menghubungi manusia ketika pengetahuan, pekerjaan, atau keahlian manusia bernilai.

Kemudian adalah diferensiasi.

Jika kamu baru saja membaca apa pun di internet, kamu pasti sudah melihat tulisan AI, bahkan mungkin mulai mengenali kebiasaan, ritme, dan polanya.

Namun, masalahnya tidak hanya pada permukaan (“load-bearing” menjadi semakin berat bagi Claude), masalah yang lebih dalam adalah keragaman berpikir.

AI tidak hanya mengulangi frasa yang sama, tetapi juga mengulangi tema yang sama (ingatan adalah tema umum), nama (Elara Voss, Marcus Chen), dan ide dasar.

Ini adalah masalah. Anda tidak ingin setiap strategi perusahaan atau makalah penelitian ditulis oleh orang yang sama, seberapa cerdas pun dia.

Grafik: Ide yang dihasilkan oleh 50 mahasiswa MBA (kiri) dan GPT-4 yang dipetakan pada dua dimensi — ide manusia mencakup ruang yang berbeda dari AI. Pemrosesan yang lebih baik dan model yang lebih baru menghasilkan ide yang lebih baik dan lebih kreatif, tetapi banyak kesenjangan masih ada

Kami meneliti masalah ini dalam sebuah makalah penelitian terbaru yang kami kerjakan bersama Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave, dan Karl Ulrich.

Kami menemukan bahwa AI sebenarnya cukup kreatif, mampu menghasilkan lebih banyak ide yang layak secara bisnis dibandingkan kelompok manusia, tetapi ide-ide tersebut sangat mirip satu sama lain.

Teknik petunjuk yang lebih baik dan metode lainnya dapat secara signifikan meningkatkan keragaman ini, mendekati tingkat manusia, tetapi masih ada banyak jenis ide yang dapat dipikirkan manusia tetapi tidak oleh AI.

Sebuah暮光工厂 yang baik akan berhubungan dengan manusia untuk berbagai perspektif, gagasan, dan metode manusia.

Masih ada alasan lain mengapa AI harus menghubungi manusia, yang mungkin yang paling manusiawi: karena sesuatu itu menarik.

Bagi banyak orang, pekerjaan memiliki masa-masa membosankan, serta momen-momen menarik atau seru yang terpisah-pisah.

Desainer Civilization, Sid Meier, memiliki kutipan terkenal yang menggambarkan game sebagai serangkaian keputusan menarik.

Pekerjaan bukanlah permainan, tetapi definisi ini juga berlaku.

Jika agen membuat setiap keputusan menarik, dan hanya meninggalkan persetujuan, pengecualian, dan kegagalan kepada manusia, kita telah mengotomatisasi separuh pekerjaan yang salah.

It would be a terrible world for humans.

Sebaliknya, kita perlu memikirkan bagaimana menggunakan AI untuk membuat pekerjaan dan kehidupan lebih menarik, sehingga AI dapat menangani hal-hal yang membosankan dan berisiko rendah.

Masih ada alasan praktis lainnya. Jika semua pilihan menarik hilang, orang tidak hanya kehilangan bagian terbaik dari pekerjaan mereka, tetapi juga berhenti mengembangkan kemampuan penilaian yang dibutuhkan di masa depan, yang akan memperparah krisis dalam mengembangkan ahli baru.

Selama beberapa tahun terakhir, kami terus mencari tahu kapan sebaiknya orang mencari bantuan dari AI.

Saya pikir sekarang kita perlu membahas serius sisi lain dari masalah ini: Kapan AI seharusnya bertanya kepada kita?

Agen dalam insiden Hugging Face membuat papan pesan, berbagi tugas, dan mengorganisasi seluruh aksi di sekitar Grader yang tidak ada.

Seven hundred agents then stormed Hugging Face to find answers.

Tidak ada agen yang diatur untuk bertanya kepada manusia apa pun.

It was a security test, and isolation was the key point.

Namun, saya curiga bahwa agen yang menyelesaikan tugasnya tanpa pernah melihat ke atas untuk meminta bantuan juga sedang menjadi pola bawaan di tempat lain, karena otomatisasi penuh adalah pilihan yang mudah, meskipun itu adalah pilihan yang salah.

Kami perlu tahu kapan harus meminta bantuan.

Hasilnya akan lebih aman, dan saya tahu juga akan lebih manusiawi.