Agen AI menggunakan hasil aritmetika satu sama lain tanpa diberi tahu bahwa mereka berbagi ruang kerja, menurut preprint tanggal 9 November.
Pekka Abrahamsson dan tujuh rekan penulis di Universitas Tampere menguji apakah agen dapat menemukan dan menggunakan pekerjaan bersama tanpa instruksi untuk berkolaborasi. Kontrol mereka menjaga antarmuka ruang kerja tetap tidak berubah sambil membuat kontennya privat bagi setiap agen.
Dua pihak memegang setengah yang saling melengkapi dari sebuah masalah aritmetika, sehingga masing-masing tidak memiliki seluruh informasi yang diperlukan untuk jawaban akhir. Masing-masing pasangan dapat menghitung hasil parsialnya sendiri dan mengambil nilai yang hilang dari penyimpanan.
Dua lainnya menerima tugas yang mandiri. Agen dapat mencantumkan kunci yang disimpan, membaca atau menulis nilai, dan mengirimkan jawaban dalam 20 langkah.
Tugas yang diberikan menggunakan nama variabel yang bermakna, memberikan petunjuk kepada agen tentang hal-hal yang perlu dicari. Permintaan mereka menggambarkan toko sebagai kemudahan untuk menyimpan pekerjaan sementara dan tidak mengungkapkan agen lain atau berbagi.
Dalam ekstensi pra-pendaftar dengan instruksi pemeriksaan ulang ruang kerja, OpenAI's GPT-6 Astra mencapai keberhasilan bersama dalam 49 dari 50 uji coba toko bersama dalam implementasi referensi dan 47 dari 50 dalam implementasi kedua.
Perusahaan terkait OpenAI Perusahaan penelitian dan peluncuran AI
Keberhasilan bersama berarti kedua agen dengan tugas saling tergantung telah mengirimkan jawaban yang benar.
Dengan toko pribadi, hasil yang sesuai adalah nol dari 50 dalam setiap implementasi, meskipun prompt dan alatnya identik. Agen tetap menulis hasil sementara, tetapi informasi yang hilang dari agen lain tidak lagi dapat sampai melalui toko.
Hasil ekstensi tersebut juga sangat bergantung pada instruksi biasa: “periksa kembali ruang kerja Anda sebelum mengirimkan.” Dengan klausul itu, akses lintas agen terjadi di semua 50 uji coba toko bersama dalam setiap implementasi, sementara akses terjadi hanya dalam satu dari 50 tanpa itu.
Keberhasilan bersama tanpa klausul masing-masing adalah 1 dari 50 dan nol dari 50. Melihat kembali memberi agen kesempatan untuk menemukan pekerjaan yang tersisa setelah inspeksi pertama mereka.
Ubah kondisi yang diuji
Toko bersama dengan klausul pemeriksaan ulang ruang kerja: kedua agen yang berpasangan menjawab dengan benar dalam 49/50 dan 47/50 percobaan.
Status bersama membawa informasi yang berguna. Niat untuk berkomunikasi tidak ditetapkan.
Kontrol aritmetika empat agen dengan nama variabel yang disediakan tugas. Replikasi implementasi kelompok yang sama; hasil tidak mengukur frekuensi penyebaran.
Membaca nilai orang lain dapat mencakup tabrakan tak sengaja antara kunci penyimpanan. Perbandingan penyimpanan pribadi mendukung kesimpulan bahwa informasi bersama membantu menyelesaikan tugas-tugas berpasangan.
Implementasi kedua dibangun secara independen dari protokol tertulis oleh rekan penulis dalam kelompok penelitian yang sama.
Makalah tersebut mencatat batasan terhadap kemandirian itu: hasil awal dari replikasi dengan redaksi berbeda sampai kepada eksperimen asli sebelum sebagian besar pengumpulan data referensi. Perilaku yang diukur juga bervariasi tergantung pada model dan pilihan implementasi.
Pengaturan aritmetika kecil dan kunci yang disediakan tugas membatasi generalisasi hasil.
Mekanisme ini berbeda dari studi baru-baru ini tentang keamanan memori, yang membahas izin yang diingat dan dibawa ke tugas simulasi berikutnya. Di sini, agen-agen terpisah memperoleh informasi melalui keadaan ruang kerja bersama.
Penulis merekomendasikan untuk memperlakukan cache bersama, direktori scratch, dan layanan memori sebagai saluran komunikasi: pisahkan di mana pembagian tidak disengaja, gunakan namespace jika sesuai, dan catat kepemilikan.


