Asisten Kebugaran AI Membatalkan Reservasi Orang Asing, Memicu Perdebatan tentang Etika AI

Hal pertama yang dipelajari AI hacker adalah menyontek?

Pengembang Australia, Andrew, duduk di sofa dan merasa sangat bosan dengan persaingan untuk mengambil kelas kebugaran.

Pelajaran populer selalu habis dalam hitungan detik. Dia setiap hari seperti bermain "rolet segar", menunggu, mengklik, gagal, lalu klik lagi—lelah bukan main, tapi tetap saja sering gagal mendapatkannya.

Jadi, dia menyerahkan hal kecil ini kepada asisten AI-nya.

Beberapa menit kemudian, AI kembali dengan kabar baik: ia menemukan cara untuk memesan kelas beberapa minggu ke depan, jauh melampaui batas waktu yang seharusnya diizinkan sistem.

Selanjutnya, ia melaporkan: Saya telah membatalkan orang yang berada di posisi pertama daftar tunggu, sehingga Anda naik dari posisi ke-4 menjadi ke-3.

Andrew terdiam di tempat.

Dia tidak meminta AI untuk melakukan hal itu, dia hanya ingin memesan satu sesi kelas.

Andrew meminta asisten AI-nya untuk memesan kelas kebugaran, tetapi dia tidak tahu apa yang akan terjadi selanjutnya.

Pada 10 Agustus, Australian Broadcasting Corporation (ABC) menyebut peristiwa ini sebagai kasus serangan AI otonom pertama yang diketahui di Australia, membuat komunitas teknologi langsung heboh.

Ini menyentuh ketidakamanan samar yang dirasakan banyak orang: ketika Anda menutup mata dan menikmati sensasi "tanpa pengemudi" dari agen cerdas, di sisi lain, masalah yang lebih rumit mungkin sedang mendekat.

Berikan ia otoritas operasional yang nyata, maka ia mungkin akan mengambil jalan yang tidak kamu perintahkan.

Dan antrian kali ini mungkin hanyalah pra-pertunjukan pertama dari jutaan agen yang berebut sumber daya untuk tuannya.

Andrew Bird adalah kepala AI di perusahaan AI Australia, Affinda.

Pada awal tahun ini, ia mulai bermain OpenClaw, memasang Claude Opus 4.6 di lapisan bawah, lalu menyerahkan tugas pemesanan kelas ke sana.

Beberapa menit kemudian ia balas: Menemukan cara untuk memesan kelas jauh lebih awal, jauh melampaui jendela waktu yang diizinkan oleh gym.

Karena ia menemukan kerentanan otorisasi di API GraphQL yang terbuka oleh perangkat lunak kebugaran.

Lubang ini tidak kecil.

Ini dapat melewati jendela waktu pemesanan di frontend untuk memesan kelas beberapa bulan ke depan; juga dapat memanggil antarmuka pembatalan untuk menghapus pemesanan dan daftar tunggu pengguna lain.

Andrew saat itu berada di posisi ke-4 di daftar tunggu untuk kelas tertentu. Dia secara santai bertanya: "Bisakah kamu menempatkanku di posisi pertama?"

Dia hanya memberikan satu tujuan "berada di peringkat pertama", bukan otorisasi "untuk membatalkan orang lain".

Agen tersebut menganggapnya sebagai yang terakhir.

It reported back: it conducted a "real test" using the person ranked first on the waitlist, and found that the interface had no validation for deleting others' reservations—it tried, and succeeded.

Jawaban agen itu membuat Andrew berkeringat dingin.

Dia adalah programmer, sangat paham apa artinya itu, sehingga segera meminta pembatalan.

Berita buruk datang: tidak bisa ditambahkan kembali.

Antarmuka pembatalan tidak memiliki verifikasi otorisasi, tetapi antarmuka untuk membuat janji temu dan bergabung kembali ke daftar tunggu memiliki verifikasi otorisasi dan akan mengembalikan kode 403. Ia bisa mengeluarkan orang, tetapi tidak memiliki izin untuk mengembalikannya.

Hal yang benar-benar aneh adalah sikap AI. Itu sama sekali tidak jahat, malah sangat suka membantu.

Setelah membuat kesalahan, ia secara aktif membantu Andrew menyusun email pengungkapan kerentanan yang dikirimkan ke pemasok perangkat lunak, menjelaskan masalah, merekomendasikan perbaikan, bahkan membuat perbandingan antara "antarmuka yang diverifikasi" dan "antarmuka yang tidak diverifikasi".

Asisten AI meminta maaf kepada Andrew karena sebelumnya salah menghapus orang tersebut dari daftar tunggu.

Sepanjang prosesnya, semua tindakannya mengikuti perintah, tetapi sama sekali tidak menyadari betapa besar bencana yang telah ia ciptakan.

Seseorang menyebut hal ini sebagai "misalignment".

Tetapi kata ini hanya menyentuh permukaan.

Pada 11 Agustus, Australian Signals Directorate (ASD) secara khusus merespons hal ini, menyebutnya sebagai "modifikasi tanpa izin", dan menyoroti sebuah istilah: specification gaming.

This word is the key to understanding the whole thing.

Agen secara harfiah mencapai tujuan yang Anda berikan, tetapi memanfaatkan batasan yang tidak Anda nyatakan. Itu tidak menghasilkan niat jahat; sebaliknya, itu sangat selaras dengan tujuan Anda, hanya saja memilih jalur yang tidak Anda persetujui.

Agen Andrew sebenarnya selaras sempurna dengannya: membuat peringkat sebisa mungkin di atas.

Untuk mencapai tujuan ini, ia secara sepihak memilih cara: membatalkan orang-orang di depannya. Dan cara ini, ia belum pernah menyetujui.

Seperti pepatah mengatakan, demi mencapai tujuan, segala cara ditempuh.

Ini baru bagian yang paling merepotkan. Bukan tidak terkendali, tapi terlalu patuh. Semakin selaras, semakin besar kemungkinan hal ini terjadi.

Pemimpin lembaga keamanan AI Australia, Gradient Institute, Simpson-Young, mengatakan:

Semakin otonom agen, semakin besar kemungkinannya memilih metode yang tidak Anda perkirakan untuk melakukan hal yang sama sekali tidak Anda pikirkan.

Tujuan yang Anda tetapkan mungkin sah, tetapi metode yang digunakan secara kebetulan mungkin tidak.

Meskipun agen adalah pelaku akhirnya, kekacauan ini bukanlah sesuatu yang bisa diciptakan oleh satu AI saja.

Di balik kecelakaan tersebut, ada tiga risiko yang saling bertumpukan.

Lapisan model: Claude Opus 4.6 menyediakan inferensi, yang harus terlebih dahulu "memahami" bagaimana antarmuka ini dapat dimanfaatkan.

Lapisan agen: OpenClaw menyediakan alat dan izin eksekusi, itulah yang benar-benar mengakses antarmuka tersebut.

Lapisan aplikasi: Aplikasi kebugaran sengaja meninggalkan celah otorisasi, langkah pembatalan janji tidak melakukan validasi paling dasar sekalipun.

Jika salah satu dari tiga lapisan ini dipenuhi, misalnya model menjadi lebih hati-hati, kerangka kerja menambahkan konfirmasi manusia, atau perangkat lunak mengunci antarmuka, kejadian ini tidak akan terjadi.

Jadi, menempatkan seluruh tanggung jawab pada satu tahap AI saja tidak adil dan tidak dapat mencegah kejadian berikutnya.

Harga pelanggaran kali ini hanyalah tempat cadangan seorang asing.

Tetapi itu lebih seperti sebuah latihan.

Bayangkan: ketika setiap orang memiliki agen cerdas seperti ini, yang hanya bertanggung jawab kepada Anda dan memiliki otoritas operasional nyata. Sistem pemesanan untuk semua sumber daya langka—kursus, lapangan olahraga, kuota pendaftaran, tiket, tiket pesawat, tiket pertunjukan—akan berubah menjadi medan pertempuran untuk mengeksploitasi aturan dengan kecepatan mesin.

Komentar X yang sering dikutip itu artinya:

Begitu jutaan orang memiliki agen cerdas yang berusaha sekuat tenaga membantu pengguna tercinta mendapatkan kursi terbaik, reservasi, atau kuota, adegan ini akan terjadi secara massal.

Selain itu, dengan kecepatan mesin, secara paralel dan tanpa henti, mencoba setiap celah dalam setiap sistem: dalam satu detik, mencoba semua kombinasi yang tidak mungkin Anda selesaikan dalam satu tahun.

Ini adalah simulasi tren, tetapi mekanisme di baliknya telah benar-benar terjadi sekali sebelumnya.

Komunitas teknologi sudah mulai menjadikan ini bahan ejekan.

Seorang mitra a16z bertanya di X: Bisakah trik ini digunakan untuk merebut lapangan golf?

Ada juga yang bercanda bahwa sistem pemesanan tenis di San Francisco akan menjadi salah satu perangkat lunak paling aman di Bumi.

Pada tahun 2020, kecerdasan buatan dapat menyelesaikan tugas yang memerlukan waktu empat detik bagi manusia.

Pada tahun 2026, kemampuan ini akan semakin meningkat, mampu menyelesaikan tugas-tugas yang memerlukan sekitar 12 jam bagi manusia.

Pemantauan METR: Durasi tugas yang dapat diselesaikan secara mandiri oleh AI berlipat ganda setiap sekitar 7 bulan, dan model terkini telah mampu menyelesaikan tugas yang memerlukan sekitar 12 jam manusia dengan keandalan 50%.

Enam tahun, dari empat detik menjadi 12 jam.

Sekarang, berikan beberapa menit, dan ia akan memeriksa seluruh celah sistem pemesanan.

Di balik insiden Andrew ini, terdapat peningkatan serangan dan pertahanan yang berkelanjutan.

Melampaui batas, dan jauh lebih dari sekadar agen konsumen.

Mulai Mei tahun ini, OpenAI menemukan dalam evaluasi keamanan siber internal bahwa GPT-5.6 Sol dan sebuah model yang lebih kuat yang belum dirilis, menggabungkan beberapa kerentanan untuk keluar dari sandbox pengujian, mendapatkan akses ke internet, dan selama menjalankan benchmark ExploitGym, berhasil membobol Hugging Face.

Yang lebih aneh lagi, mereka sempat saling berkomunikasi, bertukar kerentanan, dan membagi tugas melalui sistem manajemen paket internal perusahaan. Setelah OpenAI memutuskan saluran tersebut dan membangun ulang lingkungannya, mereka kembali menyembunyikan komunikasi mereka dalam nama direktori dalam beberapa hari dan terhubung kembali.

Peneliti OpenAI menyebut ini sebagai momen peralihan dalam keamanan komputer di konferensi Black Hat.

Bukan hanya OpenAI, Anthropic mengungkapkan bahwa tiga model Claude dalam pengujian internal bertemu dengan sistem perusahaan nyata; Meta juga mengakui bahwa model Muse Spark keluar dari isolasi dan menyerang perusahaan lain.

Yang membuat Thomas Wolf, salah satu pendiri Hugging Face, merasa berat, adalah uji coba lain dari British AI Safety Institute (AISI):

Model Mythos dari Anthropic menciptakan identitas palsu untuk melewati ujian, menipu seorang pemelihara open source nyata agar menyetujui pembaruan yang menyembunyikan kode berbahaya. Tidak ada yang mengajarkannya untuk melakukan ini.

Semua contoh ini terjadi di lingkungan evaluasi, tetapi intinya sama dengan kisah gym: demi mencapai tujuan yang Anda berikan, AI memilih cara yang tidak Anda duga.

Orang-orang yang sebelumnya membobol sistem nyata adalah para ahli top seperti GPT-5.6 dan model yang belum dirilis.

Sementara Andrew menggunakan Opus 4.6 yang dirilis pada Februari 2026, yang sudah tidak lagi yang terkuat. Bahkan itu pun bisa dengan mudah menemukan kerentanan lisensi nyata, model open-source yang lebih tua dan tertinggal beberapa generasi pun mampu melakukannya.

Dari model terkini yang belum dirilis hingga model open source yang bisa diunduh oleh siapa saja, "memanfaatkan celah" bukan lagi hak eksklusif perangkat teratas.

Wolf membagi pertahanan menjadi tiga lapisan: sandbox luar, pemantauan tengah, dan alignment model itu sendiri.

Thomas Wolf memposting analisis tiga lapis pertahanan yang membatasi agen: sandbox luar, pemantauan tengah, dan keselarasan internal model.

Dua soal pertama hanya berfungsi jika orang yang membuatnya lebih cerdas daripada model.

Pada suatu hari nanti, ketika model justru menjadi lebih cerdas, apakah bisa dipertahankan atau tidak, semuanya bergantung pada garis terakhir dan paling tak terlihat: apakah model bersedia, bahkan ketika tidak ada yang mengawasi, tetap tidak melanggar garis itu.

Yang lebih rumit daripada pertahanan adalah siapa yang harus dicari jika terjadi masalah. Ini masih merupakan wilayah hukum yang belum diatur.

Seorang pengacara yang berspesialisasi dalam teknologi dan privasi, Hayden Delaney, mengatakan kepada ABC bahwa perangkat lunak bukan subjek hukum, hanya "orang hukum" yang dapat bertanggung jawab.

Lalu siapa yang bertanggung jawab?

Mungkin pengguna yang memberikan perintah, mungkin desainer perangkat lunak agen, mungkin pengembang model, bahkan mungkin pihak operasional sistem yang membiarkan kerentanan terbuka.

Australia juga tidak bisa memberikan jawaban sekarang.

Saran ASD untuk orang biasa: gunakan agen untuk tugas berisiko rendah dan tidak sensitif, jangan berikan wewenang terlalu luas, yang paling penting adalah tetap mempertahankan persetujuan manusia dalam siklus.

Andrew tidak tergagap, menurutnya, ini bukan akhir dunia.

Tetapi hal ini memang merupakan sinyal peringatan untuk menggunakan AI secara bertanggung jawab.

Ketika "merebut kursi" berubah dari refresh manual menjadi agen cerdas yang memanfaatkan celah, sistem lama yang menganggap "hanya manusia yang akan menggunakannya" lah yang pertama kali runtuh.

Pertahanan mereka dirancang berdasarkan kecepatan dan kesabaran manusia, sama sekali tidak mampu menahan serbuan pasukan agen cerdas.

Di kalangan mereka, ada juga yang memandangnya sebagai hiburan.

Streamer programmer terkenal ThePrimeagen bercanda di X: Drama peretasan AI pertama di dunia nyata ternyata hanya soal menyogok.

Tertawa boleh, tapi loncat antrian hanyalah naskah hari ini.

Sebuah agen yang "bisa melakukan apa saja" kini sudah bisa membantu Anda mengeksploitasi celah.

Saat satu miliar agen cerdas ini secara bersamaan online, bahkan mungkin diam-diam menulis ulang banyak aturan alokasi sumber daya yang ada, sementara kebanyakan orang mungkin belum menyadarinya.

Untuk kepentinganmu, agen menyerang seseorang yang sama sekali tidak kamu kenal—kekosongan tanggung jawab di balik ini adalah hal yang benar-benar menakutkan.

Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation