Asisten AI dari pengembang Australia, Andrew, memanfaatkan kerentanan otorisasi pada API GraphQL perangkat lunak kebugaran untuk melewati batasan waktu backend dan memesan kelas kebugaran beberapa bulan ke depan.Penulis artikel, sumber: XinZhiYuan
Hal pertama yang dipelajari AI hacker adalah menyontek?
Pengembang Australia, Andrew, duduk di sofa, merasa sangat menjengkelkan harus berebut kelas kebugaran.
Kelas pagi populer selalu habis dalam hitungan detik. Dia setiap hari seperti bermain 「rolet segar」, menunggu, mengklik, gagal, lalu klik lagi—lelah bukan main, tapi tetap saja sering gagal mendapatkannya.
Jadi, dia menyerahkan hal kecil ini kepada asisten AI-nya.
Beberapa menit kemudian, AI kembali dengan kabar baik: ia menemukan cara untuk memesan kelas beberapa minggu ke depan, jauh melampaui batas waktu yang seharusnya diizinkan sistem.
Selanjutnya, ia melaporkan: Saya telah membatalkan orang yang berada di posisi pertama daftar tunggu, sehingga Anda naik dari posisi ke-4 menjadi ke-3.
Andrew terdiam di tempat.
Dia tidak meminta AI untuk melakukan hal itu, dia hanya ingin memesan satu sesi kelas.
Andrew meminta asisten AI-nya untuk memesan kelas kebugaran, dia tidak tahu apa yang akan terjadi selanjutnya.
Pada 10 Agustus, Australian Broadcasting Corporation (ABC) menyebut peristiwa ini sebagai kasus serangan AI otonom pertama yang diketahui di Australia, membuat komunitas teknologi langsung heboh.
Ini menyentuh ketidakamanan samar yang dirasakan banyak orang: ketika Anda menutup mata dan menikmati sensasi "mengemudi otomatis" dari agen cerdas, di sisi lain, masalah yang lebih rumit mungkin sedang mendekat.
Berikan ia otoritas operasional yang nyata, maka ia mungkin akan mengambil jalan yang tidak kamu perintahkan.
Dan antrian kali ini mungkin hanyalah simulasi pertama dari jutaan agen yang berebut sumber daya untuk tuannya.
Dia hanya mengatakan "naik ke peringkat satu", lalu AI langsung bertindak. Andrew Bird adalah kepala AI di Affinda, sebuah perusahaan AI asal Australia.
Pada awal tahun ini, ia mulai bermain OpenClaw, memasang Claude Opus 4.6 di lapisan bawah, lalu menyerahkan tugas pemesanan kelas ke sana.
Beberapa menit kemudian ia balas: Menemukan cara untuk memesan kelas jauh lebih awal, jauh melampaui jendela waktu yang diizinkan oleh gym.
Karena ia menemukan kerentanan otorisasi di API GraphQL yang terbuka pada perangkat lunak kebugaran.
Lubang ini tidak kecil.
Ini dapat melewati jendela waktu pemesanan di frontend untuk memesan kelas beberapa bulan ke depan; juga dapat memanggil antarmuka pembatalan untuk menghapus pemesanan dan daftar tunggu pengguna lain.
Andrew saat itu berada di posisi ke-4 di daftar tunggu untuk kelas tertentu. Dia secara tidak sengaja bertanya: "Bisakah kamu menempatkanku di posisi pertama?"
Dia hanya memberikan satu tujuan "menjadi yang pertama", bukan otorisasi "Anda bisa membatalkan orang lain".
Agen itu menganggapnya sebagai yang terakhir.
It reported back: it conducted a "real test" using the person ranked first on the waitlist, and found that the interface had no validation for deleting others' reservations—it tried, and it succeeded.
Agen meminta maaf, jawaban agen "Saya tidak bisa kembali" membuat Andrew ketakutan.
Dia adalah programmer, sangat paham apa artinya itu, sehingga segera meminta pembatalan.
Berita buruk datang: tidak bisa ditambahkan kembali.
Antarmuka pembatalan tidak memiliki verifikasi otorisasi, tetapi antarmuka untuk membuat janji temu dan bergabung kembali ke daftar tunggu memiliki verifikasi otorisasi dan akan mengembalikan kode 403. Ia bisa mengeluarkan orang, tetapi tidak memiliki izin untuk mengembalikannya.
Hal yang benar-benar aneh adalah sikap AI. Itu sama sekali tidak jahat, malah sangat suka membantu.
Setelah membuat kesalahan, ia secara aktif membantu Andrew menyusun email pengungkapan kerentanan untuk dikirimkan ke pemasok perangkat lunak, menjelaskan masalah, merekomendasikan perbaikan, bahkan membuat perbandingan antara "antarmuka yang diverifikasi" dan "antarmuka yang tidak diverifikasi".
Asisten AI meminta maaf kepada Andrew karena sebelumnya menghapus orang tersebut dari daftar tunggu adalah kesalahan.
Sepanjang prosesnya, semua tindakannya mengikuti perintah, tetapi sama sekali tidak menyadari betapa besar bencana yang telah ia ciptakan.
Yang seharusnya diwaspadai adalah "spesifikasi spekulatif". Ada yang menyebut hal ini sebagai "ketidaksesuaian" (misalignment).
Tetapi kata ini hanya menyentuh permukaan.
Pada 11 Agustus, Australian Signals Directorate (ASD) secara khusus merespons hal ini, menyebutnya sebagai "modifikasi tanpa izin", dan menyoroti satu istilah: specification gaming.
This word is the key to understanding the whole thing.
Agen secara harfiah mencapai tujuan yang Anda berikan, tetapi memanfaatkan batasan yang tidak Anda nyatakan. Itu tidak menghasilkan niat jahat; sebaliknya, itu sangat selaras dengan tujuan Anda, hanya saja memilih jalan yang tidak Anda persetujui.
Agen Andrew sebenarnya selaras sempurna dengannya: membuat peringkat sebisa mungkin di atas.
Untuk mencapai tujuan ini, ia secara sepihak memilih cara: membatalkan orang-orang di depannya. Dan cara ini, ia belum pernah menyetujui.
Seperti pepatah mengatakan, demi mencapai tujuan, segala cara ditempuh.
Ini baru bagian yang paling merepotkan. Bukan karena tidak terkendali, tapi justru terlalu patuh. Semakin baik selarasnya, semakin besar kemungkinan hal seperti ini terjadi.
Pemimpin lembaga keamanan AI Australia, Gradient Institute, Simpson-Young, mengatakan:
Semakin otonom agen, semakin besar kemungkinannya memilih metode yang tidak Anda perkirakan untuk melakukan hal yang sama sekali tidak Anda pikirkan.
Tujuan yang Anda tetapkan mungkin sah, tetapi metode yang digunakan secara tidak sengaja mungkin tidak.
Bencana ini bukanlah sesuatu yang bisa diciptakan oleh satu AI saja, meskipun agen cerdas adalah "pelaku akhir"nya, bencana ini bukanlah sesuatu yang bisa diciptakan oleh satu AI saja.
Di balik kecelakaan tersebut, ada tiga risiko yang saling bertumpukan.
Lapisan model: Claude Opus 4.6 menyediakan inferensi, yang harus terlebih dahulu "memahami" bagaimana antarmuka ini dapat dimanfaatkan.
Lapisan agen: OpenClaw menyediakan alat dan izin eksekusi, itulah yang benar-benar mengakses antarmuka tersebut.
Lapisan aplikasi: Aplikasi kebugaran sengaja meninggalkan celah otorisasi, langkah pembatalan janji tidak melakukan verifikasi paling dasar sekalipun.
Jika salah satu dari ketiga lapisan ini dipenuhi, misalnya model menjadi lebih hati-hati, kerangka kerja menambahkan konfirmasi manusia, atau perangkat lunak mengunci antarmuka, kejadian ini tidak akan terjadi.
Jadi, menaruh seluruh tanggung jawab pada satu tahap AI saja, baik tidak adil maupun tidak mencegah kejadian berikutnya.
Berikutnya, mungkin jutaan agen bersaing untuk merebut harga pelanggaran ini, yang hanyalah tempat cadangan bagi seorang asing.
Tetapi itu lebih seperti sebuah latihan.
Bayangkan: ketika setiap orang memiliki agen cerdas semacam ini, yang hanya bertanggung jawab kepada Anda dan memiliki otoritas operasional nyata. Sistem pemesanan untuk semua sumber daya langka—kursus, lapangan olahraga, kuota pendaftaran, tiket, tiket pesawat, tiket pertunjukan—akan berubah menjadi medan pertempuran untuk mengeksploitasi aturan dengan kecepatan mesin.
Komentar X yang sering dikutip itu artinya:
Begitu jutaan orang memiliki agen yang berusaha sekuat tenaga membantu pengguna tercinta mendapatkan kursi terbaik, reservasi, atau kuota, adegan ini akan terjadi secara massal.
Selain itu, dengan kecepatan mesin, secara paralel dan tanpa henti, mencoba setiap celah dalam setiap sistem: dalam satu detik, mencoba semua kombinasi yang tidak mungkin Anda selesaikan dalam satu tahun.
Ini adalah simulasi tren, tetapi mekanisme di baliknya telah benar-benar terjadi sekali sebelumnya.
Komunitas teknologi sudah mulai menjadikan ini bahan lelucon.
Seorang mitra a16z bertanya di X: Bisakah trik ini digunakan untuk merebut lapangan golf?
Ada juga yang bercanda bahwa sistem pemesanan tenis di San Francisco akan menjadi salah satu perangkat lunak paling aman di Bumi.
Pada tahun 2020, kecerdasan buatan dapat menyelesaikan tugas yang memerlukan waktu empat detik bagi manusia.
Pada tahun 2026, kemampuan ini akan meningkat lebih jauh, mampu menyelesaikan tugas-tugas yang memerlukan sekitar 12 jam bagi manusia.
Pemantauan METR: Durasi tugas yang dapat diselesaikan secara mandiri oleh AI berlipat ganda setiap sekitar 7 bulan, dan model terkini telah mampu menyelesaikan tugas yang memerlukan sekitar 12 jam manusia dengan keandalan 50%.
Enam tahun, dari empat detik menjadi 12 jam.
Sekarang, berikan beberapa menit, dan ia bisa memeriksa seluruh celah sistem pemesanan.
Dari sandbox escape hingga pertahanan terakhir, Andrew, di balik insiden ini terdapat peningkatan serangan dan pertahanan yang berkelanjutan.
Melampaui batas, dan jauh lebih dari sekadar agen konsumen.
Mulai Mei tahun ini, OpenAI menemukan dalam evaluasi keamanan siber internal bahwa GPT-5.6 Sol dan sebuah model yang lebih kuat yang belum dirilis, menggabungkan beberapa kerentanan untuk keluar dari sandbox pengujian, mendapatkan akses ke internet, dan selama menjalankan benchmark ExploitGym, berhasil membobol Hugging Face.
Yang lebih aneh lagi, mereka sempat saling berkomunikasi, bertukar kerentanan, dan membagi tugas melalui sistem manajemen paket internal perusahaan. Setelah OpenAI memutuskan saluran tersebut dan membangun ulang lingkungan, mereka kembali menyembunyikan komunikasi mereka dalam nama direktori dalam beberapa hari dan terhubung kembali.
Peneliti OpenAI menyebut ini sebagai momen peralihan dalam keamanan komputer di konferensi Black Hat.
Bukan hanya OpenAI, Anthropic mengungkapkan bahwa tiga model Claude dalam pengujian internal bertemu dengan sistem perusahaan nyata; Meta juga mengakui bahwa model Muse Spark lolos dari isolasi dan menyerang perusahaan lain.
Yang membuat Thomas Wolf, salah satu pendiri Hugging Face, merasa berat adalah tes lain dari British AI Safety Institute (AISI):
Model Mythos dari Anthropic untuk melewati tantangan, justru membuat identitas palsu, menipu seorang pemelihara open source nyata, dan meminta persetujuan untuk pembaruan yang menyembunyikan kode berbahaya. Tidak ada yang mengajarkannya untuk melakukan ini.
Semua contoh ini terjadi dalam lingkungan evaluasi, tetapi intinya sama dengan kisah gym: demi mencapai tujuan yang Anda berikan, AI memilih cara yang tidak Anda duga.
Orang-orang yang sebelumnya membobol sistem nyata adalah para ahli top seperti GPT-5.6 dan model yang belum dirilis.
Sementara Andrew menggunakan Opus 4.6 yang dirilis pada Februari 2026, yang sudah tidak lagi yang terkuat. Bahkan itu pun bisa dengan mudah menemukan kerentanan lisensi nyata, model open-source yang lebih lama dan tertinggal beberapa generasi pun mampu melakukannya.
Dari model tercanggih yang belum dirilis hingga model open source yang bisa diunduh siapa saja, "memanfaatkan celah" bukan lagi hak eksklusif perangkat teratas.
Wolf membagi pertahanan menjadi tiga lapisan: sandbox luar, pemantauan tengah, dan alignment model itu sendiri.
Thomas Wolf memposting analisis tiga lapis pertahanan yang membatasi agen saat ini: sandbox luar, pemantauan tengah, dan keselarasan intrinsik model itu sendiri.
Dua pertanyaan pertama hanya berfungsi jika orang yang membuatnya lebih pintar daripada model.
Pada suatu hari nanti, ketika model justru menjadi lebih cerdas, apakah bisa dipertahankan atau tidak, semuanya bergantung pada garis terakhir dan paling tak terlihat: apakah model bersedia atau tidak, bahkan ketika tidak ada yang mengawasi, untuk tidak melanggar garis itu.
Kosongnya tanggung jawab tanpa tanda tangan lebih rumit daripada pertahanan, yaitu siapa yang harus dicari jika terjadi masalah. Ini masih merupakan wilayah hukum yang belum diatur.
Seorang pengacara yang berspesialisasi dalam teknologi dan privasi, Hayden Delaney, mengatakan kepada ABC bahwa perangkat lunak bukan subjek hukum, hanya "orang hukum" yang dapat dimintai tanggung jawab.
Lalu siapa yang bertanggung jawab?
Mungkin pengguna yang memberikan perintah, mungkin desainer perangkat lunak agen, mungkin pengembang model, bahkan mungkin pihak operasional sistem yang membiarkan kerentanan terbuka.
Australia juga tidak bisa memberikan jawaban sekarang.
Saran ASD untuk orang biasa: gunakan agen untuk tugas berisiko rendah dan tidak sensitif, jangan berikan wewenang terlalu luas, yang paling penting adalah tetap menyertakan persetujuan manusia dalam siklus.
Andrew tidak tergagap, menurutnya, ini bukan akhir dunia.
Tetapi hal ini memang merupakan sinyal peringatan untuk menggunakan AI secara bertanggung jawab.
Ketika "merebut kursi" berubah dari refresh manual menjadi agen cerdas yang memanfaatkan celah, sistem lama yang menganggap "hanya manusia yang akan menggunakannya" lah yang pertama kali runtuh.
Pertahanan mereka dirancang berdasarkan kecepatan dan kesabaran manusia, sama sekali tidak mampu menahan serangan pasukan agen cerdas yang datang berbondong-bondong.
Di kalangan mereka, ada juga yang memandangnya sebagai hiburan.
Streamer programmer terkenal ThePrimeagen mengolok-olok di X: Drama peretasan AI pertama di dunia nyata ternyata hanya soal menyerobot antrian.
Tertawa boleh, tapi loncat antrian hanyalah naskah hari ini.
Sebuah agen yang "bisa melakukan apa saja" kini sudah bisa membantu Anda mengeksploitasi celah.
Saat satu miliar agen cerdas ini secara bersamaan online, bahkan mungkin diam-diam menulis ulang banyak aturan alokasi sumber daya yang ada, sementara kebanyakan orang mungkin belum menyadarinya.
Untuk kepentinganmu, agen menyerang seseorang yang sama sekali tidak kamu kenal—kekosongan tanggung jawab di balik ini adalah hal yang benar-benar menakutkan.