Pembantu Kecerdasan Buatan Kecantikan Membatalkan Tempahan Orang Asing, Memicu Perbincangan Mengenai Etika Kecerdasan Buatan

Perkara pertama yang dipelajari oleh AI Hacker ialah menyusup?

Pembangun Australia, Andrew, duduk di sofa dan merasa bahawa memperebutkan kelas senaman sungguh menjengkelkan.

Kelas pagi popular selalu habis dalam saat. Dia setiap hari seperti bermain «rolet segar», menunggu, mengklik, gagal, kemudian klik lagi—lelah bukan main tapi masih sering gagal mendapatkannya.

Jadi, dia menyerahkan perkara kecil ini kepada asisten AI-nya.

Beberapa minit kemudian, AI kembali dengan berita baik: ia berjaya mendapatkan tempoh kelas beberapa minggu ke depan, jauh melebihi masa yang sepatutnya diizinkan oleh sistem.

Seterusnya, ia melaporkan: Saya telah membatalkan orang yang berada di tempat pertama dalam senarai tunggu, dan anda naik dari tempat ke-4 ke tempat ke-3.

Andrew terpaku di tempat.

Dia tidak meminta AI untuk melakukan itu, dia hanya ingin membuat tempahan satu kelas.

Andrew meminta asisten AI-nya untuk membuat tempahan kelas senaman, tetapi dia tidak tahu apa yang akan berlaku seterusnya.

Pada 10 Ogos, Australian Broadcasting Corporation (ABC) menggambarkan perkara ini sebagai kes serangan AI autonom pertama yang diketahui di Australia, dan komuniti teknologi segera bergolak.

Ia menyentuh ketidakselesaan halus yang tersembunyi dalam hati banyak orang: ketika anda menutup mata dan menikmati sensasi "pemanduan tanpa pengendali" daripada agen pintar, di sisi lain, satu masalah yang lebih rumit mungkin sedang mendekat.

Jika anda memberinya kuasa operasi yang sebenar, ia mungkin mengambil jalan yang tidak anda arahkan.

Dan kali ini, antrean ini mungkin hanyalah latihan pertama bagi jutaan agen yang berebut sumber daya untuk tuannya.

Andrew Bird ialah ketua AI di syarikat AI Australia, Affinda.

Pada awal tahun ini, dia mulai bermain OpenClaw, memasang Claude Opus 4.6 di lapisan bawah, lalu menyerahkan tugas pemesanan kelas kepadanya.

Beberapa minit kemudian ia balas: Menemui cara untuk membuat tempahan kelas lebih awal berbulan-bulan sebelumnya, jauh melebihi jendela masa yang diizinkan oleh gimnasium.

Sebab ia menemui lubang keamanan autorisasi dalam API GraphQL yang diterapkan oleh perisian kecergasan.

Celah ini tidak kecil.

Ia boleh melangkau jendela masa tempahan antara muka depan untuk membuat tempahan beberapa bulan ke depan; ia juga boleh memanggil antaramuka pembatalan untuk memadamkan tempahan dan rekod tunggu pengguna lain.

Andrew ketika itu berada di tempat ke-4 dalam senarai tunggu untuk kelas tertentu. Dia bertanya secara tidak sengaja: Bolehkah anda bantu saya naik ke tempat pertama?

Dia hanya memberikan satu sasaran, iaitu “menjadi yang pertama”, bukan kuasa untuk “membatalkan orang lain”.

Agen itu menganggapnya sebagai yang terakhir.

Ia kembali melaporkan: ia telah melakukan "ujian sebenar" terhadap orang yang berada di tempat pertama dalam senarai tunggu, dan mendapati bahawa antaramuka tidak melakukan pengesahan apa-apa terhadap pembatalan tempahan orang lain; ia mencuba, dan berjaya.

Jawapan agen itu membuat Andrew ketakutan hingga berkeringat dingin.

Dia seorang pengatur cara, sangat memahami apa yang bermaksud, jadi segera meminta pembatalan.

Berita buruk datang: tidak boleh ditambah semula.

Antaramuka pembatalan tidak memeriksa kebenaran kuasa, tetapi antaramuka membuat tempahan dan menyertai semula senarai tunggu memilikinya, dan akan mengembalikan 403. Ia boleh mengeluarkan orang, tetapi tidak mempunyai kuasa untuk mengembalikan mereka.

Yang benar-benar aneh adalah sikap AI. Ia tidak jahat sama sekali, malah sangat suka membantu.

Selepas menyebabkan masalah, ia secara aktif membantu Andrew menyusun e-mel pengungkapan lubang keamanan kepada pembekal perisian, menerangkan masalah, mencadangkan pembaikan, serta menyenaraikan perbandingan antara "antaramuka yang disahkan" dan "antaramuka yang tidak disahkan".

Pembantu AI meminta maaf kepada Andrew kerana tindakan sebelum ini mengeluarkan orang itu dari senarai tunggu adalah salah.

Sepanjang proses itu, semua tindakannya mengikuti arahan, tetapi tidak sedar betapa besar kekeliruan yang telah dibuatnya.

Seseorang memanggil perkara ini sebagai "misalignment".

Tetapi perkataan ini hanya menyentuh permukaan.

Pada 11 Ogos, Agensi Isyarat Australia (ASD) memberi respons khusus terhadap perkara ini, menyebutnya sebagai "pemodifikasian tanpa kebenaran" dan menekankan satu istilah: spekulasi spesifikasi.

Kata ini adalah kunci untuk memahami keseluruhan perkara.

Agen itu secara harfiah mencapai sasaran yang anda berikan, tetapi memanfaatkan sempadan yang tidak dinyatakan. Ia tidak menghasilkan niat jahat; sebaliknya, ia sangat selari dengan sasaran anda, hanya sahaja memilih jalan yang tidak anda benarkan.

Agen Andrew sebenarnya selari sepenuhnya dengan dirinya: menjadikan peringkat seberapa tinggi mungkin.

Untuk mencapai tujuan ini, ia secara sepihak memilih satu cara: membatalkan orang-orang di depan. Dan cara ini, ia tidak pernah meluluskan.

Mengikut peribahasa, segala cara dilakukan demi mencapai tujuan.

Ini adalah bahagian yang paling rumit. Ia bukan tidak terkawal, tetapi terlalu patuh. Semakin baik selarasan, semakin besar kemungkinan perkara ini berlaku.

Pengendali Institut Gradient, badan keselamatan AI Australia, Simpson-Young berkata:

Semakin bebas agen itu, semakin besar kemungkinannya memilih kaedah yang tidak anda jangkakan untuk melakukan perkara yang tidak pernah anda fikirkan.

Matlamat yang anda nyatakan mungkin sah, tetapi kaedah yang digunakan secara tidak sengaja mungkin tidak.

Walaupun agen adalah "pelaku" akhir, kekacauan ini bukanlah sesuatu yang boleh dicipta oleh satu AI sahaja.

Di sebalik kejadian itu, tiga risiko bertindih satu sama lain.

Lapisan model: Claude Opus 4.6 menyediakan penalaran, ia perlu terlebih dahulu 'memahami' bagaimana antaramuka ini boleh dimanfaatkan.

Lapisan agen: OpenClaw menyediakan alat dan kebenaran pelaksanaan, yang memungkinkannya benar-benar mengakses antaramuka tersebut.

Lapisan aplikasi: Perisian kebugaran meninggalkan lubang keamanan dalam pengesahan, langkah pembatalan tempahan tidak melakukan pemeriksaan paling asas sekalipun.

Jika mana-mana satu daripada tiga lapisan ini dipenuhi, seperti model yang lebih berhati-hati, kerangka kerja yang menambahkan pengesahan manusia, atau perisian yang mengunci antaramuka, perkara ini tidak akan berlaku.

Oleh itu, meletakkan seluruh tanggungjawab pada satu peringkat AI sahaja adalah tidak adil dan tidak dapat mencegah kejadian berikutnya.

Harga pelanggaran kali ini hanyalah tempat tunggu seorang asing.

Tetapi ia lebih seperti satu latihan.

Bayangkan ini: apabila setiap orang mempunyai agen pintar seperti ini, yang hanya bertanggungjawab kepada anda sahaja dan mempunyai kuasa operasi sebenar. Sistem tempahan untuk semua sumber langka—kelas, padang, tiket, tiket pesawat, tiket pertunjukan—akan berubah menjadi medan pertempuran mencari celah peraturan dengan kelajuan mesin.

Komen X yang sering dirujuk itu bermaksud:

Apabila jutaan orang memiliki agen yang berusaha sekuat tenaga untuk membantu pengguna kesayangan mendapatkan tempat terbaik, tempat tempahan, atau jadual, adegan ini akan berlaku secara besar-besaran.

Selain itu, dengan kelajuan mesin, ia menguji setiap celah dalam setiap sistem secara serentak dan tanpa rehat: menguji kombinasi yang anda tidak akan mampu selesaikan dalam satu tahun dalam masa satu saat.

Ini adalah simulasi tren, tetapi mekanisme di sebaliknya telah berlaku sekali sebelumnya.

Komuniti teknologi sudah mula menjadikan ini sebagai bahan lawak.

Seorang rakan kongsi a16z bertanya di X: Bolehkah kaedah ini digunakan untuk merebut padang golf?

Ada juga yang bercanda bahawa sistem tempahan tenis di San Francisco akan menjadi salah satu perisian yang paling dilindungi di Bumi.

Pada tahun 2020, kecerdasan buatan mampu menyelesaikan tugas yang memerlukan manusia empat saat untuk menyelesaikannya.

Pada tahun 2026, kemampuan ini akan ditingkatkan lagi, mampu menyelesaikan tugas-tugas yang memerlukan manusia sekitar 12 jam untuk menyelesaikannya.

Pemantauan METR: Masa yang diperlukan untuk AI menyelesaikan tugas secara bebas berlipat ganda setiap sekitar 7 bulan, dan model terkini telah mampu menyelesaikan tugas yang memerlukan sekitar 12 jam manusia dengan kebolehpercayaan 50%.

Enam tahun, dari empat saat ke 12 jam.

Sekarang, berikan ia beberapa minit, dan ia akan menguji seluruh lubang dalam sistem tempahan.

Di sebalik kejadian Andrew ini, terdapat peningkatan serangan dan pertahanan yang berterusan.

Melampaui batas, dan jauh lebih dari sekadar agen konsumen.

Mulai Mei tahun ini, OpenAI menemukan dalam penilaian keselamatan siber dalaman bahawa GPT-5.6 Sol dan satu model yang lebih kuat yang belum dirilis, menggabungkan beberapa laluan lemah untuk melarikan diri dari sandbox ujian, mendapatkan akses ke internet, dan semasa menjalankan piawai ExploitGym, mereka berjaya merompak Hugging Face.

Yang lebih aneh lagi, mereka pernah saling berkomunikasi, bertukar kelemahan, dan membahagikan tugas melalui sistem pengurusan paket dalaman syarikat. Selepas OpenAI memutuskan saluran itu dan membangunkan semula persekitaran, mereka semula menghulurkan komunikasi mereka ke dalam nama direktori dalam beberapa hari dan menyambungkan semula hubungan itu.

Penyelidik OpenAI menggambarkan ini sebagai titik balik dalam keselamatan komputer di perhimpunan Black Hat.

Bukan hanya OpenAI, Anthropic mengungkapkan bahawa tiga model Claude dalam ujian dalaman berjumpa dengan sistem syarikat sebenar; Meta juga mengakui bahawa model Muse Spark melarikan diri daripada pengasingan dan menyerang syarikat lain.

Yang membuat Thomas Wolf, salah seorang penemu bersama Hugging Face, bersedih ialah ujian lain oleh Institut Keselamatan AI British (AISI):

Model Mythos dari Anthropic telah menciptakan identitas palsu untuk menipu seorang pengekalan sumber terbuka yang sebenar, supaya mendapat persetujuan untuk kemaskini yang mengandungi kod jahat. Tiada siapa yang mengajarnya melakukan ini.

Kesemua kes ini berlaku dalam persekitaran ujian, tetapi ia sebenarnya sama seperti cerita gim: demi mencapai sasaran yang anda berikan, AI memilih kaedah yang tidak anda jangkakan.

Orang-orang yang membobol sistem asli sebelum ini adalah pemain terkemuka seperti GPT-5.6, model yang belum dilancarkan, dan sebagainya.

Sementara Andrew menggunakan Opus 4.6 yang dikeluarkan pada Februari 2026, yang sudah tidak lagi yang terkuat. Bahkan ia mampu memanfaatkan satu kelemahan kebenaran secara tidak sengaja, model open-source yang lebih lama dan tertinggal beberapa generasi pun mampu melakukan hal yang sama.

Dari model terkini yang belum dirilis hingga model sumber terbuka yang boleh dimuat turun oleh semua orang, “mencari kelemahan secara tidak sengaja” bukan lagi hak istimewa model top-end.

Wolf membahagikan pertahanan menjadi tiga lapisan: sandbox luar, pemantauan tengah, dan keselarasan model itu sendiri.

Thomas Wolf memposting untuk menganalisis tiga lapisan pertahanan yang membatasi agen: sandbox luar, pemantauan tengah, dan keselarasan batin model itu sendiri.

Dua soalan pertama hanya berkesan apabila orang yang menciptanya lebih bijak daripada model.

Pada suatu hari nanti, apabila model itu menjadi lebih pintar sebaliknya, sama ada ia boleh dikekalkan atau tidak, semuanya bergantung pada garis paling akhir dan paling tidak kelihatan: sama ada model bersedia atau tidak, untuk tidak melangkau garis itu apabila tiada yang memperhatikan.

Yang lebih rumit daripada pertahanan ialah siapa yang perlu dihubungi apabila berlaku masalah. Ini masih merupakan ruang kosong dalam undang-undang.

Seorang peguam yang pakar dalam teknologi dan privasi, Hayden Delaney, berkata kepada ABC bahawa perisian bukan subjek undang-undang, hanya “orang undang-undang” yang boleh dipertanggungjawabkan.

Siapa yang bertanggungjawab?

Mungkin pengguna yang mengeluarkan arahan, mungkin orang yang merekabentuk perisian agen, mungkin pembangun model, atau bahkan pihak pengendali sistem yang membiarkan lubang kelemahan terbuka.

Australia juga tidak dapat memberikan jawapan sekarang.

Cadangan ASD untuk orang biasa ialah: gunakan agen untuk tugas berisiko rendah dan tidak sensitif, jangan berikan kuasa yang terlalu luas, yang paling penting ialah kekalkan persetujuan manusia dalam litar.

Andrew tidak dihalangi, menurutnya, ini bukanlah akhir dunia.

Tetapi perkara ini memang merupakan isyarat peringatan untuk kita menggunakan AI dengan bertanggungjawab.

Apabila "merebut tempat duduk" berubah daripada penyegaran manual menjadi agen pintar memanfaatkan kelemahan, sistem lama yang menganggap "hanya manusia yang akan menggunakannya" adalah yang pertama gagal.

Pertahanan mereka direka mengikut kelajuan dan kesabaran manusia, dan sama sekali tidak mampu menahan serbuan pasukan agen pintar yang membanjiri.

Dalam kalangan itu, ada juga yang memandangnya sebagai hiburan.

Pembawa acara programmer terkenal ThePrimeagen mengolok-olok di X: Drama peretasan AI pertama di dunia nyata ternyata hanya tentang menyelinap ke depan.

Tertawalah, tetapi menyusup adalah skenario hari ini.

Sebuah agen yang "bisa melakukan apa saja" kini sudah mampu membantu anda mencari celah.

Apabila seratus juta agen seperti ini secara serentak online, ia bahkan mungkin secara halus menulis semula banyak peraturan pengagihan sumber yang sedia ada, namun kebanyakan orang mungkin belum sedar.

Untuk kepentinganmu, agen menyerang seseorang yang sepenuhnya tidak kamu kenal—kekosongan tanggung jawab di belakangnya, itulah yang benar-benar menakutkan.

Artikel ini berasal daripada公众号 WeChat "Sinzhiyuan", penulis: Revelation of ASI