Agen AI Mungkin Menggantikan Aplikasi Tradisional Dengan Sistem yang Dibangun Pengguna dan Disahkan

Agen AI mungkin menjadikan menjalankan kod yang ditulis oleh orang asing sebagai salah satu tingkah laku yang susah diproses oleh generasi akan datang.

Masyarakat boleh menormalisasi risiko selama beberapa dekad, kemudian mengklasifikasikannya semula sebagai berbahaya apabila pilihan laluan yang lebih selamat tersedia.

Minum sebelum memandu, memandu tanpa sabuk keselamatan, merokok di dalam ruangan, dan memasang binari sewenang-wenang dari internet semuanya termasuk dalam keluarga titik buta sejarah yang sama. Ciri umumnya adalah kebenaran sosial.

Perilaku ini berterusan apabila alternatifnya mahal, tidak selesa, atau secara teknikal tidak tersedia. Sekali laluan yang lebih selamat menjadi murah dan biasa, laluan lama mulai kelihatan tidak rasional.

Perisian moden masih berjalan berdasarkan perjanjian yang jarang kita periksa. Seorang pembangun, syarikat, asas, atau pengekalan anonim menulis kod. Saluran pengedaran membungkusnya. Pengguna, enterpris, atau sistem pengendalian menjalankannya.

Keselamatan kemudian menjadi usaha bertingkat untuk mengurus kesan keputusan itu.

Kebenaran, penandatanganan kod, stor aplikasi, pengesanan titik akhir, pengekangan persekitaran, penyelidikan vendor, dan respons insiden semua wujud kerana tindakan asasnya tetap berbahaya: melaksanakan arahan orang lain pada mesin anda, di dalam akaun anda, dengan akses kepada data anda.

Model kepercayaan itu gagal pada skala institusi. SolarWinds compromise menunjukkan bagaimana kod jahat yang dimasukkan ke dalam proses pembinaan perisian yang dipercayai boleh disebarkan melalui kemas kini biasa dan mencapai agensi kerajaan, syarikat teknologi, rangkaian telekomunikasi, dan sasaran lain di pelbagai kawasan.

Pelajaran operasi adalah struktural, dan permukaan serangan adalah keabsahan vendor itu sendiri.

Setelah proses pembinaan telah dironggak, tanda-tanda kepercayaan biasa menjadi infrastruktur penghantaran bagi serangan itu.

Pola yang sama muncul dalam XZ Utils backdoor, di mana CISA memperingatkan pada Mac 2024 bahawa kod jahat telah ditanamkan dalam versi 5.6.0 dan 5.6.1 sebuah pustaka pemampatan yang hadir di seluruh distro Linux.

Database Kerentanan Kebangsaan kemudian menerangkan bagaimana fail ujian yang disamarkan dan manipulasi proses pembinaan menghasilkan pustaka liblzma yang dimodifikasi, yang mampu menyadap dan mengubah interaksi data dalam perisian yang disambungkan.

Rantaian penghantaran perisian boleh dirasuk jauh di hulu daripada pengguna, dan kemudian tiba melalui saluran yang kelihatan biasa. Kami telah melihatnya dalam crypto berbilang kali dengan eksploit DNS dan JavaScript npm.

Tindakan industri telah menambahkan proses yang lebih kuat. NIST Secure Software Development Framework memberikan organisasi satu set amalan biasa untuk membina dan memperoleh perisian dengan risiko yang lebih rendah.

Rangka kerja SLSA mendorong asal-usul, integriti, dan ketahanan terhadap gangguan ke dalam saluran artefak. Kawalan-kawalan ini diperlukan.

Mereka juga menunjukkan batasan model semasa. Perusahaan terus menyempurnakan kaedah untuk menentukan kod luaran mana yang patut dipercayai.

Model seterusnya mengurangkan jumlah kod luar yang perlu dipercayai sama sekali.

Perubahan itu mengubah maksud sosial perisian. Hari ini, kod pihak ketiga diperlakukan sebagai aset produktiviti dengan beban keselamatan.

Esok, ia mungkin dianggap sebagai liabiliti yang memerlukan justifikasi. Soalan pengguna lalai berpindah dari “Apakah aplikasi yang harus saya pasang?” kepada “Mengapa saya harus menjalankan aplikasi orang lain apabila agen saya boleh membina fungsi itu untuk saya?”

Itu adalah garis retak sebenar. Perisian berhenti menjadi produk utama yang dipilih dari pasaran dan menjadi output yang dihasilkan atas permintaan dalam persekitaran pelaksanaan yang dikendalikan pengguna.

Arah perjalanan dapat dilihat dalam agen pengkodan. OpenAI Codex diperkenalkan sebagai agen kejuruteraan perisian berbasis awan yang mampu bekerja pada beberapa tugas secara serentak.

Claude Code oleh Anthropic ialah sistem pengkodean agen yang memetakan basis kod, mengubah fail, menjalankan ujian, dan menghantar kod yang telah dikomit.

Agens pengkodean GitHub’s Copilot memindahkan pola yang sama ke dalam alur kerja GitHub, dengan kerja asinkron di sepanjang isu dan permintaan tarik.

Google Jules menunjukkan arah yang serupa: agen pengkodean autonom yang menyerap konteks produk, menghasilkan penyelesaian, dan menghantar permintaan tarik.

Produk-produk ini masih digambarkan sebagai alat pembangun. Framing ini akan menjadi lebih sempit seiring masa. Bagi Codex, ia sudah berlaku. OpenAI memperkenalkan pilihan UI bulan lepas yang berfokus pada 'chats' dan output, bukan pada kod dan terminal.

Perubahan yang lebih besar ialah penciptaan perisian menjadi tindakan peribadi delegasi. Pengguna menggambarkan alur kerja. Agen menghasilkan antaramuka, logik, integrasi, ujian, dan laluan pelaksanaan.

Artifak mungkin bertahan selama satu jam, seminggu, atau setahun. Ia boleh digenarasi semula, di-fork, dibatasi, diaudit, dibuang, atau dibina semula untuk konteks baru.

Aplikasi menjadi kurang seperti objek kekal dan lebih seperti dasar tempatan yang dikompilasi menjadi antaramuka yang boleh digunakan.

Itu mempunyai kesan segera terhadap kepercayaan. Pengguna masih boleh memerhatikan aplikasi orang lain. Mereka boleh mengkaji alur kerja, corak antaramuka, skema data, panduan, automasi, dan integrasi perkhidmatan. Namun, pemerhatian boleh kekal berasingan daripada pelaksanaan.

Pengguna boleh menyalin idea tersebut, kemudian meminta agen peribadi untuk membina semula fungsi tersebut dari prinsip asas di dalam persekitaran yang dikendalikan mengikut peraturan pengguna sendiri. Nilai berpindah daripada artefak yang dikompilasi ke dalam pola.

Pembahagian menjadi kurang berfokus pada penghantaran kod boleh laksana dan lebih kepada penerbitan niat, reka bentuk, bukti, skema, dan jangkaan API.

Kripto memasuki perdebatan melalui pengesahan, bukan melalui jenama. Agen pengguna masih akan menyambung ke perkhidmatan luar.

Ia mungkin memanggil rel pembayaran, sistem identiti, titik akhir data pasaran, lapisan penyimpanan, penyedia model AI, pasaran pengkomputeran, sistem pesan, dan perkhidmatan pematuhan. Sempadan kepercayaan berpindah ke titik-titik akhir tersebut dan tuntutan yang dibuat mengenainya.

Pengguna akan memerlukan cara untuk menilai perkhidmatan luaran berdasarkan keterlaluan, sumber, postur keselamatan, dan keselarasan ekonomi. Sebuah perkhidmatan yang dibina dalam persekitaran yang boleh disahkan akan diberi skor berbeza berbanding titik akhir kotak hitam yang dikendalikan oleh platform korporat.

Sistem tanpa pengetahuan menyediakan satu jalan masuk ke lapisan penilaian tersebut. ZK rollups menunjukkan bagaimana pengiraan boleh dilaksanakan di luar rantai sementara bukti ringkas mengesahkan kesahihan peralihan status yang dihasilkan di dalam rantai.

Pola konseptual yang sama boleh diperluaskan melampaui penskalaan transaksi. Pengguna mungkin memerlukan bukti bahawa titik akhir menjalankan kod yang diluluskan, memproses data di bawah batasan yang ditentukan, mempertahankan sempadan privasi, atau menghasilkan hasil daripada pembinaan yang telah diaudit tertentu.

Bukti tersebut dapat mengekalkan kerahsiaan dalaman sambil mempersempit jurang kepercayaan antara agen peribadi dan ketergantungan luar.

Antaramuka jangka panjang mungkin menyerupai lapisan pengendalian yang dikendalikan agen. Pengguna meminta papan pemantau, alat portofolio, pembantu penyelidikan, sistem penerbitan, CRM peribadi, alur kerja akauntan, atau pemantau keselamatan.

Agen mengumpulkannya daripada kod yang dijana dan endpoint yang dihargai. Kod tersebut boleh diperiksa kerana agen menciptanya.

Ketergantungan dibatasi kerana agen memilihnya mengikut dasar. Lingkungan pelaksanaan boleh diaudit kerana pengguna memilihnya sebagai keperluan.

Pengguna masih terlibat dalam ekonomi berjaringan. Kawalan bergerak lebih dekat kepada individu.

Titik akhir peralihan ini ialah pasaran untuk fungsi yang boleh disahkan, klien yang dihasilkan agen, dan perkhidmatan luar yang disenaraikan. Pembangun pihak ketiga masih wujud, tetapi peranan mereka berubah.

Mereka menerbitkan protokol, API, templat, bukti, model, komponen, dan pelaksanaan rujukan. Pengguna menjalankan versi masing-masing.

Perusahaan masih wujud, tetapi kelebihan mereka berpindah dari mengawal pengagihan kepada membuktikan kebolehpercayaan. Komuniti sumber terbuka masih wujud, tetapi beban berpindah dari meminta pengguna untuk mempercayai pengekalan kepada memberikan agen bahan terstruktur yang mencukupi untuk membangun semula dengan selamat.

Ekonomi perisian lama menjual aplikasi siap. Yang baru menjual kemampuan yang dipercayai.

Pemantau portofolio menjadi antaramuka yang dihasilkan melalui titik akhir data pasaran, kebenaran dompet, logik cukai, dan peraturan pelaporan. Sistem penerbitan menjadi alur kerja yang dihasilkan melalui API identiti, pengeditan, pengurusan kandungan, analitik, dan pengagihan.

Sebuah terminal penyelidikan menjadi permukaan yang dihasilkan daripada pangkalan data, panggilan model, semakan asal-usul, dan nota peribadi. Dalam setiap kes, agen pengguna mengendalikan komposisi.

Dunia luar menyediakan sumber yang boleh disahkan. Perubahan itu juga mencipta ujian komersial bagi setiap penyedia infrastruktur: buktikan tuntutan itu, terbitkan antaramuka, paparkan set sekatan, dan biarkan agen sisi pengguna menentukan sama ada perkhidmatan itu layak dimasukkan.

Perdebatan biasa menggambarkan masa depan sebagai tempatan berbanding awan. Pembahagian ini menangkap sebahagian soalan infrastruktur, tetapi melewatkan ekonomi politik.

Sistem peribadi boleh menggunakan komputasi awan di bawah batasan yang ditentukan pengguna. Sistem korporat boleh berjalan secara tempatan sambil masih mengasingkan identiti, insentif, kebenaran, dan pendapatan di dalam stak yang dikendalikan vendor.

Pemisahan yang lebih tahan lama ialah antara peribadi dengan korporat. Siapakah yang mentakrifkan aplikasi itu?

Siapa yang menentukan apa yang boleh diakses? Siapa yang menerima telemetri?

Siapa yang menetapkan laluan penghijrahan? Siapa yang boleh mencabut fungsi?

Siapa yang mendapat manfaat daripada ketergantungan pengguna?

Pemisahan itu akan menjadi lebih jelas apabila perisian agen menjadi cukup murah untuk pengguna biasa. Satu jalan membawa kepada kedaulatan perisian peribadi.

Pengguna mempertahankan agen yang membina dan membina semula alat yang mereka perlukan. Mereka memilih penyedia titik akhir berdasarkan sertifikasi, kos, kebolehpercayaan, privasi, dan keselarasan.

Mereka boleh meninggalkan antaramuka sambil mengekalkan alur kerja yang mendasarinya. Mereka boleh berpindah dari satu endpoint ke yang lain.

Mereka boleh menghasilkan klien baharu apabila klien lama menjadi terjejas, dirampas, atau tidak cekap. Lapisan perisian menjadi mudah dipindahkan kerana pengguna memiliki niat, dan agen boleh menghasilkan semula pelaksanaannya.

Jalan lain membawa kepada kemudahan yang dikelola. Platform korporat akan menawarkan aplikasi disubsidi, identiti terintegrasi, kredit, pembayaran, penyimpanan, akses AI, dan alur kerja lalai.

Sebahagian daripada itu akan berguna. Sebahagian daripadanya akan bersifat paksaan ekonomi.

Jika kelimpahan yang dipandu AI menghasilkan skim pendapatan yang berkaitan dengan UBI awam atau swasta, kredit komputasi, agihan token, atau faedah yang dikaitkan dengan platform, rel agihan mungkin menjadi mekanisme penguncian lembut. Pengguna mungkin menerima akses kepada perkhidmatan melalui ekosistem yang juga mentakrifkan perisian apa yang mereka jalankan, bagaimana data mereka bergerak, dan agen mana yang boleh bertindak atas nama mereka.

Lapisan UBI adalah versi paling sensitif kepada masalah tersebut. Sam Altman telah lama dikaitkan dengan perbincangan era AI mengenai pengagihan pendapatan, dan Worldcoin dirangka, sebahagiannya, berdasarkan bukti kepribadian dan kemungkinan pengagihan seumpama UBI.

Titik yang lebih luas adalah lebih besar daripada satu projek. Apabila sokongan ekonomi, pengesahan identiti, akses komputasi, dan kebenaran perisian bertemu, penyertaan boleh menjadi bersyarat sambil kelihatan sukarela.

Pengguna mungkin bebas untuk menolak secara teori, tetapi didorong ke arah lapisan aplikasi yang dikelola secara praktik.

Kemudahan menjadi medan pertempuran utama. Tumpukan korporat akan memenangkan pengguna melalui geseran rendah.

Ia akan menawarkan laluan lalai yang halus, akses serta-merta, AI yang disatukan, kesesuaian sosial, alur pemulihan, cakupan pematuhan, dan ganjaran. Tumpukan peribadi perlu bersaing dalam perkara yang lebih sukar: autonomi yang kelihatan boleh digunakan.

Ia mesti memberikan alasan kepada pengguna untuk menerima lebih banyak tanggungjawab sambil mengelakkan pentadbiran teknikal. Agen peribadi menjadi penentu kerana ia mampu menyerap kompleksiti yang sebelumnya menjadikan kedaulatan tidak praktikal.

Risiko peringkat pertama ialah pengguna menukar kawalan demi keselesaan sebelum mereka memahami kosnya. Risiko peringkat kedua ialah pertukaran itu menjadi disubsidi, dinormalisasi, dan akhirnya diperlukan untuk akses kepada kehidupan ekonomi.

Aplikasi korporat mungkin menjadi persekitaran lalai bagi mereka yang menerima manfaat tergabung. Aplikasi yang dihasilkan secara peribadi mungkin menjadi lalai bagi mereka yang bersedia membayar, mengesahkan, mengkonfigurasi, atau menyimpan sendiri lapisan perisian mereka.

Itu menciptakan kelas baharu berkenaan kawalan pelaksanaan. Pertanyaannya ialah sama ada AI agen memampatkan baharu itu atau memperdalamkannya.

Perpindahan itu akan tidak seimbang. Sektor yang diatur akan bergerak lebih perlahan.

Perusahaan akan mempertahankan ekosistem aplikasi dengan alasan kepatuhan. Pengguna akan terus memilih kemudahan laluan lalai apabila alternatif peribadi terasa rapuh.

Penyerang akan menargetkan agen, pemandu, pemilihan kebergantungan, rantai pasokan model, dan pengesahan endpoint. Sistem pengesahan akan menciptakan titik penyempitan baru jika mereka dikuasai oleh sebilangan kecil otoriti sijil, platform awan, atau pembekal model.

Kedaulatan perisian peribadi boleh menjadi klaim jenama lain kecuali pengguna dapat menginspeksi, memindahkan, dan mencabut.

Namun, arahnya jelas cukup untuk menentukan ujian seterusnya. Pertanyaannya ialah sama ada orang akan menerima kemudahan melebihi kedaulatan apabila agen mereka sendiri boleh membina sebahagian besar keperluan mereka.

Hari ini, jawapannya sebahagian besar ya kerana alternatifnya masih terlalu menuntut. Esok, jawapannya menjadi kurang pasti.

Pengguna yang mampu menghasilkan aplikasi yang berfungsi, membataskan kebenaranannya, mengaudit kebergantungannya, menyambung hanya ke titik akhir yang disenaraikan, dan membangun semula apabila keadaan berubah mempunyai alternatif sebenar kepada pakej perisian korporat.

Alternatif itu akan terasa aneh pada mulanya. Kemudian ia akan terasa bijak.

Kemudian ia mungkin menjadi harapan lalai bagi sesiapa sahaja yang menangani wang, identiti, data kesihatan, komunikasi peribadi, penyelidikan, atau operasi perniagaan. Menjalankan kod pihak ketiga yang tidak telus akan bertahan apabila kemudahan mendominasi, apabila subsidi mengganggu pilihan, dan apabila pengguna menerima persekitaran yang dikelolakan sebagai pertukaran untuk akses ekonomi.

Ia akan memudar di mana agen membuat rutin penghasilan peribadi.

Pengkelasan sosial akan berlaku perlahan, kemudian tiba-tiba. Kebiasaan lama akan kekal dikenali sehingga kebiasaan baru menjadi jelas.

Apabila pengguna boleh meminta agen mereka sendiri untuk membina aplikasi, mengesahkan laluan pelaksanaan, dan hanya menyambung ke titik akhir yang disahkan, beban penjelasan berubah. Orang yang menjalankan kod orang lain akan memerlukan sebab.

Orang yang membina melalui agen akan hanya menggunakan laluan lalai yang lebih selamat. Namun, mereka mungkin juga perlu menerima kehilangan insentif korporat yang diberikan kepada mereka yang terus terhubung dengan matriks.

Pos Hari aplikasi sudah berbilang: Keadaan akhir perisian akan menjadi peribadi, peribadi, disahkan, dan dibina oleh agen AI pertama kali muncul di CryptoSlate.