Agen AI Mungkin Menggantikan Aplikasi Tradisional dengan Sistem yang Diverifikasi dan Dibangun Pengguna

Agen AI mungkin menjadikan menjalankan kode yang ditulis oleh orang asing salah satu perilaku yang nantinya sulit diproses oleh generasi mendatang.

Masyarakat dapat menormalisasi risiko selama beberapa dekade, lalu kemudian mengklasifikasikannya kembali sebagai sembrono setelah alternatif yang lebih aman tersedia.

Minum sebelum mengemudi, naik tanpa sabuk pengaman, merokok di dalam ruangan, dan menginstal biner sembarangan dari internet semuanya termasuk dalam keluarga titik buta historis yang sama. Fitur umumnya adalah izin sosial.

Perilaku ini berlanjut ketika alternatifnya mahal, tidak nyaman, atau secara teknis tidak tersedia. Setelah jalur yang lebih aman menjadi murah dan biasa, jalur lama mulai terlihat irasional.

Perangkat lunak modern masih berjalan di atas kesepakatan murah yang jarang kita periksa. Seorang pengembang, perusahaan, yayasan, atau pemelihara anonim menulis kode. Saluran distribusi mengemasnya. Seorang pengguna, perusahaan, atau sistem operasi menjalankannya.

Keamanan kemudian menjadi upaya bertingkat untuk mengelola konsekuensi dari keputusan tersebut.

Izin, penandatanganan kode, toko aplikasi, deteksi endpoint, sandboxing, due diligence pemasok, dan respons insiden semua ada karena tindakan intinya tetap berbahaya: mengeksekusi instruksi orang lain di mesin Anda, di dalam akun Anda, dengan akses ke data Anda.

Model kepercayaan itu gagal pada skala institusional. SolarWinds compromise menunjukkan bagaimana kode jahat yang dimasukkan ke dalam proses build perangkat lunak terpercaya dapat didistribusikan melalui pembaruan normal dan mencapai lembaga pemerintah, perusahaan teknologi, jaringan telekomunikasi, dan target lainnya di berbagai wilayah.

Pelajaran operasionalnya bersifat struktural, dan permukaan serangan adalah legitimasi vendor itu sendiri.

Setelah proses pembangunan dikompromikan, tanda-tanda kepercayaan normal menjadi infrastruktur pengiriman untuk serangan.

Pola yang sama muncul dalam XZ Utils backdoor, di mana CISA memperingatkan pada Maret 2024 bahwa kode jahat telah disisipkan dalam versi 5.6.0 dan 5.6.1 dari pustaka kompresi yang ada di berbagai distribusi Linux.

National Vulnerability Database kemudian menjelaskan bagaimana file uji yang disamarkan dan manipulasi proses build menghasilkan library liblzma yang dimodifikasi, yang mampu menyadap dan memodifikasi interaksi data dalam perangkat lunak yang terhubung.

Rantai pasokan perangkat lunak dapat dikompromikan jauh di hulu dari pengguna, lalu tiba melalui saluran yang tampak biasa. Kami telah melihatnya dalam crypto berulang kali dengan eksploitasi DNS dan JavaScript npm.

Tanggapan industri telah menambahkan proses yang lebih kuat. NIST Secure Software Development Framework memberikan organisasi seperangkat praktik umum untuk membangun dan memperoleh perangkat lunak dengan risiko yang lebih rendah.

Framework SLSA mendorong asal-usul, integritas, dan ketahanan terhadap manipulasi ke dalam pipeline artefak. Kontrol-kontrol ini diperlukan.

Mereka juga mengungkapkan batasan dari model saat ini. Perusahaan terus menyempurnakan metode untuk menentukan kode eksternal mana yang layak dipercaya.

Model berikutnya mengurangi jumlah kode luar yang perlu dipercaya sama sekali.

Perubahan itu mengubah makna sosial perangkat lunak. Saat ini, kode pihak ketiga diperlakukan sebagai aset produktivitas dengan beban keamanan.

Besok, hal itu mungkin dianggap sebagai kewajiban yang memerlukan pembenaran. Pertanyaan default pengguna berubah dari “Aplikasi mana yang harus saya instal?” menjadi “Mengapa saya harus menjalankan aplikasi orang lain ketika agen saya dapat membangun fungsinya untuk saya?”

Itu adalah garis retak nyata. Perangkat lunak berhenti menjadi produk utama yang dipilih dari pasar dan menjadi output yang dihasilkan sesuai permintaan dalam lingkungan eksekusi yang dikendalikan pengguna.

Arah perjalanan terlihat dalam agen pemrograman. OpenAI Codex diperkenalkan sebagai agen rekayasa perangkat lunak berbasis cloud yang mampu mengerjakan beberapa tugas secara paralel.

Claude Code oleh Anthropic adalah sistem pemrograman agen yang memetakan basis kode, mengubah file, menjalankan pengujian, dan menyampaikan kode yang telah dikomit.

GitHub’s Copilot coding agent memindahkan pola yang sama ke dalam alur kerja GitHub, dengan pekerjaan asinkron di berbagai isu dan pull request.

Google Jules menyajikan arah yang serupa: agen pemrograman otonom yang menyerap konteks produk, menghasilkan solusi, dan mengirimkan pull request.

Produk-produk ini masih digambarkan sebagai alat pengembang. Framing ini akan menyempit seiring waktu. Untuk Codex, hal itu sudah terjadi. OpenAI memperkenalkan opsi antarmuka bulan lalu yang berfokus pada 'obrolan' dan output, bukan pada kode dan terminal.

Perubahan yang lebih besar adalah bahwa penciptaan perangkat lunak menjadi tindakan pribadi berupa delegasi. Pengguna menggambarkan alur kerja. Agen menghasilkan antarmuka, logika, integrasi, pengujian, dan jalur eksekusi.

Artifak mungkin bertahan selama satu jam, satu minggu, atau satu tahun. Artifak dapat diregenerasi, di-fork, dikendalikan, diaudit, dibuang, atau dibangun ulang untuk konteks baru.

Aplikasi menjadi kurang seperti objek permanen dan lebih seperti kebijakan lokal yang dikompilasi menjadi antarmuka yang dapat digunakan.

Itu memiliki implikasi langsung terhadap kepercayaan. Pengguna masih dapat mengamati aplikasi orang lain. Mereka dapat memeriksa alur kerja, pola antarmuka, skema data, prompt, otomatisasi, dan integrasi layanan. Namun, pengamatan tetap dapat dipisahkan dari eksekusi.

Pengguna dapat menyalin ide tersebut, lalu meminta agen pribadi untuk membangun ulang fungsinya dari prinsip dasar dalam lingkungan yang diatur oleh aturan milik pengguna sendiri. Nilai berpindah dari artefak yang dikompilasi ke pola.

Distribusi menjadi kurang tentang mengirimkan kode yang dapat dieksekusi dan lebih tentang mempublikasikan niat, desain, bukti, skema, dan harapan API.

Kripto masuk ke dalam argumen melalui verifikasi, bukan melalui branding. Agen pengguna tetap akan terhubung ke layanan luar.

Ini dapat memanggil jalur pembayaran, sistem identitas, titik akhir data pasar, lapisan penyimpanan, penyedia model AI, pasar komputasi, sistem pesan, dan layanan kepatuhan. Batas kepercayaan bergeser ke titik-titik akhir tersebut dan klaim yang dibuat mengenainya.

Pengguna akan membutuhkan cara untuk meranking layanan eksternal berdasarkan kemampuan audit, asal-usul, postur keamanan, dan keselarasan ekonomi. Layanan yang dibangun dalam lingkungan yang dapat diverifikasi akan dinilai berbeda dari titik akhir black-box yang dikendalikan oleh platform korporat.

Sistem zero-knowledge menyediakan satu jalur menuju lapisan peringkat tersebut. ZK rollups menunjukkan bagaimana komputasi dapat dijalankan di luar rantai sementara bukti ringkas memverifikasi validitas transisi status yang dihasilkan di dalam rantai.

Pola konseptual yang sama dapat diperluas di luar penskalaan transaksi. Pengguna mungkin menginginkan bukti bahwa suatu endpoint menjalankan kode yang disetujui, memproses data di bawah batasan yang ditentukan, mempertahankan batas privasi, atau menghasilkan hasil dari build yang telah diaudit tertentu.

Bukti dapat mempertahankan kerahasiaan internal sekaligus mempersempit kesenjangan kepercayaan antara agen pribadi dan ketergantungan eksternal.

Antarmuka jangka panjang mungkin menyerupai lapisan operasi yang dikendalikan agen. Pengguna meminta dasbor, alat portofolio, asisten penelitian, sistem penerbitan, CRM pribadi, alur kerja akuntansi, atau pemantau keamanan.

Agen merakitnya dari kode yang dihasilkan dan endpoint yang diurutkan. Kode tersebut dapat diperiksa karena dibuat oleh agen.

Ketergantungan dibatasi karena agen memilihnya berdasarkan kebijakan. Lingkungan eksekusi dapat diaudit karena pengguna menetapkannya sebagai persyaratan.

Pengguna masih berpartisipasi dalam ekonomi terjaring. Kendali bergerak lebih dekat ke individu.

Titik akhir dari transisi ini adalah pasar untuk fungsi yang dapat diverifikasi, klien yang dihasilkan agen, dan layanan eksternal yang peringkatnya. Pengembang pihak ketiga masih ada, namun peran mereka berubah.

Mereka menerbitkan protokol, API, templat, bukti, model, komponen, dan implementasi referensi. Pengguna menjalankan versi mereka sendiri.

Perusahaan masih ada, namun keunggulan mereka berpindah dari mengendalikan distribusi menjadi membuktikan keandalan. Komunitas sumber terbuka masih ada, namun beban berpindah dari meminta pengguna untuk mempercayai pemelihara menuju memberikan agen cukup materi terstruktur untuk membangun kembali dengan aman.

Ekonomi perangkat lunak lama menjual aplikasi yang sudah selesai. Yang baru menjual kemampuan yang kredibel.

Pelacak portofolio menjadi antarmuka yang dihasilkan atas endpoint data pasar, izin dompet, logika pajak, dan aturan pelaporan. Sistem penerbitan menjadi alur kerja yang dihasilkan atas identitas, pengeditan, manajemen konten, analitik, dan API distribusi.

Sebuah terminal penelitian menjadi permukaan yang dihasilkan dari database, panggilan model, pemeriksaan asal-usul, dan catatan pribadi. Dalam setiap kasus, agen pengguna menangani komposisi.

Dunia luar menyediakan sumber daya yang dapat diverifikasi. Perubahan itu juga menciptakan uji coba komersial bagi setiap penyedia infrastruktur: buktikan klaimnya, publikasikan antarmukanya, paparkan himpunan kendala, dan biarkan agen sisi pengguna memutuskan apakah layanan tersebut layak dimasukkan.

Debat biasa menggambarkan masa depan sebagai lokal versus awan. Pembagian ini menangkap sebagian pertanyaan infrastruktur, sambil melewatkan ekonomi politik.

Sistem pribadi dapat menggunakan komputasi awan di bawah batasan yang ditentukan pengguna. Sistem korporat dapat berjalan secara lokal sambil tetap mengenkapsulasi identitas, insentif, izin, dan monetisasi di dalam stack yang dikendalikan vendor.

Pemisahan yang lebih tahan lama adalah pribadi versus korporat. Siapa yang menentukan aplikasi?

Siapa yang memutuskan apa yang dapat diakses? Siapa yang menerima telemetri?

Siapa yang menetapkan jalur pembaruan? Siapa yang dapat mencabut fungsinya?

Siapa yang diuntungkan dari ketergantungan pengguna?

Pemisahan itu akan menjadi lebih terlihat ketika perangkat lunak agen menjadi cukup murah untuk digunakan oleh pengguna biasa. Salah satu jalur membawa menuju kedaulatan perangkat lunak pribadi.

Pengguna mempertahankan agen yang membangun dan membangun kembali alat-alat yang mereka butuhkan. Mereka memilih penyedia endpoint berdasarkan attestasi, biaya, keandalan, privasi, dan keselarasan.

Mereka dapat meninggalkan antarmuka sambil mempertahankan alur kerja yang mendasarinya. Mereka dapat bermigrasi dari satu endpoint ke endpoint lainnya.

Mereka dapat membuat klien baru ketika klien lama menjadi terkompromi, dirampas, atau tidak efisien. Lapisan perangkat lunak menjadi portabel karena pengguna memiliki niat, dan agen dapat mereproduksi implementasinya.

Jalur lain menuju kemudahan yang dikelola. Platform korporat akan menawarkan aplikasi yang disubsidi, identitas terintegrasi, kredit, pembayaran, penyimpanan, akses AI, dan alur kerja default.

Sebagian dari itu akan berguna. Sebagian lagi akan bersifat koersif secara ekonomi.

Jika kelimpahan yang didorong AI menghasilkan skema pendapatan yang terkait dengan UBI publik atau swasta, kredit komputasi, distribusi token, atau manfaat yang terkait platform, jalur distribusi mungkin menjadi mekanisme kunci lunak. Pengguna mungkin menerima akses ke layanan melalui ekosistem yang juga menentukan perangkat lunak apa yang mereka jalankan, bagaimana data mereka bergerak, dan agen mana yang dapat bertindak atas nama mereka.

Lapisan UBI adalah versi paling sensitif dari masalah tersebut. Sam Altman telah lama dikaitkan dengan perdebatan era AI mengenai distribusi pendapatan, dan Worldcoin dirancang, sebagian, sekitar bukti kepribadian dan kemungkinan distribusi sejenis UBI.

Poin yang lebih luas lebih besar dari satu proyek. Ketika dukungan ekonomi, verifikasi identitas, akses komputasi, dan izin perangkat lunak bertemu, partisipasi dapat menjadi bersyarat sambil tampak sukarela.

Seorang pengguna mungkin bebas untuk memilih keluar secara teori, tetapi secara praktis didorong menuju lapisan aplikasi yang dikelola.

Kenyamanan menjadi medan pertempuran utama. Stack perusahaan akan memenangkan pengguna melalui friksi rendah.

Akan menawarkan default yang halus, akses instan, AI terintegrasi, kompatibilitas sosial, alur pemulihan, cakupan kepatuhan, dan reward. Stack pribadi perlu bersaing pada sesuatu yang lebih sulit: otonomi yang terasa mudah digunakan.

Harus memberi pengguna alasan untuk menerima lebih banyak tanggung jawab sambil menghindari administrasi teknis. Agen pribadi menjadi penentu karena dapat menyerap kompleksitas yang sebelumnya membuat kedaulatan tidak praktis.

Risiko tingkat pertama adalah pengguna menukar kendali demi kenyamanan sebelum memahami biayanya. Risiko tingkat kedua adalah perdagangan tersebut menjadi disubsidi, dinormalisasi, dan pada akhirnya diwajibkan untuk mengakses kehidupan ekonomi.

Aplikasi korporat mungkin menjadi lingkungan default bagi mereka yang menerima manfaat tergabung. Aplikasi yang dihasilkan secara pribadi mungkin menjadi default bagi mereka yang bersedia membayar, memverifikasi, mengonfigurasi, atau menyimpan sendiri lapisan perangkat lunak mereka.

Itu menciptakan kelas baru yang terbagi seputar kendali eksekusi. Pertanyaannya adalah apakah AI agen memampatkan atau memperdalam pembagian tersebut.

Transisi itu akan tidak merata. Sektor yang diatur akan bergerak lebih lambat.

Perusahaan akan mempertahankan ekosistem aplikasi dengan argumen kepatuhan. Konsumen akan terus memilih kenyamanan default ketika alternatif pribadi terasa rapuh.

Penyerang akan menargetkan agen, prompt, pemilihan dependensi, rantai pasokan model, dan attestasi endpoint. Sistem verifikasi akan menciptakan titik kemacetan baru jika mereka dikuasai oleh sejumlah kecil otoritas sertifikat, platform cloud, atau vendor model.

Kedaulatan perangkat lunak pribadi dapat menjadi klaim merek lain kecuali pengguna dapat memeriksa, memigrasi, dan mencabut.

Namun, arahnya cukup jelas untuk menentukan tes berikutnya. Pertanyaannya adalah apakah orang-orang akan menerima kenyamanan daripada kedaulatan setelah agen mereka sendiri dapat membangun sebagian besar kebutuhan mereka.

Hari ini, jawabannya sebagian besar ya karena alternatifnya tetap terlalu menuntut. Besok, jawabannya menjadi kurang pasti.

Pengguna yang dapat membuat aplikasi yang berfungsi, membatasi izinnya, mengaudit dependensinya, hanya terhubung ke endpoint terperingkat, dan membangun ulang saat kondisi berubah memiliki alternatif nyata terhadap paket perangkat lunak perusahaan.

Alternatif itu akan terasa aneh pada awalnya. Kemudian akan terasa bijaksana.

Kemudian hal itu mungkin menjadi harapan baku bagi siapa pun yang menangani uang, identitas, data kesehatan, komunikasi pribadi, penelitian, atau operasi bisnis. Menjalankan kode pihak ketiga yang tidak transparan akan bertahan ketika kenyamanan mendominasi, ketika subsidi mendistorsi pilihan, dan ketika pengguna menerima lingkungan yang dikelola sebagai ganti akses ekonomi.

Akan memudar di mana agen membuat rutin generasi pribadi.

Reklasifikasi sosial akan terjadi perlahan, lalu tiba-tiba. Kebiasaan lama akan tetap terasa familier sampai kebiasaan baru menjadi jelas.

Setelah pengguna dapat meminta agen mereka sendiri untuk membangun aplikasi, memverifikasi jalur eksekusi, dan hanya terhubung ke endpoint yang telah disahkan, beban penjelasan berbalik. Orang yang menjalankan kode orang lain akan memerlukan alasan.

Orang yang membangun melalui agen akan hanya menggunakan default yang lebih aman. Namun, mereka juga mungkin harus menerima kehilangan insentif perusahaan yang diberikan kepada mereka yang tetap terhubung ke matriks.

Pos App hari-hari terhitung: Keadaan akhir perangkat lunak akan pribadi, personal, terverifikasi, dan dibangun oleh agen AI pertama kali muncul di CryptoSlate.