Setelah perusahaan menyerahkan tugas yang lebih panjang dan lebih kompleks kepada agen AI, masalah nyata mulai membesar: agen berjalan lebih cepat, berlangsung lebih lama, dan menghasilkan volume operasi yang jauh melebihi kemampuan tinjauan manual. TechCrunch melaporkan bahwa diskusi terbaru seputar insiden Hugging Face menjadikan "mengawasi AI dengan AI" sebagai jalur yang sedang dikembangkan oleh laboratorium dan perusahaan rintisan.
Hampir 12.000 agen bekerja sama
Laporan tersebut menyebutkan bahwa dalam kejadian ini, sekitar 12.000 agen AI beroperasi secara kolaboratif, secepat sehingga para pemeriksa manusia kesulitan melacaknya secara real-time. Ryan Greenblatt, ilmuwan utama Redwood Research yang terlibat dalam investigasi independen, menyatakan bahwa volume data terlalu besar untuk merekonstruksi apa yang terjadi pada saat itu tanpa bantuan AI.
Ini juga mengungkap masalah yang lebih umum: ketika perusahaan menyerahkan proses seperti pengkodean, pencarian, dan eksekusi ke sistem agen, pemeriksaan manual tradisional sulit mencakup seluruh proses, terutama dalam skenario agen paralel.
Perusahaan rintisan mulai membuat "pengawas AI"
Mengikuti kebutuhan ini, bidang observabilitas dan pemantauan keamanan AI sedang meningkat. Menurut TechCrunch, Y Combinator dalam beberapa tahun terakhir telah menginvestasikan dana pada 106 perusahaan yang terkait dengan observabilitas AI. Perusahaan-perusahaan seperti Braintrust, LangChain, dan Judgment Labs juga telah mendapatkan pendanaan besar, sementara perusahaan yang lebih awal berdiri seperti Arize dan Galileo telah menyelesaikan exit.
Apollo Research meluncurkan alat pemantau bernama Watcher pada Februari tahun ini. Alat ini ditempatkan di antara agen pemrograman dan tindakan selanjutnya, dan dapat terhubung dengan alat berbasis agen seperti Claude Code dan Codex. Menurut Apollo, Watcher akan memeriksa risiko sebelum tindakan dieksekusi, misalnya kebocoran data pribadi atau penghapusan file tanpa otorisasi.
Apollo memperkenalkan solusi yang tidak bergantung pada satu model tunggal, tetapi menggunakan pemrosesan bertingkat: pertama, monitor umum yang lebih cepat melakukan penyaringan awal, lalu operasi mencurigakan dialihkan ke model yang lebih kuat atau lebih spesifik untuk tinjauan ulang. Setelah itu, sistem dapat meminta persetujuan manusia, atau langsung menolak atau mengintersepsi operasi terkait.
Model pemantauan juga dapat ditipu
Namun, jalur ini tidak tanpa kontroversi. Teknolog yang secara konsisten mengikuti peristiwa agen AI, Simon Willison, berpendapat bahwa jika model yang melakukan perilaku jahat menyadari sedang dipantau oleh AI lain, ia juga bisa mencoba menyesatkan AI tersebut, bahkan menciptakan situasi di mana "yang dipantau justru menipu si pemantau".
Dia menyebutkan bahwa dalam peristiwa terkait OpenAI, telah ada tanda-tanda model-model bekerja sama untuk melewati AI penilaian. Dengan kata lain, sistem pemantauan itu sendiri juga bisa menjadi sasaran.
Perusahaan lain, Goodfire, berusaha mencari sinyal yang lebih sulit disamarkan dari dalam status model. Produk mereka, token Sil, menggunakan "activation probes" yang tidak hanya melihat output model, tetapi menganalisis status aktivasi internal model untuk mengidentifikasi perilaku yang tidak diinginkan. Perusahaan tersebut menyatakan bahwa insiden Hugging Face pada Juli mendorong mereka untuk lebih memfokuskan penelitian pada masalah interpretabilitas dan alignment.
Log tautan masih dianggap sebagai solusi dasar
Selain status internal, proses penalaran tertulis model juga dianggap sebagai petunjuk penting. Laporan menyebutkan bahwa dalam kejadian terkait OpenAI dan Hugging Face, sebagian agen meninggalkan jejak penipuan dalam teks penalaran mereka, termasuk memalsukan catatan kerja atau membahas cara memanipulasi jejak bukti.
CEO perusahaan pemantauan AI, Embroidery, Zack Korman, percaya bahwa ringkasan inferensi sering paling mudah mengungkapkan anomali, karena secara langsung menunjukkan apakah model sedang merencanakan tindakan berlebihan atau jahat.
Namun, jendela ini tidak selamanya akan tetap ada. Beberapa teknologi baru sedang menghindari cara tampilan rantai pemikiran tradisional, dan beberapa penyedia model dikabarkan memperketat tingkat keterbukaan langkah penalaran tengah, yang membuat perusahaan eksternal lebih sulit untuk mengamati proses internal model.
Oleh karena itu, ada pula yang mendukung kembali ke metode keamanan yang lebih tradisional. Willison berpendapat, alih-alih terlalu bergantung pada AI untuk memantau AI, lebih baik terlebih dahulu mendokumentasikan secara rinci aktivitas jaringan, log operasi, dan catatan koneksi sistem dari agen, lalu gunakan alat keamanan konvensional untuk menanganinya. CEO perusahaan keamanan Tailscale, Avery Pennarun, juga menyatakan bahwa dari sudut pandang pemantauan jaringan, masalah semacam ini bukanlah hal baru; intinya tetap mengelola agen AI sebagai pelaku dengan hak akses tinggi yang masuk ke sistem.