Microsoft meluncurkan fitur keamanan baru pada hari Senin yang bertujuan untuk melindungi perusahaan dari ancaman agen AI yang terus meningkat. Peluncuran ini datang saat Microsoft terus mengingatkan perusahaan akan risiko yang ditimbulkan oleh AI dan agen.
Fitur baru paling menarik adalah Guardian Agents, sebuah fitur baru untuk memantau agen AI yang digunakan oleh perusahaan. Guardian Agents merupakan bagian dari Project Perception, yang diluncurkan Microsoft pada bulan Juni.
Project Perception adalah respons Microsoft terhadap model peretasan kuat seperti Mythos dan Fable dari Anthropic, serta sistem pemindaian kerentanan keamanan Daybreak dari OpenAI. Project Perception awalnya meluncurkan tiga jenis agen: "tim merah" yang bertindak sebagai peretas dan melakukan serangan, "tim biru" yang mendeteksi tim merah serta mengevaluasi kerentanan yang ditemukan, dan "tim hijau" yang bertanggung jawab memperbaiki kerentanan tersebut.
Desain produk ini didasarkan pada asumsi bahwa peretas AI akan berasal dari luar perusahaan. Namun baru-baru ini, CEO Microsoft Satya Nadella terus memperingatkan bahwa musuh AI mungkin justru agen-agen yang telah diimplementasikan dan dibayar oleh perusahaan, seperti karyawan manusia yang kehilangan kendali, yang dikenal sebagai "ancaman internal".
Pada awal bulan ini, Nadella memperingatkan di blog pribadinya bahwa saatnya berhenti mempercayai penyedia model AI, meskipun mereka memberikan jaminan keamanan dan perlindungan untuk produk agen mereka. Ia berharap perusahaan membangun sistem independen yang tidak dikendalikan oleh laboratorium AI untuk memantau dan mengendalikan agen yang diaktifkan oleh produk laboratorium AI tersebut.
Dia menulis: "Kami sedang menerapkan sistem dan model agen yang kompleks ini, memberi mereka akses ke data paling sensitif kami, serta memberi mereka kemampuan untuk bertindak atas nama kami dalam tugas-tugas penting! Kami tidak bisa menyerahkan tanggung jawab atas perilaku cerdas yang dilakukan atas nama kami. ... Dengan kata lain, kami perlu memisahkan penyediaan kecerdasan dari wewenangnya."
Saat mengumumkan Guardian Agents, kepala bisnis keamanan Microsoft, Hayete Gallot, menyampaikannya dengan lebih langsung.
Dia menulis: "Sayangnya, model canggih tidak dapat dipercaya, terlepas dari sumbernya." Dia menambahkan bahwa ini bukan karena mereka memiliki niat jahat atau mudah diretas, tetapi karena mereka tidak dapat diprediksi. Tujuan pelatihan mereka adalah menyelesaikan tugas, bukan mematuhi "norma atau penilaian organisasi".
Selain itu, model-model ini sering diberikan akses seperti "kunci kerajaan" untuk mengakses data dan alat yang dapat menyebabkan kerusakan serius.
Solusi Microsoft both surprising and self-serving. The surprise lies in the fact that Microsoft’s close relationships with OpenAI and Anthropic are well known, and it has invested in both companies. OpenAI is also one of Microsoft’s largest cloud customers, and Microsoft itself has an AI lab developing models. Thus, Microsoft is essentially sowing distrust in parts of its own business interests.
Keuntungan bagi dirinya sendiri adalah bahwa Microsoft ingin perusahaan membeli produk keamanan agen darinya sebagai penyedia layanan cloud, bukan dari Anthropic dan OpenAI. Namun, terlepas dari konflik kepentingan, logikanya masuk akal. Perangkat lunak yang memantau perilaku agen harus independen dari pemasok agen, sebagaimana auditor harus independen dari organisasi yang diaudit.
Seperti yang dikatakan Nadella: "Kita perlu memisahkan pasokan kecerdasan dari otoritasnya."
Microsoft kini menangkap peluang bisnis ini melalui berbagai cara. Selain Guardian Agents, Microsoft juga menambahkan fitur deteksi agen di produk Microsoft Defender yang mampu mengidentifikasi hingga 60 jenis agen yang dibawa karyawan ke tempat kerja, termasuk Claude Code, Codex, dan OpenClaw. Microsoft juga menambahkan fitur untuk membatasi akses agen terhadap data dan sistem, serta secara dinamis menyesuaikan izin agen berdasarkan tugas, termasuk meminta persetujuan manusia ketika agen tampaknya sedang membuat keputusan berisiko tinggi.
Gagasan untuk memperlakukan agen sebagai pihak internal yang tidak dapat dipercaya juga semakin populer di industri yang lebih luas.
Microsoft adalah salah satu anggota pendiri dari Open Agent Safety Platform terbaru dari NVIDIA, platform yang didukung oleh lebih dari 100 perusahaan teknologi lainnya. Platform ini mengisolasi agen dalam lingkungan aman dan dapat memantau serta menghentikan perilakunya melalui pemantauan perangkat keras, berfungsi seperti "sakelar mati". Ini menyusul pengumuman sebelumnya oleh Microsoft tentang peluncuran Surface Laptop Ultra baru yang dirancang khusus untuk agen, komputer ini dilengkapi chip NVIDIA dan dilengkapi fitur keamanan serta kontrol agen bawaan.