Microsoft melancarkan ciri keselamatan baharu pada hari Isnin, yang bertujuan untuk melindungi perniagaan daripada ancaman agen AI yang semakin meningkat. Pelancaran ini berlaku semasa Microsoft terus mengingatkan perniagaan mengenai risiko yang dibawa oleh AI dan agen.
Fungsi baharu yang paling menarik ialah Guardian Agents, sebuah fungsi baru untuk memantau agen AI yang digunakan oleh perusahaan. Guardian Agents merupakan sebahagian daripada Project Perception, yang dilancarkan oleh Microsoft pada Jun.
Project Perception adalah respons Microsoft terhadap model peretasan kuat seperti Mythos dan Fable dari Anthropic, serta sistem pemindai lubang keamanan Daybreak dari OpenAI. Project Perception awalnya melancarkan tiga jenis agen: "tim merah" yang bertindak sebagai peretas dan melancarkan serangan, "tim biru" yang mendeteksi tim merah dan menilai lubang keamanan yang ditemukan, serta "tim hijau" yang bertanggung jawab memperbaiki lubang keamanan tersebut.
Reka bentuk produk ini berdasarkan anggapan bahawa peringkat AI akan datang dari luar syarikat. Namun, baru-baru ini, CEO Microsoft, Satya Nadella, telah memperingatkan bahawa musuh AI mungkin ialah agen yang telah dideploy dan dibayar oleh syarikat itu sendiri, sama seperti pekerja manusia yang tidak terkawal, iaitu apa yang dikenali sebagai "ancaman dalaman".
Pada awal bulan ini, Nadella memperingatkan dalam blog peribadinya bahawa sudah tiba masanya untuk berhenti mempercayai penyedia model AI, walaupun mereka memberi jaminan keselamatan dan perlindungan terhadap produk agen mereka. Beliau ingin syarikat membina sistem bebas yang tidak dikawal oleh makmal AI, untuk memantau dan mengawal agen yang dinyalakan oleh produk makmal AI tersebut.
Dia menulis: "Kami sedang menghuraikan sistem dan model agen yang kompleks ini, membenarkan mereka mengakses data paling sensitif kami, dan memberi mereka keupayaan untuk bertindak atas nama kami dalam tugas-tugas penting! Kami tidak boleh mengalihkan tanggungjawab atas perilaku pintar yang dilakukan atas nama kami. ... Dengan kata lain, kami perlu memisahkan bekalan kecerdasan daripada kuasa mereka."
Semasa pengumuman Guardian Agents, ketua perniagaan keselamatan Microsoft, Hayete Gallot, membuat pernyataan yang lebih terus terang.
Dia menulis: "Sayangnya, model terkini, tanpa mengira sumbernya, tidak boleh dipercayai." Dia menambahkan, ini bukan kerana ia bermaksud jahat atau mudah diretas, tetapi kerana ia tidak dapat diramalkan. Tujuan latihan mereka ialah untuk menyelesaikan tugas, bukan untuk mematuhi "norma atau penilaian organisasi".
Selain itu, model-model ini sering diberikan kuasa seperti "kunci kerajaan" untuk mengakses data dan alat yang boleh menyebabkan kerosakan serius.
Penyelesaian Microsoft adalah sesuatu yang mengejutkan dan bersifat egois. Yang mengejutkan ialah hubungan Microsoft dengan OpenAI dan Anthropic sudah diketahui sangat rapat, dan Microsoft telah melabur dalam kedua-dua syarikat tersebut. OpenAI juga merupakan salah satu pelanggan awan terbesar Microsoft, dan Microsoft sendiri mempunyai sebuah laboratorium AI yang mengembangkan model. Oleh itu, Microsoft sebenarnya sedang menanam ketidakpercayaan terhadap sebahagian kepentingan perniagaannya sendiri.
Keuntungan pihak sendiri ialah Microsoft ingin syarikat membeli produk keselamatan agen daripadanya sebagai penyedia perkhidmatan awan, bukan daripada Anthropic dan OpenAI. Namun, tanpa mempertimbangkan konflik kepentingan, logiknya adalah munasabah. Perisian yang memantau tingkah laku agen sepatutnya bebas daripada pembekal agen, sama seperti auditor harus bebas daripada organisasi yang diaudit.
Seperti yang dikatakan Nadella: "Kita perlu memisahkan bekalan kecerdasan daripada kuasanya."
Microsoft kini menangkap peluang perniagaan ini melalui pelbagai cara. Selain Guardian Agents, ia juga telah menambahkan fungsi pengesanan agen ke dalam produk Microsoft Defender, yang mampu mengenal pasti sehingga 60 jenis agen yang dibawa oleh pekerja ke tempat kerja, termasuk Claude Code, Codex, dan OpenClaw. Microsoft juga telah menambahkan fungsi untuk membatasi akses agen kepada data dan sistem, serta menyesuaikan kebenaran agen secara dinamik berdasarkan tugas, termasuk memerlukan persetujuan manusia apabila agen kelihatan sedang membuat keputusan berisiko tinggi.
Gagasan menganggap agen sebagai orang dalaman yang tidak boleh dipercayai juga semakin popular dalam industri yang lebih luas.
Microsoft adalah salah satu ahli asas kepada Open Agent Safety Platform baharu NVIDIA, yang disokong oleh lebih 100 syarikat teknologi lain. Platform ini mengasingkan agen dalam persekitaran selamat dan boleh memantau serta menghentikan perilakunya melalui pemantauan peranti keras, berfungsi seperti "suis penghentian". Ini mengikuti pengumuman sebelumnya oleh Microsoft mengenai pelancaran Surface Laptop Ultra PC baharu khas untuk agen, komputer-komputer ini dilengkapi dengan cip NVIDIA dan dilengkapi dengan fungsi keselamatan dan kawalan agen.