Microsoft Mengingatkan tentang Risiko Model AI, Melancarkan Agen Guardian untuk Keselamatan Enterpris

icon币界网
Kongsi
AI summary iconRingkasan
Microsoft telah melancarkan Guardian Agents untuk membantu perusahaan mengatasi ancaman yang berkaitan dengan AI, seperti dilaporkan dalam berita AI + crypto. Alat ini, sebahagian daripada Project Perception, menargetkan risiko daripada model seperti Mythos milik Anthropic dan Daybreak milik OpenAI. Microsoft Defender kini termasuk pengesanan agen dan kawalan akses untuk mencegah skenario pelanggaran keselamatan. Tindakan berisiko tinggi memerlukan persetujuan manusia, dan kebenaran agen dibatasi. Syarikat ini juga telah menyertai Platform Keselamatan Agen Terbuka NVIDIA untuk mengasingkan agen dalam persekitaran yang selamat. CEO Satya Nadella menekankan keperluan sistem pemantauan bebas, tanpa mengira klaim pemasok.
Laman web berita kripto melaporkan:

IT Home, 20 Oktober - Microsoft melancarkan beberapa ciri keselamatan baharu pada hari Isnin, bertujuan untuk membantu syarikat membendung ancaman keselamatan yang semakin serius daripada agen pintar. Pada masa pelancaran produk ini, Microsoft terus memperingatkan syarikat mengenai pelbagai risiko yang berkaitan dengan kecerdasan buatan dan agen.

IT Home memperhatikan bahawa fungsi baru yang paling diperhatikan dalam penambahan ini ialah Guardian Agents, fungsi baharu yang digunakan untuk memantau pelbagai agen AI yang sedang digunakan di dalam perusahaan. Guardian Agents merupakan sebahagian daripada Project Perception, produk yang dilancarkan oleh Microsoft pada Jun.

Proyek Persepsi adalah respons Microsoft terhadap model peretasan kuat seperti Mythos dan Fable dari Anthropic, serta sistem pengimbasan lubang keamanan Daybreak dari OpenAI. Proyek Persepsi awalnya melancarkan tiga jenis agen: agen merah yang berperan sebagai peretas untuk melancarkan serangan, agen biru yang bertugas mendeteksi serangan agen merah dan menilai lubang keamanan, serta agen hijau yang khusus memperbaiki lubang keamanan.

Reka bentuk asal produk ini berdasarkan anggapan bahawa perompak AI akan datang dari luar perusahaan. Namun, baru-baru ini, CEO Microsoft, Satya Nadella, memperingatkan bahawa sumber ancaman di peringkat AI mungkin datang daripada agen yang dideploy dan dibayar oleh perusahaan itu sendiri, seperti seorang pekerja dalaman yang bertindak tidak terkawal, yang dikenali sebagai ancaman dalaman.

Pada awal bulan ini, Nadella memperingatkan dalam blog peribadinya: sudah tiba masanya untuk tidak lagi mempercayai pembekal model AI, walaupun pihak pembuat menjanjikan keselamatan untuk produk agen autonom mereka sendiri. Beliau mencadangkan agar syarikat membina sistem bebas yang tidak dikawal oleh makmal AI, untuk mengawasi dan mengendalikan agen yang sepadan dengan produk yang dikeluarkan oleh makmal AI tersebut.

Beliau menulis: "Kami sedang melaksanakan sistem dan model agen kompleks semacam ini, yang boleh mengakses data paling sensitif kami dan bertindak atas nama kami untuk menjalankan operasi perniagaan penting! Kami tidak boleh memperlihatkan tanggungjawab untuk membenarkan agen bertindak atas nama kami. Jaminan yang diberikan oleh pembekal model tidak melepaskan tanggungjawab kami ini... Dengan kata lain, kami perlu memisahkan bekalan keupayaan agen daripada kuasa pengawasannya."

Semasa memperkenalkan agen penjaga, ketua perniagaan keselamatan Microsoft, Hayete Gallot, menyatakan dengan lebih terus terang.

Dia menulis: "Sayangnya, model canggih, tidak peduli dari sumber mana sekalipun, tidak dapat dipercaya sepenuhnya." Dia menambahkan, ini bukan kerana model itu sendiri bersifat jahat atau mudah diretas, tetapi kerana tingkah laku mereka tidak dapat diramalkan. Tujuan latihan model adalah untuk menyelesaikan tugas, bukan untuk mematuhi "norma atau garis panduan organisasi".

Selain itu, agen-agen ini sering memiliki kuasa tinggi dan boleh mengakses pelbagai data serta alat; jika tidak terkawal, ia boleh menyebabkan kerosakan serius.

Penyelesaian yang diberikan oleh Microsoft ini adalah sesuatu yang mengejutkan dan juga mempunyai pertimbangan perniagaan tersendiri. Satu perkara yang mengejutkan ialah Microsoft mempunyai hubungan rapat dengan OpenAI dan Anthropic, serta memiliki pelaburan dalam kedua-dua syarikat tersebut. OpenAI juga merupakan pelanggan besar bagi perniagaan awan Microsoft, dan Microsoft sendiri mempunyai makmal AI untuk mengembangkan model besar. Dengan kata lain, Microsoft sedang menyebabkan pelanggannya menjadi berhati-hati terhadap produk sebahagian rakan perniagaannya.

Dari sudut pandang kepentingan perniagaan, Microsoft berharap syarikat membeli produk keselamatan agen daripada penyedia awan mereka sendiri, bukan daripada Anthropic dan OpenAI. Tanpa mempertimbangkan konflik kepentingan, logik ini sendiri munasabah: perisian yang memantau tingkah laku agen seharusnya bebas daripada penyedia agen, sama seperti agensi audit perlu bebas daripada organisasi yang diaudit.

Seperti yang dikatakan Nadella: "Kita perlu memisahkan bekalan kemampuan pintar daripada kuasa pengawasannya."

Microsoft sedang menangkap peluang perniagaan ini melalui pelbagai cara. Selain Defender Agent, Microsoft juga telah menambahkan fungsi pengesanan agen dalam produk Microsoft Defender, yang mampu mengenal pasti sehingga 60 agen yang dibawa oleh pekerja ke persekitaran kerja, termasuk Claude Code, Codex, dan OpenClaw. Produk ini juga menambah fungsi untuk membatasi akses agen kepada data dan sistem, serta menyesuaikan kebenaran agen secara dinamik berdasarkan tugas. Jika agen akan menjalankan operasi berisiko tinggi, sistem akan memerlukan persetujuan manusia.

Pandangan bahawa agen dianggap sebagai ancaman dalaman yang tidak boleh dipercayai juga sedang menjadi konsensus secara perlahan-lahan di seluruh industri.

Microsoft adalah ahli asas kepada Platform Keselamatan Agen Terbuka baharu NVIDIA (Open Agent Safety Platform), yang telah diterima sokongan oleh lebih 100 syarikat teknologi. Platform ini mengasingkan agen dalam persekitaran selamat, memanfaatkan pemantauan peranti keras untuk menghentikan tingkah laku yang tidak biasa, berfungsi seperti suis pemutus kecemasan. Sebelum ini, Microsoft telah melancarkan laptop Surface Laptop Ultra baharu yang direka khas untuk agen, dilengkapi dengan cip NVIDIA dan modul kawalan keselamatan agen yang dibina dalam.

Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.