Microsoft cảnh báo các tác nhân AI gây ra mối đe dọa nội bộ và ra mắt các tác nhân Guardian

icon币界网
Chia sẻ
AI summary iconTóm tắt
Microsoft cảnh báo các tác nhân AI gây ra mối đe dọa nội bộ và ra mắt Guardian Agents để đối phó với các rủi ro. Động thái này theo sau phát biểu của CEO Satya Nadella rằng ngay cả các mô hình AI an toàn cũng cần được giám sát độc lập. Dự án Perception sử dụng các đội đỏ, đội xanh và đội xanh để mô phỏng và ngăn chặn các cuộc tấn công do AI gây ra. Microsoft Defender hiện đã bao gồm tính năng phát hiện tác nhân, giới hạn quyền truy cập và yêu cầu sự phê duyệt của con người đối với các hành động có rủi ro cao. Công ty là một phần của Nền tảng An toàn Tác nhân Mở của NVIDIA, cô lập các tác nhân trong môi trường an toàn. Cập nhật này được đưa ra giữa bối cảnh ngày càng gia tăng lo ngại trong tin tức AI + tiền điện tử về nguy cơ vi phạm bảo mật.
Bijiewang báo cáo:

Microsoft đã ra mắt các tính năng bảo mật mới vào thứ Hai, nhằm bảo vệ doanh nghiệp trước các mối đe dọa từ đại lý AI ngày càng gia tăng. Việc ra mắt này diễn ra trong bối cảnh Microsoft liên tục cảnh báo doanh nghiệp về các rủi ro do AI và đại lý gây ra.

Tính năng nổi bật nhất là Guardian Agents, một tính năng mới dùng để giám sát các đại lý AI mà doanh nghiệp đang sử dụng. Guardian Agents là một phần của Project Perception, sản phẩm mà Microsoft ra mắt vào tháng Sáu.

Project Perception là phản ứng của Microsoft đối với các mô hình hacker mạnh mẽ như Mythos và Fable của Anthropic, cũng như hệ thống quét lỗ hổng bảo mật Daybreak của OpenAI. Project Perception ban đầu đã ra mắt ba loại đại lý: “đội đỏ” đóng vai trò hacker và tiến hành tấn công, “đội xanh” phát hiện đội đỏ và đánh giá các lỗ hổng mà họ tìm thấy, cùng với “đội xanh lá” chịu trách nhiệm sửa chữa các lỗ hổng.

Thiết kế của sản phẩm này dựa trên giả định rằng các tin tặc AI sẽ đến từ bên ngoài công ty. Tuy nhiên, gần đây, CEO của Microsoft, Satya Nadella, đã cảnh báo rằng các kẻ thù AI có thể chính là những đại lý mà doanh nghiệp đã triển khai và trả tiền sử dụng, giống như những nhân viên con người mất kiểm soát, còn được gọi là “mối đe dọa nội bộ”.

Đầu tháng này, Nadella đã cảnh báo trên blog cá nhân rằng đã đến lúc ngừng tin tưởng vào các nhà cung cấp mô hình AI, ngay cả khi họ đưa ra các cam kết về bảo mật và bảo vệ cho các đại lý sản phẩm của mình. Ông mong muốn các doanh nghiệp xây dựng các hệ thống độc lập, không bị kiểm soát bởi các phòng thí nghiệm AI, để giám sát và kiểm soát các đại lý được khởi động bởi các sản phẩm của các phòng thí nghiệm AI này.

Anh ấy viết: “Chúng tôi đang triển khai các hệ thống và mô hình đại lý phức tạp này để cho chúng truy cập vào dữ liệu nhạy cảm nhất của chúng tôi và trao cho chúng khả năng thực hiện các hành động trọng yếu thay mặt chúng tôi! Chúng tôi không thể giao trách nhiệm cho những hành vi thông minh mà chúng tôi thực hiện. … Nói cách khác, chúng tôi cần tách biệt nguồn cung trí tuệ với quyền hạn của nó.”

Khi công bố Guardian Agents, người đứng đầu bộ phận bảo mật của Microsoft, Hayete Gallot, đã phát biểu trực tiếp hơn.

Cô ấy viết: “Tiếc là các mô hình tiên tiến, bất kể nguồn gốc, không thể được tin tưởng.” Cô bổ sung rằng điều này không phải vì chúng có ý đồ xấu hoặc dễ bị tấn công mạng, mà vì chúng không thể dự đoán được. Mục tiêu huấn luyện của chúng là hoàn thành nhiệm vụ, chứ không phải tuân theo “chuẩn mực hoặc phán xét của tổ chức”.

Ngoài ra, các mô hình này thường được trao quyền như “chìa khóa vương quốc”, cho phép truy cập vào dữ liệu và công cụ có thể gây thiệt hại nghiêm trọng.

Giải pháp của Microsoft vừa gây bất ngờ, vừa mang tính vị kỷ. Sự bất ngờ nằm ở chỗ, mối quan hệ giữa Microsoft với OpenAI và Anthropic vốn được biết đến là vô cùng mật thiết, và Microsoft đã đầu tư vào cả hai công ty này. OpenAI cũng là một trong những khách hàng đám mây lớn nhất của Microsoft, đồng thời chính Microsoft cũng có một phòng thí nghiệm AI tự phát triển mô hình. Do đó, Microsoft thực chất đang gieo rắc sự bất tín vào một phần lợi ích kinh doanh của chính mình.

Lợi ích tự thân nằm ở chỗ Microsoft mong muốn các doanh nghiệp mua các sản phẩm bảo mật đại diện từ chính họ – nhà cung cấp dịch vụ đám mây – thay vì mua từ Anthropic và OpenAI. Tuy nhiên, bỏ qua xung đột lợi ích, lập luận của họ là hợp lý: phần mềm giám sát hành vi của đại diện nên độc lập với nhà cung cấp đại diện, giống như các kiểm toán viên nên độc lập với tổ chức được kiểm toán.

Như Nadella đã nói: “Chúng ta cần tách biệt nguồn cung trí tuệ với quyền hạn của nó.”

Hiện tại, Microsoft đang tận dụng cơ hội kinh doanh này theo nhiều cách khác nhau. Ngoài Guardian Agents, Microsoft đã tích hợp tính năng phát hiện proxy vào sản phẩm Microsoft Defender, giúp nhận diện lên đến 60 loại proxy mà nhân viên mang vào nơi làm việc, bao gồm Claude Code, Codex và OpenClaw. Microsoft cũng đã bổ sung tính năng hạn chế quyền truy cập dữ liệu và hệ thống của proxy, đồng thời điều chỉnh quyền hạn của proxy một cách động dựa trên nhiệm vụ, bao gồm yêu cầu xác nhận thủ công khi proxy dường như đang đưa ra các quyết định có rủi ro cao.

Ý tưởng coi đại lý là những nhân viên nội bộ không đáng tin cũng đang trở nên phổ biến rộng rãi hơn trong ngành.

Microsoft là một trong những thành viên sáng lập của Open Agent Safety Platform mới được NVIDIA ra mắt, nền tảng này nhận được sự hỗ trợ từ hơn 100 công ty công nghệ khác. Nền tảng này cô lập các tác nhân trong môi trường an toàn và có thể giám sát bằng phần cứng cũng như ngăn chặn hành vi của chúng, về chức năng giống như một “công tắc tắt khẩn cấp”. Điều này diễn ra ngay sau khi Microsoft công bố ra mắt dòng Surface Laptop Ultra mới dành riêng cho tác nhân, những chiếc máy này được trang bị chip NVIDIA và tích hợp các tính năng bảo mật và kiểm soát tác nhân.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.