Microsoft cảnh báo về các rủi ro của mô hình AI, ra mắt Guardian Agents để tăng cường bảo mật doanh nghiệp

icon币界网
Chia sẻ
AI summary iconTóm tắt
Microsoft đã triển khai Guardian Agents để hỗ trợ các doanh nghiệp đối phó với các mối đe dọa liên quan đến AI, theo tin tức AI + crypto. Công cụ này, thuộc Dự án Perception, nhắm vào các rủi ro từ các mô hình như Mythos của Anthropic và Daybreak của OpenAI. Microsoft Defender hiện đã bao gồm tính năng phát hiện agent và kiểm soát truy cập để ngăn chặn các kịch bản vi phạm bảo mật. Các hành động có nguy cơ cao yêu cầu sự phê duyệt của con người, và quyền hạn của agent bị giới hạn. Công ty cũng tham gia Nền tảng An toàn Agent Mở của NVIDIA để cô lập các agent trong môi trường an toàn. CEO Satya Nadella nhấn mạnh nhu cầu về các hệ thống giám sát độc lập, bất kể các tuyên bố từ nhà cung cấp.
Bijiewang báo cáo:

IT之家 10月20日消息,微软于当地时间周一推出了多项全新安全功能,旨在帮助企业抵御日益严峻的智能体带来的安全威胁。在发布该产品之际,微软持续向企业警示人工智能与智能体存在的各类风险。

IT之家 nhận thấy, tính năng được quan tâm nhất trong đợt bổ sung này chính là Guardian Agents, tính năng mới dùng để giám sát các AI agent đang được sử dụng trong doanh nghiệp. Guardian Agents thuộc dự án Perception, một sản phẩm mà Microsoft ra mắt vào tháng 6.

Dự án Perception là giải pháp của Microsoft nhằm đối phó với các mô hình hacker mạnh mẽ của Anthropic như Mythos và Fable, cũng như hệ thống quét lỗ hổng bảo mật Daybreak của OpenAI. Ban đầu, Dự án Perception triển khai ba loại tác nhân: tác nhân đỏ đóng vai trò hacker thực hiện tấn công, tác nhân xanh chịu trách nhiệm phát hiện các cuộc tấn công của tác nhân đỏ và đánh giá lỗ hổng, cùng tác nhân xanh lá chuyên sửa chữa lỗ hổng.

Ban đầu, thiết kế của sản phẩm này giả định rằng các tin tặc AI sẽ đến từ bên ngoài doanh nghiệp. Tuy nhiên, gần đây, CEO của Microsoft, Satya Nadella, đã cảnh báo rằng nguồn đe dọa ở cấp độ AI có thể chính là các tác nhân mà doanh nghiệp tự triển khai và trả tiền sử dụng, giống như một nhân viên nội bộ hành vi mất kiểm soát, còn được gọi là “mối đe dọa nội bộ”.

Đầu tháng này, Nadella đã đưa ra cảnh báo trên blog cá nhân: đã đến lúc không còn tin tưởng vào các nhà cung cấp mô hình AI, ngay cả khi các nhà sản xuất cam kết đảm bảo an toàn cho các sản phẩm tác nhân tự chủ của chính họ. Ông đề xuất các doanh nghiệp xây dựng các hệ thống độc lập, không bị kiểm soát bởi các phòng thí nghiệm AI, nhằm giám sát và quản lý các tác nhân tương ứng với các sản phẩm do các phòng thí nghiệm AI đưa ra.

Anh ấy viết: “Chúng tôi đang triển khai các hệ thống và mô hình tác nhân phức tạp như vậy, có thể truy cập vào dữ liệu nhạy cảm nhất của chúng tôi và thực hiện các thao tác kinh doanh quan trọng thay mặt chúng tôi! Chúng tôi tuyệt đối không thể giao phó trách nhiệm để tác nhân hành động thay mình cho bên ngoài. Những cam kết từ nhà cung cấp mô hình không thể loại bỏ trách nhiệm này của chúng tôi… Nói cách khác, chúng tôi cần tách biệt việc cung cấp năng lực tác nhân với quyền kiểm soát đối với nó.”

Khi giới thiệu về tác nhân bảo vệ, người đứng đầu bộ phận an ninh của Microsoft, Hayete Gallot, đã nói một cách trực tiếp hơn.

Cô viết: “Tiếc là các mô hình tiên tiến, bất kể nguồn gốc từ đâu, đều không thể được tin tưởng hoàn toàn.” Cô bổ sung rằng điều này không phải do mô hình mang tính ác ý hoặc dễ bị tin tặc xâm nhập, mà do hành vi của chúng không thể dự đoán trước. Mục tiêu huấn luyện mô hình là hoàn thành nhiệm vụ, chứ không phải tuân thủ “các quy định hoặc tiêu chuẩn đánh giá của tổ chức”.

Ngoài ra, các tác nhân này thường sở hữu quyền truy cập cao, có thể truy cập vào nhiều loại dữ liệu và công cụ, và nếu mất kiểm soát sẽ gây ra thiệt hại nghiêm trọng.

Giải pháp mà Microsoft đưa ra vừa mang tính bất ngờ, vừa phản ánh các cân nhắc thương mại của riêng họ. Điểm bất ngờ nằm ở chỗ, Microsoft có mối quan hệ chặt chẽ với OpenAI và Anthropic, đồng thời đầu tư vào cả hai công ty này. OpenAI cũng là khách hàng lớn của dịch vụ đám mây Microsoft, và chính Microsoft cũng sở hữu phòng thí nghiệm AI để phát triển các mô hình lớn. Nói cách khác, Microsoft đang khiến khách hàng cảnh giác với sản phẩm của một phần đối tác thương mại của mình.

Từ góc độ lợi ích kinh doanh, Microsoft mong muốn các doanh nghiệp mua sản phẩm bảo mật tác nhân từ chính họ – nhà cung cấp dịch vụ đám mây – thay vì mua từ Anthropic và OpenAI. Bỏ qua xung đột lợi ích, logic này về cơ bản là hợp lý: phần mềm giám sát hành vi của tác nhân nên độc lập với nhà cung cấp tác nhân, giống như các tổ chức kiểm toán cần độc lập với tổ chức được kiểm toán.

Như Nadella đã nói: “Chúng ta cần tách biệt nguồn cung năng lực trí tuệ với quyền kiểm soát nó.”

Microsoft đang tận dụng cơ hội kinh doanh này thông qua nhiều cách khác nhau. Ngoài Agent Guardian, Microsoft đã bổ sung tính năng phát hiện agent vào sản phẩm Microsoft Defender, có thể nhận diện tối đa 60 loại agent mà nhân viên mang vào môi trường làm việc, bao gồm Claude Code, Codex và OpenClaw. Sản phẩm cũng bổ sung tính năng giới hạn quyền truy cập dữ liệu và hệ thống của agent, đồng thời điều chỉnh quyền agent theo nhiệm vụ động. Nếu agent sắp thực hiện thao tác rủi ro cao, hệ thống sẽ yêu cầu phê duyệt thủ công.

Ý tưởng coi các tác nhân là mối đe dọa nội bộ không đáng tin cậy đang dần trở thành sự đồng thuận trong toàn ngành.

Microsoft là thành viên sáng lập của Nền tảng An toàn Agent Mở mới của NVIDIA, nền tảng này đã nhận được sự hỗ trợ từ hơn 100 doanh nghiệp công nghệ. Nền tảng này cô lập các agent trong môi trường an toàn, dựa trên giám sát phần cứng để kết thúc các hành vi bất thường, chức năng tương tự công tắc ngắt khẩn cấp. Trước đó, Microsoft đã ra mắt mẫu laptop Surface Laptop Ultra mới dành riêng cho agent, thiết bị được trang bị chip NVIDIA và mô-đun kiểm soát an toàn agent tích hợp.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.