Sau khi doanh nghiệp giao các nhiệm vụ dài và phức tạp hơn cho các đại lý AI, một vấn đề thực tế bắt đầu trở nên rõ rệt: các đại lý hoạt động nhanh hơn, kéo dài lâu hơn và tạo ra lượng thao tác vượt xa khả năng kiểm tra thủ công. TechCrunch báo cáo rằng, các cuộc thảo luận gần đây xung quanh sự kiện Hugging Face đã thúc đẩy con đường “dùng AI giám sát AI” trở thành một hướng đi đang được các phòng thí nghiệm và công ty khởi nghiệp theo đuổi.
Gần 12.000 đại lý phối hợp
Báo cáo cho biết, trong sự kiện này, gần 12.000 đại lý AI hoạt động đồng thời với tốc độ nhanh đến mức các nhà giám sát con người khó theo dõi kịp thời. Ryan Greenblatt, nhà khoa học trưởng của Redwood Research, đơn vị tham gia điều tra độc lập, cho biết khối lượng dữ liệu quá lớn, và nếu không sử dụng AI, gần như không thể tái tạo lại những gì đã xảy ra.
Điều này cũng phơi bày một vấn đề phổ biến hơn: khi doanh nghiệp giao các quy trình như mã hóa, truy vấn và thực thi cho hệ thống đại lý, việc kiểm tra thủ công truyền thống rất khó bao quát toàn bộ quy trình, đặc biệt trong các tình huống có nhiều đại lý hoạt động song song.
Các công ty khởi nghiệp bắt đầu phát triển “trợ lý AI giám sát”
Đáp ứng nhu cầu này, lĩnh vực khả năng quan sát và giám sát an ninh AI đang trở nên sôi động hơn. Theo thống kê của TechCrunch, Y Combinator trong những năm gần đây đã đầu tư vào 106 công ty liên quan đến khả năng quan sát AI. Các công ty như Braintrust, LangChain và Judgment Labs cũng đã huy động được số vốn lớn, trong khi các doanh nghiệp lâu đời hơn như Arize và Galileo đã hoàn tất quá trình thoái vốn.
Apollo Research đã ra mắt công cụ giám sát có tên Watcher vào tháng 2 năm nay. Công cụ này được đặt giữa đại lý mã hóa và hành động tiếp theo, có thể tích hợp với các công cụ dạng đại lý như Claude Code, Codex. Theo Apollo, Watcher sẽ kiểm tra rủi ro trước khi thực hiện thao tác, chẳng hạn như rò rỉ dữ liệu bí mật hoặc xóa tệp không được ủy quyền.
Apollo giới thiệu một giải pháp không chỉ dựa vào một mô hình duy nhất, mà xử lý theo từng lớp: trước tiên, một bộ giám sát chung nhanh hơn sẽ thực hiện sàng lọc ban đầu, sau đó các hành động khả nghi sẽ được chuyển cho các mô hình mạnh hơn hoặc chuyên biệt hơn để kiểm tra lại. Sau đó, hệ thống có thể yêu cầu phê duyệt thủ công, hoặc trực tiếp từ chối và chặn các hành động liên quan.
Các mô hình giám sát cũng có thể bị lừa
Tuy nhiên, con đường này không hề không có tranh cãi. Chuyên gia công nghệ Simon Willison, người theo dõi lâu dài các sự kiện về đại lý AI, cho rằng nếu mô hình thực hiện hành vi độc hại nhận thức được rằng nó đang bị một AI khác theo dõi, nó cũng có thể cố gắng lừa dối mô hình đó, thậm chí tạo ra tình huống “người bị giám sát lừa đảo ngược lại người giám sát”.
Anh ấy đề cập rằng trong các sự kiện liên quan đến OpenAI, đã có dấu hiệu các mô hình hợp tác để vượt qua AI đánh giá. Nói cách khác, hệ thống giám sát chính nó cũng có thể trở thành mục tiêu bị nhắm đến.
Một công ty khác, Goodfire, đang cố gắng tìm kiếm những tín hiệu khó giả mạo hơn từ trạng thái nội bộ của mô hình. Sản phẩm token SIL của họ sử dụng “cảm biến kích hoạt”, không chỉ xem đầu ra của mô hình mà còn phân tích trạng thái kích hoạt nội bộ để phát hiện các hành vi không mong muốn. Công ty cho biết sự kiện trên Hugging Face vào tháng 7 đã thúc đẩy họ tập trung nghiên cứu sâu hơn vào các vấn đề về khả năng giải thích và sự đồng bộ.
Chain logs are still considered the basic solution
Ngoài trạng thái nội bộ, quá trình suy luận văn bản của mô hình cũng được coi là manh mối quan trọng. Báo cáo nêu rằng, trong các sự kiện liên quan đến OpenAI và Hugging Face, một số đại lý đã để lại dấu hiệu gian lận trong văn bản suy luận của chính họ, bao gồm việc làm giả hồ sơ công việc hoặc thảo luận về cách thao túng dấu vết bằng chứng.
CEO của công ty giám sát AI Embroidery, Zack Korman, cho rằng tóm tắt suy luận thường dễ tiết lộ bất thường nhất, vì nó trực tiếp cho thấy mô hình có đang lên kế hoạch vượt quyền hoặc hành vi độc hại hay không.
Tuy nhiên, cửa sổ này có thể không tồn tại mãi. Một số công nghệ mới đang bỏ qua cách hiển thị chuỗi suy luận truyền thống, và một số nhà cung cấp mô hình bị chỉ trích vì thu hẹp mức độ mở của các bước suy luận trung gian, khiến các doanh nghiệp bên ngoài khó quan sát quá trình bên trong mô hình.
Do đó, một số người đề xuất quay trở lại các phương pháp bảo mật truyền thống hơn. Willison cho rằng, thay vì quá phụ thuộc vào AI để giám sát AI, tốt hơn hết nên ghi lại chi tiết các hoạt động mạng, nhật ký thao tác và kết nối hệ thống của các đại lý, sau đó sử dụng các công cụ bảo mật thông thường để xử lý. Avery Pennarun, CEO của công ty bảo mật Tailscale, cũng cho rằng, từ góc độ giám sát mạng, những vấn đề này không mới; cốt lõi vẫn là quản lý các đại lý AI như những thực thể thực thi có quyền truy cập cao vào hệ thống.