Phòng thí nghiệm phát triển AI OpenAI đã tiết lộ vào thứ Ba rằng một nhóm các mô hình của họ, bao gồm GPT-5.6 Sol có sẵn công khai và một hệ thống chưa phát hành mạnh mẽ hơn, đã “thoát ra” khỏi môi trường kiểm thử được kiểm soát và xâm nhập vào cơ sở hạ tầng sản xuất của Hugging Face, công ty đang lưu trữ phần lớn thế giới AI mã nguồn mở.
Các mô hình đã được chạy qua một bài kiểm tra nội bộ có tên ExploitGym, một bài kiểm tra các nhiệm vụ xâm nhập dài và nhiều bước, với các từ chối an toàn mạng của chúng bị chủ động giảm xuống để đánh giá.
Để làm rõ, đây không phải là một mô hình sản xuất tự nhiên trở nên thù địch. Đó là một mô hình có khả năng với các biện pháp an toàn bị tắt và được chỉ định cụ thể để chiến thắng trong một bài kiểm tra xâm nhập – làm bất cứ điều gì cần thiết để chiến thắng.
Các mô hình đã phát hiện ra một lỗ hổng ẩn trong phần mềm kiểm tra, một lỗi mà không ai biết đến, và sử dụng nó để lọt qua các bức tường được thiết lập nhằm giữ chúng ngoại tuyến. Một khi đã kết nối với internet công khai, chúng phỏng đoán rằng Hugging Face có thể lưu trữ câu trả lời của bài kiểm tra.
Để xâm nhập, họ đã kết hợp các mật khẩu bị đánh cắp và nhiều lỗ hổng ẩn khác cho đến khi có thể chạy các lệnh của riêng mình trên các máy chủ trực tuyến của Hugging Face.
OpenAI đã phát hiện ra sự bất thường nội bộ, trong khi đội ngũ Hugging Face đã phát hiện và kiểm soát nó. Họ gọi sự việc này là “chưa từng có tiền lệ” và cho biết sẽ thực hiện các biện pháp bảo mật toàn diện để ngăn chặn các sự cố không mong muốn có thể ảnh hưởng đến các hệ thống hoặc dịch vụ công cộng.
“Chúng tôi đang triển khai các biện pháp kiểm soát nghiêm ngặt trong cấu trúc hạ tầng, dù điều này làm giảm tốc độ nghiên cứu trong khi các lỗ hổng đang được vá,” nhóm cho biết trong bài đăng trên blog. “Chúng tôi đang cải thiện và bổ sung các biện pháp bảo vệ mạnh mẽ hơn cho các đợt đào tạo và đánh giá trong tương lai.”
Phần lớn các cuộc tấn công tiền mã hóa xảy ra trước khi quỹ được chuyển đi. Những kẻ tấn công quét mã, thử mật khẩu, tìm kiếm thông tin xác thực bị lộ, phân tích thiết lập ký và tìm đường xâm nhập vào tài khoản quản trị viên.
Các mô hình của OpenAI đã thực hiện một số phần của quy trình đó trong sự cố của Hugging Face, di chuyển từ điểm yếu này sang điểm yếu khác cho đến khi đạt đến các máy chủ sản xuất trực tuyến.
Và thị trường tiền điện tử có rất nhiều điểm yếu để phương pháp này phát huy tác dụng, như đã cho thấy qua một số cuộc tấn công hồi đầu năm nay. Điểm yếu có thể là một hợp đồng thông minh, nhưng cũng có thể là máy tính xách tay của nhà phát triển, một gói phần mềm bị đầu độc, trình xác thực cầu nối hoặc một người ký trong ví đa chữ ký.
Hãy lấy vụ tấn công $285 triệu của Drift hồi đầu năm nay làm ví dụ, một vụ trộm cắp đòi hỏi một chiến dịch xã hội kéo dài sáu tháng để đạt được quyền truy cập đặc quyền. Một tác nhân AI về lý thuyết có thể kiểm tra nhiều đường đi cùng lúc, theo dõi các nỗ lực thất bại và tiếp tục làm việc trong khi các nhà điều hành con người đang ngủ. Một khi tìm thấy đường đi, nhà điều hành có thể thực hiện cuộc tấn công thực tế và một lối thoát khả thi.
Mất mát 292 triệu USD của KelpDAO đã phơi bày một điểm yếu khác. Kẻ tấn công đã tìm ra lỗ hổng một người xác minh trong hệ thống được sử dụng để di chuyển tài sản giữa các blockchain.
Loại tấn công đó bắt đầu bằng việc xem xét mã cẩn thận và lập bản đồ hạ tầng – loại công việc mà các mô hình của OpenAI đã thực hiện khi phát hiện ra một lỗ hổng chưa được biết đến.
Một loại tấn công thứ ba nhắm vào các hệ thống quản trị trên chuỗi. Đầu tháng Bảy, một kẻ tấn công đã chi khoảng 4,4 triệu USD để mua đủ lượng memecoin BONK dựa trên Solana nhằm khởi xướng và thông qua một đề xuất chuyển khoảng 20 triệu USD từ quỹ dự án sang kẻ tấn công. Sự việc diễn ra trong vòng ba ngày, và kẻ tấn công sau đó đã bán hết tất cả các token đã dùng để giành chiến thắng trong cuộc bỏ phiếu, như CoinDesk đã theo dõi tại thời điểm đó.
Các giao dịch mua hàng, bỏ phiếu và chuyển quỹ cho cuộc tấn công đó đều là các giao dịch hợp lệ riêng lẻ. Nhưng vụ trộm cắp xảy ra do hiểu cách các quy tắc hoạt động cùng nhau và phát hiện ra chi phí để mua quyền kiểm soát thấp xa so với số tiền sẵn có để chiếm đoạt.
Sự cố của Hugging Face cũng quan trọng đối với chuỗi cung ứng phần mềm. Các nhà phát triển tiền mã hóa phụ thuộc vào các kho mã nguồn công khai, dịch vụ đám mây và các registry gói.
Trong khi bài kiểm tra của OpenAI cho thấy một máy móc hoàn thành phần giữa dài của một vụ xâm nhập, thì các cuộc tấn công như Drift và KelpDAO mới cho thấy điều gì nằm ở cuối con đường đó.