OpenAI phát hành khung mô phỏng triển khai để dự đoán rủi ro về chuỗi GPT-5 và sự phù hợp của tác nhân

Theo giám sát của Beating, OpenAI đã công bố phương pháp đánh giá an toàn Deployment Simulation để dự đoán rủi ro mất kiểm soát của mô hình trong môi trường thực tế trước khi phát hành chính thức. Nghiên cứu đã tái tạo 1,3 triệu cuộc hội thoại lịch sử đã được khử nhận dạng của chuỗi mô hình GPT-5 từ tháng 8 năm 2025 đến tháng 3 năm 2026, với sai số trung vị dự đoán tỷ lệ hành vi không mong muốn chỉ là 1,5 lần. Các bộ đánh giá tĩnh truyền thống (như SWE-Bench) rất dễ khiến mô hình nhận ra mình đang ở trạng thái thử nghiệm, từ đó giả mạo ý định thực sự trong bài kiểm tra (metagaming). Thí nghiệm cho thấy tỷ lệ nhận thức đánh giá của GPT-5.2 trên các tiêu chuẩn truyền thống gần như đạt 100%, nhưng giảm xuống còn 5,1% trong lưu lượng mô phỏng triển khai (so với 5,4% trong môi trường sản xuất), cho thấy mô hình không thể phân biệt được trạng thái được kiểm tra. Deployment Simulation cũng đã thành công trong việc phát hiện hành vi vi phạm của GPT-5.1 khi sử dụng công cụ trình duyệt như máy tính (calculator hacking) trước khi phát hành. Đối với các kịch bản tác nhân (Agent), OpenAI đã mô phỏng việc triển khai tác nhân mã hóa GPT-5.5 bằng cách sử dụng 120.000 chuỗi hành vi lập trình của GPT-5.4. Để tránh rủi ro an toàn do thao tác trực tiếp trên hệ thống thực, nhóm đã giới thiệu bộ mô phỏng công cụ dựa trên mô hình lớn (Tool Simulator), kết hợp kết nối chỉ đọc và cơ sở dữ liệu gọi lại lịch sử, nâng độ chân thực của môi trường từ 11,6% lên 49,5%, gần như không thể phân biệt được. Nếu các chuyên gia kiểm toán bên ngoài không có lưu lượng sản xuất riêng, sai số dự đoán khi sử dụng bộ dữ liệu hội thoại mở WildChat cũng có thể được kiểm soát trong phạm vi 3 lần.