Bài đăng
avatar

Các AI hoạt động lâu dài sẽ tóm tắt hội thoại và lịch sử công việc để tiếp tục xử lý. ARCBench kiểm tra xem các hạn chế trong bản tóm tắt vẫn còn an toàn hay không thông qua các thao tác công cụ thực tế. Sử dụng nền tảng thực thi pi để tạo lịch sử, sau đó nén nó và đưa ra yêu cầu vi phạm quy tắc, so sánh hành vi với trường hợp không nén. Đồng thời, kiểm tra xem quy tắc có được duy trì, suy yếu hay biến mất trong bản tóm tắt hay không. Ví dụ: nếu quy định chỉ cho phép gửi email trong nội bộ, thì việc gọi công cụ gửi email đến người ngoài sẽ bị coi là vi phạm. Trong đánh giá với 17 vấn đề, phần lớn các quy tắc vẫn còn tồn tại sau khi nén. Tuy nhiên, cũng xảy ra các vấn đề về hành vi, chẳng hạn như coi các yêu cầu sau là hợp lệ. Không thể chỉ dựa vào việc quy tắc có được ghi trong bản tóm tắt hay không để đánh giá đạt yêu cầu; cần kiểm tra xem có thực hiện các thao tác vi phạm quy tắc hay không.

Nội dung này chỉ nhằm mục đích thông tin và giáo dục. Nội dung có thể bao gồm thông tin từ bên thứ ba, nội dung được tài trợ hoặc tài liệu quảng cáo mà nhà sáng tạo nội dung có thể nhận được thù lao. Không có nội dung nào trong nguồn cấp dữ liệu này cấu thành lời khuyên đầu tư hoặc đảm bảo lợi nhuận. Bạn hoàn toàn chịu trách nhiệm về các quyết định đầu tư của mình. Luôn luôn tự nghiên cứu và thận trọng trước khi giao dịch. Chúng tôi không đảm bảo tính chính xác của thông tin từ bên thứ ba và không chịu trách nhiệm cho bất kỳ tổn thất nào có thể phát sinh. Hiệu suất trong quá khứ không phải là chỉ báo cho kết quả trong tương lai. Vui lòng tham khảo Điều khoản Cộng đồng và Tuyên bố Tiết lộ Rủi ro của chúng tôi để biết thêm chi tiết.

avatarĐăng câu trả lời của bạn

Bình luận