OpenAI ra mắt LifeSciBench để đánh giá các hệ thống AI trong nghiên cứu khoa học thực tế

OpenAI đã công bố bộ tiêu chuẩn đánh giá mới LifeSciBench, nhằm đo lường khả năng của các hệ thống AI trong các bối cảnh nghiên cứu thực tế. LifeSciBench dựa trên 750 nhiệm vụ do chuyên gia biên soạn, bao phủ 7 quy trình nghiên cứu và 7 lĩnh vực sinh học, với các nhiệm vụ được lấy từ 173 nhà nghiên cứu có bằng tiến sĩ và kinh nghiệm trong ngành công nghệ sinh học hoặc dược phẩm. Bộ tiêu chuẩn này nhấn mạnh việc đánh giá các năng lực nghiên cứu phức tạp, bao gồm tích hợp bằng chứng, thiết kế thí nghiệm, phân tích dữ liệu, suy luận khoa học và giao tiếp nghiên cứu, thay vì chỉ các câu hỏi mang tính sự thật đơn lẻ. Hơn 79% các nhiệm vụ yêu cầu suy luận đa bước, trung bình mỗi câu hỏi cần khoảng 4 bước suy luận, đồng thời bao gồm 1.062 tệp dữ liệu liên quan đến nghiên cứu thực tế (như bài báo, biểu đồ, dữ liệu chuỗi và tệp cấu trúc, v.v.).