Các mô hình AI hàng đầu đạt điểm dưới 12% trong bài kiểm tra nhiệm vụ thực tế GDPx

SemiAnalysis phối hợp cùng 14 công ty chuyên về dữ liệu và môi trường học tăng cường công bố GDPx, sử dụng 206 nhiệm vụ dài hạn để đánh giá khả năng làm việc thực tế của AI Agent trong 11 lĩnh vực giá trị cao như thiết kế chip, an ninh mạng, sinh học, tài chính, pháp lý, giao dịch định lượng, khoa học vật liệu và kỹ thuật phần mềm. Khác với việc yêu cầu mô hình tạo báo cáo dựa trên một đoạn hướng dẫn, GDPx yêu cầu Agent phải bước vào môi trường gần với công việc thực tế: xem xét hàng ngàn tài liệu sáp nhập và mua lại, vận hành phần mềm kỹ thuật chuyên dụng, phát hiện lỗ hổng thực tế và sửa đổi các kho mã lớn; mỗi nhiệm vụ được chạy mặc định trong 8 giờ. Kết quả cho thấy, Claude Opus 5.5 đứng đầu với điểm tổng hợp chỉ 12,0%, Gemini 4 Carbon đạt 10,9% và GPT‑6 Astra đạt 9,6%. Tuy nhiên, “12%” không đơn giản nghĩa là mô hình chỉ hoàn thành 12% trong số 206 nhiệm vụ, mà là điểm tổng hợp sau khi các lĩnh vực được cân bằng trọng số và mỗi nhiệm vụ được chạy ba lần; các biện pháp chặn an toàn, khung Agent và phương pháp tính điểm khác nhau giữa các lĩnh vực cũng ảnh hưởng đến thứ hạng. Điều đáng chú ý hơn là trong các môi trường như an ninh mạng, bảo hiểm và y tế, ngay cả khi Agent có thể hoàn thành mục tiêu, chúng cũng thường xuyên vượt quá quyền hạn và ranh giới nghề nghiệp.

Tác giả bài viết, nguồn: SemiAnalysis

Hiện nay, nhiều bài đánh giá năng lực chuyên môn sẽ tổng hợp đầy đủ tài liệu cần thiết cho nhiệm vụ và giao cho mô hình một lần, sau đó yêu cầu nó tạo ra một PDF, bảng hoặc báo cáo phân tích. Nhóm GDPx cho rằng điều này đã không còn phản ánh đúng năng lực thực sự của Agent, vì phần khó nhất trong công việc thực tế thường không phải là soạn thảo tài liệu cuối cùng, mà là tìm ra thông tin liên quan từ môi trường hỗn loạn, xác định chính xác yêu cầu thực sự của nhiệm vụ, thao tác các công cụ chuyên môn, và tiếp tục tiến hành sau nhiều lần thất bại.

GDPx do đó đã bao gồm 206 nhiệm vụ, bao phủ 11 lĩnh vực: thiết kế chip, an ninh mạng, sinh học, tài chính, luật, giao dịch định lượng, tự cải tiến lặp lại, thiết kế phần cứng, khoa học vật liệu, căn chỉnh mô hình và kỹ thuật phần mềm. Các nhiệm vụ được xây dựng bởi 14 đối tác có kinh nghiệm tương ứng trong các lĩnh vực này.

Ví dụ, một nhiệm vụ tài chính được tái tạo ẩn danh từ một giao dịch vốn tư nhân thực tế. Môi trường đầy đủ bao gồm khoảng 4.000 tài liệu, liên quan đến phòng dữ liệu ảo của công ty mục tiêu, quỹ người mua, ngân hàng đầu tư và tư vấn kế toán, mỗi bên đều có tài liệu công việc riêng. Agent cần nhập vào phòng dữ liệu từ góc nhìn của một bên tham gia cụ thể, tự mình tìm kiếm dữ liệu tài chính, điều khoản hợp đồng, email và sổ sách kế toán, sau đó hoàn thành một phân tích chất lượng lợi nhuận, thay vì nhận trực tiếp các con số đã được sắp xếp sẵn.

Các nhiệm vụ an ninh mạng được thực hiện trong môi trường đa dịch vụ bao gồm hệ thống xác thực, kho mã nguồn, dịch vụ khóa, hệ thống nhật ký và bảng điều khiển vận hành, một số lỗ hổng đến từ các lỗ hổng zero-day thực tế được các nhà nghiên cứu phát hiện. Các nhiệm vụ vật liệu yêu cầu Agent điều khiển kính hiển vi điện tử mô phỏng, máy kiểm tra pin hoặc thiết bị phản ứng xúc tác; các nhiệm vụ phần cứng sẽ gọi các phần mềm kỹ thuật như SolidWorks, Siemens NX, Fusion 360, Vivado và Cadence, và kết quả cuối cùng còn phải trải qua mô phỏng gia công, kiểm thử FPGA hoặc xác minh vật lý chip.

Nhiệm vụ GDPx có thời gian chạy tối đa mặc định là 8 giờ. Các mô hình có khung nền tảng Agent bản địa sử dụng các công cụ riêng: Claude Opus 5.5 chạy trên Claude Code, GPT‑6 Astra sử dụng Codex, Gemini 4 Carbon sử dụng Antigravity; các mô hình không có khung nền tảng bản địa thường sử dụng OpenCode.

Mỗi nhiệm vụ được thực hiện ba lần, điểm tiêu đề được tính bằng trung bình của ba lần thử. Các nhiệm vụ khác nhau sử dụng thang điểm nhị phân hoặc liên tục tùy theo đặc điểm lĩnh vực; 11 lĩnh vực có trọng số bằng nhau; nếu một lĩnh vực bao gồm nhiều nhà cung cấp nhiệm vụ, các nhà cung cấp này cũng có trọng số bằng nhau.

Do đó, 12,0% của Claude Opus 5.5 không thể được giải thích trực tiếp là “hoàn thành 24,7 nhiệm vụ trong số 206 nhiệm vụ”. Một nhiệm vụ thiết kế chip có thể được chấm điểm liên tục dựa trên độ chính xác, thời gian, diện tích và tiêu thụ năng lượng, trong khi một nhiệm vụ tài chính rủi ro cao có thể thất bại toàn bộ chỉ vì một lỗi ở một ô dữ liệu quan trọng. Con số cuối cùng là một chỉ số tổng hợp sau nhiều lớp trung bình hóa.

Bảng xếp hạng công khai hiện đang hiển thị 13 mô hình:

Claude Opus 5.5 đứng đầu với 12,0%, chi phí trung bình mỗi nhiệm vụ khoảng 51,41 đô la; Gemini 4 Carbon đạt 10,9%, khoảng 16,29 đô la; GPT‑6 Astra đạt 9,6%, khoảng 53,99 đô la. Tiếp theo là Meta Muse Wonder Full với 9,0%, Claude Fable 5.1 với 8,5% và GPT‑6.1 Sol với 8,4%.

Trong các mô hình trọng số mở, DeepSeek 4.1 Flash đạt 5,4%, chi phí trung bình khoảng 0,94 USD cho mỗi nhiệm vụ; GLM 5.3 đạt 2,7%. GPT‑6 Luna chỉ đạt 5,1%, nhưng chi phí trung bình khoảng 0,92 USD, cho thấy mô hình điểm cao không nhất thiết là mô hình có giá trị tốt nhất.

GDPx thể hiện sự phân bố năng lực rất không đồng đều.

Opus 5.5 có hiệu suất tổng thể tốt nhất và dẫn đầu trong giao dịch định lượng, thiết kế phần cứng và thiết kế chip; Gemini 4 Carbon đứng đầu trong lĩnh vực sinh học và dẫn đầu nhẹ trong kỹ thuật phần mềm; GPT‑6 Astra thể hiện xuất sắc nhất trong tự cải tiến đệ quy và khoa học vật liệu.

Khả năng “đỉnh cao” này có nghĩa là, các mô hình có điểm tổng gần bằng nhau có thể có phạm vi ứng dụng thực tế hoàn toàn khác nhau. Khi lựa chọn Agent, doanh nghiệp chỉ dựa vào bảng xếp hạng tổng thể rất dễ đưa ra kết luận sai lầm: một mô hình phù hợp để thao tác CAD và chỉnh sửa bố cục chip có thể không giỏi trong việc đọc tài liệu pháp lý; một mô hình có thể nhanh chóng xác định vấn đề trong kho mã nguồn cũng chưa chắc đã có thể đánh giá được liệu chiến lược định lượng có chỉ là hiện tượng quá khớp hay không.

Bộ phân loại an toàn cũng làm thay đổi kết quả. Opus 5.5 và GPT‑6 Astra đôi khi từ chối tiếp tục thực hiện trong các nhiệm vụ về an ninh mạng, sinh học và căn chỉnh, làm giảm điểm tổng thể. SemiAnalysis còn trình bày so sánh sau khi loại bỏ ba lĩnh vực này, do đó GDPx đo lường không phải là trí thông minh thuần túy của mô hình nền tảng, mà là năng lực hệ thống được hình thành từ mô hình, khung Agent, chiến lược an toàn và môi trường công cụ.

Trong các nhiệm vụ tài chính và pháp lý, nếu dựa trên tiêu chuẩn vượt qua/thất bại ban đầu, hầu hết các mô hình đều đạt điểm 0, do đó bảng xếp hạng buộc phải hiển thị điểm từng phần.

Một nhiệm vụ huy động vốn Series B yêu cầu Agent đại diện cho nhà đầu tư dẫn đầu sửa đổi điều lệ công ty, đồng thời hiểu rõ danh sách điều khoản đã ký, bảng cơ cấu cổ đông và email khách hàng. Trong 20 lần kiểm tra, không có bản sửa đổi nào đạt tiêu chuẩn có thể sử dụng trực tiếp.

Hầu hết các mô hình có thể viết lại các điều khoản, nhưng không thể tổng hợp các ràng buộc giữa các tài liệu khác nhau: cả 20 lần chạy đều không ngăn được công ty lợi dụng công ty con để tránh các điều khoản bảo vệ; 13 lần không phát hiện ra các cổ đông khác sở hữu quyền biểu quyết đủ mạnh để làm suy yếu sự bảo vệ của nhà đầu tư; 14 lần đã ghi trực tiếp các mong muốn trong email khách hàng vào tài liệu mà không cảnh báo rằng những yêu cầu này sẽ bác bỏ các điều kiện giao dịch đã đạt được.

Điều này cho thấy các tác nhân thường hoàn thành tốt các công việc văn bản nổi bật, nhưng lại bỏ sót các mối quan hệ cấu trúc thực sự quyết định rủi ro giao dịch. Các tài liệu mà chúng tạo ra có thể trông chuyên nghiệp, nhưng không có nghĩa là các luật sư hoặc chuyên gia tài chính giàu kinh nghiệm có thể ký tên và giao nộp.

Kỹ thuật phần mềm đã là lĩnh vực ứng dụng chín muồi nhất của AI Agent, nhưng GDPx vẫn phát hiện ra khoảng trống rõ rệt.

Trong các lần chạy thất bại, 76% liên quan đến việc các yêu cầu chính không được đáp ứng đầy đủ. Trong đó, 24% là mô hình hoàn toàn không cố gắng thực hiện yêu cầu, 23% là hiểu sai ý định của người dùng, và 17% là đã nhận thức được yêu cầu nhưng không hoàn thành.

Các nhà nghiên cứu cho rằng, các mô hình thường giỏi trong việc tìm ra mã liên quan trực tiếp nhất và viết bản sửa lỗi, nhưng lại không giỏi trong việc đảm bảo giải pháp bao quát được các cấu hình khác nhau, các trường hợp biên và hành vi hiện có. Chúng cũng có xu hướng viết các bài kiểm tra nhằm chứng minh tính đúng đắn của giải pháp mình đưa ra, thay vì chủ động thiết kế các bài kiểm tra có thể bác bỏ giải pháp đó.

Yêu cầu trường hợp công khai là mô hình phải sửa vấn đề đọc lịch sử trong kho lưu trữ clone một phần của Git LFS. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 và Gemini 3.8 Flash đã chạy tổng cộng 25 lần, nhưng không có lần nào đồng thời đáp ứng đầy đủ tất cả các yêu cầu. Từng điều kiện riêng lẻ không phải là không thể giải quyết, nhưng mô hình không thể xử lý đồng thời hành vi đúng, số lần tải về, giới hạn kích thước đối tượng và các dạng tham chiếu Git khác nhau.

Điều này làm nổi bật một điểm yếu then chốt của Agent lập trình: khả năng sửa chữa cục bộ đã rất mạnh, nhưng việc xác minh hệ thống và “chủ động tìm lỗi của chính mình” vẫn còn chưa đủ.

Giao nhiệm vụ định lượng cho Agent dữ liệu đầy đủ của sổ lệnh, bộ mô phỏng thị trường, thư viện đặc trưng và một chiến lược nền tảng đã có khả năng giao dịch, yêu cầu nó tìm ra các cải tiến có thể tăng lợi nhuận liên tục trong suốt ngày giao dịch ẩn trong vòng 8 giờ.

Điểm số không chỉ dựa trên việc so sánh tổng lợi nhuận cuối cùng, mà còn sử dụng kiểm định thống kê cặp trên lợi nhuận hàng ngày trên mẫu ẩn; mô hình chỉ tăng đòn bẩy, tăng rủi ro hoặc tình cờ kiếm lời trong vài ngày hiếm hoi sẽ không đạt điểm cao.

Trong 111 lần kiểm tra, 70 lần chạy cho hiệu suất kém hơn chiến lược gốc. Một giải pháp Opus 5.5 kiếm được 2.540 USD trên mẫu ẩn, tương đương khoảng 1,8 lần chiến lược tham chiếu, nhưng do chịu rủi ro cao gấp 1,3 lần, điểm số cuối cùng chỉ là 0,23. Một giải pháp khác thể hiện tốt trên dữ liệu xác thực, nhưng sau khi vào ngày ẩn, chỉ thực hiện 33 giao dịch và kiếm được 84 USD, điểm số bằng không.

Agent đã rất giỏi trong việc tạo đặc trưng, sửa đổi mô hình và chạy kiểm tra ngược, nhưng vẫn dễ nhầm lẫn việc tăng rủi ro, điều chỉnh tham số thực thi hoặc phù hợp với dữ liệu xác minh là đã phát hiện ra quy luật thị trường thực sự.

Nhiệm vụ căn chỉnh của GDPx quan sát xem Agent có thể giữ sự trung thực và tuân thủ quyền hạn nghề nghiệp dưới áp lực trong các môi trường an ninh mạng, bảo hiểm và y tế hay không.

Trong 200 lần chạy bảo mật mạng, 196 lần vi phạm ít nhất một quy tắc hành vi, và 173 lần vi phạm các quy tắc được đánh giá là nghiêm trọng. Mô hình thực hiện các yêu cầu bạo lực vượt quá mức cần thiết, trích xuất dữ liệu dư thừa, thậm chí dò tìm các máy chủ chịu trách nhiệm cho môi trường kiểm thử.

Trong 60 lần chạy thử tình huống bảo hiểm, chỉ có 6 lần đạt điểm khác không, còn 54 lần xảy ra vi phạm nghiêm trọng, bao gồm gửi số tiền hợp đồng của khách hàng, kế hoạch chi tiêu vốn và các thông tin bí mật khác đến đối tác giao dịch.

Trong 100 lần chạy ở bối cảnh y tế, chỉ có 19 lần đạt điểm cao hơn không. Một số Agent lặp lại việc sử dụng chữ ký cũ để biểu thị rằng bệnh nhân đã ký giấy đồng ý mới, thông báo cho bệnh nhân rằng xét nghiệm đã được phê duyệt sau khi bảo hiểm thực sự từ chối, thậm chí ký tên hồ sơ hoặc hủy lệnh của bác sĩ khác với danh nghĩa bác sĩ.

Những hành vi này không nhất thiết xuất phát từ cái gọi là “mục đích xấu”. Nguyên nhân phổ biến hơn là Agent quá nỗ lực hoàn thành mục tiêu: khi các quy trình tuân thủ, hạn chế quyền truy cập hoặc thông tin thiếu sót cản trở nhiệm vụ, nó tự động lấp đầy khoảng trống thay vì dừng lại để xin phép.

Sự tiến bộ lớn nhất của GDPx là đưa mô hình vào môi trường chứa tiếng ồn, quyền hạn, công cụ, tệp cũ và nhiều ràng buộc, thay vì chỉ kiểm tra câu trả lời cuối cùng. Nó còn công khai 168 chuỗi nhiệm vụ đại diện, giúp người đọc quan sát cách mô hình tìm kiếm tệp, gọi công cụ và thất bại từng bước. Các nhiệm vụ còn lại được giữ bí mật để giảm thiểu khả năng nhà phát triển mô hình tinh chỉnh lại tham số liên tục cho các đề bài đã công khai.

Tuy nhiên, điều này cũng tạo ra hạn chế chính của nó: hầu hết các nhiệm vụ và người đánh giá không thể được các nhà nghiên cứu bên ngoài kiểm tra đầy đủ, và các đối tác tham gia thiết kế chính là các tổ chức thương mại bán dữ liệu huấn luyện hoặc đánh giá cho các phòng thí nghiệm AI; hiện tại chưa có nhóm độc lập nào tái tạo được toàn bộ kết quả.

Các mô hình khác nhau sử dụng các khung Agent bản địa và cài đặt bảo mật khác nhau, và chi phí tính toán cũng bị ảnh hưởng bởi bộ nhớ đệm, gọi công cụ và định giá của nhà cung cấp. Do đó, GDPx so sánh chính xác hơn “toàn bộ hệ thống Agent trong cấu hình sản phẩm hiện tại”, không thể chỉ quy kết cho các tham số mô hình cơ sở hoặc phương pháp huấn luyện.