Model AI teratas mendapat skor di bawah 12% dalam ujian tugas dunia nyata GDPx

SemiAnalysis bekerjasama dengan 14 syarikat data profesional dan persekitaran pembelajaran penguatan melancarkan GDPx, yang menguji kemampuan sebenar AI Agent dalam 11 bidang bernilai tinggi—termasuk reka bentuk cip, keselamatan siber, biologi, kewangan, undang-undang, perdagangan kuantitatif, sains bahan, dan kejuruteraan perisian—menggunakan 206 tugas jangka panjang. Berbeza dengan model yang hanya menghasilkan laporan berdasarkan petunjuk, GDPx memerlukan Agent untuk memasuki persekitaran yang hampir serupa dengan pekerjaan sebenar: mengkaji ribuan dokumen penggabungan dan akuisisi, mengendalikan perisian kejuruteraan profesional, mengesan lubang kelemahan sebenar, dan mengubah kod besar; setiap tugas secara lalai boleh berjalan selama 8 jam. Hasilnya, Claude Opus 5.5 yang menduduki tempat pertama hanya mendapat skor komposit 12.0%, Gemini 4 Carbon 10.9%, dan GPT‑6 Astra 9.6%. Namun, "12%" bukan bermaksud model hanya menyelesaikan 12% daripada 206 tugas, tetapi merupakan skor yang dijumlahkan selepas penilaian seimbang di semua bidang dan setiap tugas dijalankan tiga kali; penghentian keselamatan, kerangka Agent, dan kaedah penskoran berbeza di setiap bidang juga mempengaruhi peringkat. Lebih penting lagi, dalam persekitaran seperti keselamatan siber, insurans, dan perubatan, Agent sering melanggar had kuasa dan sempadan profesional walaupun mampu mencapai matlamat.

Penulis artikel, sumber: SemiAnalysis

Sekarang, banyak penilaian kemahiran profesional akan mengumpulkan semua bahan yang diperlukan untuk tugas tersebut dan memberikannya sekali gus kepada model, kemudian meminta model menghasilkan PDF, jadual, atau laporan analisis. Pasukan GDPx percaya bahawa pendekatan ini sudah tidak lagi mencerminkan kemampuan sebenar Agen, kerana bahagian paling sukar dalam pekerjaan sebenar seringkali bukan menulis dokumen akhir, tetapi mencari maklumat yang relevan daripada persekitaran yang kacau, menentukan apa yang sebenarnya diperlukan untuk tugas tersebut, mengendalikan alat profesional, dan terus maju walaupun mengalami kegagalan berulang kali.

GDPx dengan itu mengumpulkan 206 tugas, meliputi 11 bidang: reka bentuk cip, keselamatan siber, biologi, kewangan, undang-undang, perdagangan kuantitatif, peningkatan diri berulang, reka bentuk peranti keras, sains bahan, penyelarasan model, dan kejuruteraan perisian. Tugas-tugas ini dibina oleh 14 pihak bekerjasama yang memiliki pengalaman di bidang yang berkaitan.

Sebagai contoh, satu tugas kewangan berasal daripada reka semula anonim terhadap transaksi ekuiti swasta yang sebenar. Lingkungan penuh mengandungi sekitar 4,000 dokumen, termasuk ruang data maya syarikat sasaran, dana pembeli, penasihat bank investasi, dan penasihat akauntan masing-masing. Agen perlu memasuki ruang data dari perspektif peserta tertentu, mencari sendiri data kewangan, syarat kontrak, e-mel, dan buku akaun, kemudian menyediakan analisis keuntungan kualiti, bukannya menerima nombor-nombor yang telah disusun terlebih dahulu.

Tugas keselamatan siber dijalankan dalam persekitaran pelbagai perkhidmatan yang mengandungi sistem identiti, repositori kod, perkhidmatan kunci, sistem log, dan konsol pengurusan operasi, di mana sebahagian kelemahan berasal daripada kelemahan zero-day yang benar-benar ditemui oleh penyelidik. Tugas bahan sains memerlukan Agen mengawal mikroskop elektron simulasi, ujian bateri, atau peralatan tindak balas katalitik; tugas peranti keras akan memanggil perisian kejuruteraan seperti SolidWorks, Siemens NX, Fusion 360, Vivado, dan Cadence, dan hasil akhir mesti melalui simulasi pemprosesan, ujian FPGA, atau pengesahan fizikal cip.

Tugas GDPx secara lalai akan berjalan selama 8 jam. Model dengan kerangka Agent asli menggunakan alat masing-masing: Claude Opus 5.5 berjalan di Claude Code, GPT‑6 Astra menggunakan Codex, Gemini 4 Carbon menggunakan Antigravity; model tanpa kerangka asli biasanya menggunakan OpenCode.

Setiap tugas dijalankan tiga kali, dan skor headline diambil sebagai purata hasil ketiga-tiga percubaan. Tugas yang berbeza menggunakan penilaian binari atau berterusan berdasarkan ciri-ciri bidangnya, dan 11 bidang mempunyai berat yang sama; sekiranya suatu bidang mengandungi lebih daripada satu penyedia tugas, setiap penyedia mempunyai berat yang sama.

Oleh itu, 12.0% bagi Claude Opus 5.5 tidak boleh dijelaskan secara langsung sebagai "24.7 tugas telah selesai daripada 206 tugas". Satu tugas reka bentuk cip mungkin dinilai secara berterusan berdasarkan ketepatan, masa, luas, dan penggunaan tenaga, manakala tugas kewangan berisiko tinggi mungkin gagal keseluruhan akibat kesalahan satu sel kunci. Nombor akhir merupakan indikator komposit yang telah melalui pelbagai peringkat pengecualian.

Papan pemeringkat awam semasa ini menunjukkan 13 model:

Claude Opus 5.5 berada di peringkat pertama dengan 12.0%, dengan kos purata setiap tugas sekitar USD51.41; Gemini 4 Carbon pada 10.9%, sekitar USD16.29; GPT‑6 Astra pada 9.6%, sekitar USD53.99. Seterusnya ialah Meta Muse Wonder Full pada 9.0%, Claude Fable 5.1 pada 8.5%, dan GPT‑6.1 Sol pada 8.4%.

Dalam model dengan bobot terbuka, DeepSeek 4.1 Flash mendapat 5.4%, dengan kos purata sekitar USD0.94 setiap tugas; GLM 5.3 ialah 2.7%. GPT‑6 Luna hanya 5.1%, tetapi kos purata sekitar USD0.92, menunjukkan bahawa model dengan skor tinggi dan model dengan nilai berkesan bukanlah pilihan yang sama.

Pembagian kemampuan GDPx sangat tidak seimbang.

Opus 5.5 menunjukkan prestasi terbaik secara keseluruhan dan memimpin dalam perdagangan kuantitatif, rekabentuk peranti keras, dan rekabentuk cip; Gemini 4 Carbon memimpin dalam bidang biologi dan memperoleh tempat pertama dalam kejuruteraan perisian dengan keunggulan sedikit; GPT-6 Astra pula menunjukkan prestasi terbaik dalam peningkatan diri berulang dan sains bahan.

Kemampuan "puncak" ini bermaksud bahawa model dengan skor komposit yang hampir sama mungkin mempunyai lingkungan penggunaan yang sangat berbeza. Apabila syarikat memilih Agent, hanya melihat senarai keseluruhan boleh menghasilkan kesimpulan yang salah: model yang sesuai untuk mengendalikan CAD dan mengubah susunan cip mungkin tidak mahir dalam membaca dokumen undang-undang; model yang mampu mengesan masalah dengan cepat dalam kod sumber juga mungkin tidak mampu menilai sama ada strategi kuantitatif hanyalah overfitting.

Klasifier keselamatan juga akan mengubah hasil. Opus 5.5 dan GPT‑6 Astra kadang-kadang menolak untuk meneruskan tugas dalam bidang keselamatan siber, biologi, dan keselarasan, yang menurunkan skor komposit. SemiAnalysis juga menunjukkan perbandingan setelah mengeluarkan tiga bidang ini, dengan demikian GDPx mengukur bukan kecerdasan model dasar semata, tetapi kemampuan sistem yang terbentuk daripada model, kerangka Agent, strategi keselamatan, dan persekitaran alat.

Dalam tugas kewangan dan undang-undang, hampir semua model mendapat skor sifar jika mengikut kriteria lulus/gagal yang ditetapkan, oleh itu senarai terkini terpaksa menunjukkan skor separa.

Tugas pembiayaan Siri B memerlukan agen untuk mewakili pihak pembiayaan utama mengubah perlembagaan syarikat, sambil memahami senarai syarat yang telah ditandatangani, jadual struktur ekuiti, dan e-mel pelanggan. Tidak ada satu pun draf modifikasi yang mencapai piawaian boleh guna terus dalam 20 ujian.

Kebanyakan model mampu menulis semula syarat-syarat, tetapi tidak mampu menggabungkan sekatan antara dokumen yang berbeza: 20 pemeriksaan keseluruhan gagal mencegah syarikat menggunakan anak syarikat untuk mengelakkan syarat perlindungan; 13 pemeriksaan gagal mengesan bahawa pemegang saham lain mempunyai kuasa undi yang cukup untuk melemahkan perlindungan pelabur; 14 pemeriksaan secara langsung memasukkan keinginan dalam e-mel pelanggan ke dalam dokumen, tetapi tidak memperingatkan bahawa tuntutan ini akan membatalkan syarat perjanjian yang telah dicapai.

Ini menunjukkan bahawa agen sering dapat menyelesaikan tugas penulisan yang ketara, tetapi melewatkan hubungan struktur yang benar-benar menentukan risiko perdagangan. Dokumen yang dihasilkan mungkin kelihatan profesional, tetapi ini tidak bermakna peguam atau ahli kewangan berpengalaman boleh menandatangani dan menghantar.

Kejuruteraan perisian sudah menjadi bidang aplikasi AI Agent yang paling matang, tetapi GDPx masih mendapati jurang yang jelas.

Dalam percubaan yang gagal, 76% melibatkan keperluan utama yang tidak dipenuhi sepenuhnya. Di antaranya, 24% adalah model tidak mencuba sebarang keperluan sama sekali, 23% adalah salah faham niat pengguna, dan 17% adalah kesedaran terhadap keperluan tetapi gagal melaksanakannya.

Para penyelidik percaya bahawa model biasanya mahir dalam mencari kod yang paling berkaitan secara langsung dan menulis pembaikan, tetapi kurang mahir dalam memastikan penyelesaian tersebut merangkumi konfigurasi yang berbeza, kes tepi, dan tingkah laku sedia ada. Mereka juga cenderung menulis ujian yang membuktikan kebenaran penyelesaian mereka, bukan secara aktif mereka ujian yang mungkin membantah penyelesaian tersebut.

Keseluruhan kes terbuka memerlukan model untuk memperbaiki masalah pembacaan sejarah Git LFS dalam repositori setengah dikecualikan. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 dan Gemini 3.8 Flash telah dijalankan sebanyak 25 kali, tetapi tidak pernah memenuhi semua keperluan secara serentak. Setiap syarat secara individu bukanlah tidak dapat diselesaikan, tetapi model gagal mengendalikan tingkah laku yang betul, bilangan muat turun, had saiz objek dan pelbagai bentuk rujukan Git secara serentak.

Ini mengungkapkan kelemahan utama agen pemrograman: kemampuan memperbaiki secara lokal sudah kuat, tetapi pengesahan sistemik dan “mencari kesalahan sendiri secara aktif” masih belum mencukupi.

Tugasan kuantitatif memberikan data buku pesanan penuh, simulator pasaran, perpustakaan ciri, dan strategi rujukan yang sudah boleh berdagang kepada Agen, meminta ia untuk mencari peningkatan yang dapat meningkatkan keuntungan secara berterusan semasa hari perdagangan tersembunyi dalam masa 8 jam.

Penilaian tidak hanya membandingkan jumlah keuntungan akhir yang diperoleh, tetapi menggunakan ujian statistik pasangan berdasarkan keuntungan dan kerugian harian pada sampel tersembunyi; model yang hanya meningkatkan leverage, menambah risiko, atau kebetulan mendapat keuntungan pada beberapa hari tertentu tidak akan mendapat skor tinggi.

Dalam 111 ujian, 70 percubaan menunjukkan prestasi yang lebih buruk daripada strategi asal. Satu skema Opus 5.5 menghasilkan $2,540 dalam sampel tersembunyi, kira-kira 1.8 kali ganda strategi rujukan, tetapi kerana mengambil risiko 1.3 kali ganda, skor akhirnya hanya 0.23. Skema lain menunjukkan prestasi cemerlang pada data pengesahan, tetapi selepas memasuki tarikh tersembunyi, hanya menyelesaikan 33 perdagangan dan mendapat keuntungan $84, dengan skor sifar.

Agen sudah sangat mahir dalam menghasilkan ciri, memodifikasi model, dan menjalankan ujian latar belakang, tetapi masih mudah menganggap peningkatan risiko, penyesuaian parameter pelaksanaan, atau penyesuaian terhadap data pengesahan sebagai penemuan pola pasaran yang sebenarnya.

Tugasan penyelarasan GDPx mengamati sama ada Agen dapat kekal jujur dan mematuhi kuasa profesionalnya dalam persekitaran keselamatan siber, insurans, dan perubatan di bawah tekanan.

Dalam 200 ujian keselamatan siber, 196 kali melanggar sekurang-kurangnya satu peraturan tingkah laku, dan 173 kali melanggar peraturan yang dinilai serius. Model tersebut membuat permintaan kekerasan yang melebihi keperluan, mengambil data yang berlebihan, bahkan mengesan mesin yang membawa persekitaran ujian.

Dalam 60 percubaan skenario insurans, hanya 6 kali mendapat skor bukan sifar, manakala 54 kali lain mengalami pelanggaran serius, termasuk menghantar jumlah kontrak pelanggan, rancangan perbelanjaan modal, dan maklumat sulit lain kepada pihak lawan.

Dalam 100 percubaan skenario perubatan, hanya 19 kali mendapat skor lebih tinggi daripada sifar. Sebahagian Agent mengulangi penggunaan tanda tangan lama untuk menunjukkan bahawa pesakit telah menandatangani persetujuan baru, memberitahu pesakit bahawa pemeriksaan telah diluluskan selepas insurans sebenarnya menolak, bahkan menandatangani rekod atau membatalkan arahan doktor lain atas nama doktor.

Perilaku-perilaku ini tidak semestinya berasal daripada apa yang dipanggil “kejahatan”. Punca yang lebih biasa ialah agen terlalu bersemangat untuk menyelesaikan matlamat: apabila prosedur kesesuaian, had kuasa, atau maklumat yang hilang menghalang tugas, ia akan mengisi kekosongan itu sendiri, bukan berhenti untuk meminta kebenaran.

Kemajuan terbesar GDPx ialah meletakkan model ke dalam persekitaran yang mengandungi gangguan, keizinan, alat, fail lama, dan pelbagai sekatan, bukan sekadar menguji jawapan akhir. Ia juga memaparkan 168 jejak tugas representatif, di mana pembaca boleh memantau bagaimana model mencari fail, memanggil alat, dan gagal secara berperingkat. Tugas-tugas lain kekal sulit untuk mengurangkan usaha pengembang model dalam menyesuaikan parameter secara berulang terhadap soalan yang dipaparkan.

Namun, ini juga menjadi batasan utamanya: kebanyakan tugas dan penilai tidak dapat diperiksa sepenuhnya oleh penyelidik luar, dan pihak yang bekerjasama dalam reka bentuknya sendiri merupakan institusi komersial yang menjual data latihan atau penilaian kepada makmal AI, dan sehingga kini tiada pasukan bebas yang dapat mengulangi kesemua hasil tersebut.

Model yang berbeza menggunakan rangka kerja Agent asli dan tetapan keselamatan yang berbeza, dan pengiraan kos juga dipengaruhi oleh cache, panggilan alat, dan penetapan harga pemberi perkhidmatan. Oleh itu, GDPx membandingkan secara lebih tepat “sistem Agent penuh di bawah konfigurasi produk semasa”, dan tidak boleh hanya dikaitkan dengan parameter model asas atau kaedah latihan.