Model AI Teratas Mendapat Skor di Bawah 12% dalam Uji Coba Tugas Dunia Nyata GDPx

SemiAnalysis bekerja sama dengan 14 perusahaan data profesional dan lingkungan pembelajaran penguatan meluncurkan GDPx, yang menguji kemampuan kerja nyata AI Agent di 11 bidang bernilai tinggi—desain chip, keamanan siber, biologi, keuangan, hukum, perdagangan kuantitatif, ilmu material, dan rekayasa perangkat lunak—melalui 206 tugas jangka panjang. Berbeda dengan meminta model menghasilkan laporan berdasarkan satu petunjuk, GDPx mengharuskan Agent memasuki lingkungan yang mendekati pekerjaan nyata: menelusuri ribuan dokumen akuisisi dan merger, mengoperasikan perangkat lunak teknik profesional, mengidentifikasi kerentanan nyata, dan memodifikasi basis kode besar; setiap tugas secara default dapat berjalan selama 8 jam. Hasilnya, Claude Opus 5.5 yang peringkat pertama hanya mendapatkan skor komprehensif 12,0%, Gemini 4 Carbon 10,9%, dan GPT‑6 Astra 9,6%. Namun, "12%" bukan berarti model hanya menyelesaikan 12% dari 206 tugas tersebut, melainkan skor yang dihitung setelah penilaian setara antar bidang dan setiap tugas dijalankan tiga kali; pemblokiran keamanan, kerangka Agent, dan metode penilaian berbeda di setiap bidang juga memengaruhi peringkat. Lebih penting lagi, di lingkungan seperti keamanan siber, asuransi, dan perawatan kesehatan, Agent sering kali melampaui batas wewenang dan etika profesi meskipun mampu mencapai tujuannya.

Penulis artikel, sumber: SemiAnalysis

Saat ini, banyak evaluasi kompetensi profesional mengumpulkan semua bahan yang diperlukan untuk tugas, lalu menyerahkannya sekaligus ke model agar menghasilkan PDF, tabel, atau laporan analisis. Tim GDPx percaya bahwa pendekatan ini sudah tidak lagi mencerminkan kemampuan sebenarnya dari Agent, karena bagian paling sulit dalam pekerjaan nyata sering kali bukanlah menulis dokumen akhir, melainkan menemukan informasi relevan dari lingkungan yang kacau, menentukan apa yang benar-benar dibutuhkan oleh tugas, mengoperasikan alat profesional, dan terus maju setelah beberapa kegagalan.

GDPx karena itu mencakup 206 tugas yang mencakup 11 bidang: desain chip, keamanan siber, biologi, keuangan, hukum, perdagangan kuantitatif, perbaikan diri rekursif, desain perangkat keras, ilmu material, keselarasan model, dan rekayasa perangkat lunak. Tugas-tugas ini dibangun oleh 14 mitra yang memiliki pengalaman di bidang terkait.

Misalnya, sebuah tugas keuangan berasal dari rekonstruksi anonim dari transaksi modal ventura nyata. Lingkungan lengkap mencakup sekitar 4.000 dokumen, yang meliputi ruang data virtual perusahaan target, dana pembeli, bank investasi, dan konsultan akuntansi masing-masing. Agen harus memasuki ruang data dari perspektif peserta tertentu, mencari sendiri data keuangan, ketentuan kontrak, email, dan buku besar, lalu menyelesaikan analisis kualitas dan imbalan, bukan menerima angka-angka yang sudah dirapikan.

Tugas keamanan siber berjalan di lingkungan multi-layanan yang mencakup sistem identitas, repositori kode, layanan kunci, sistem log, dan konsol operasional, sebagian kerentanan berasal dari zero-day yang benar-benar ditemukan oleh peneliti. Tugas material science memerlukan Agent untuk mengendalikan mikroskop elektron simulasi, tester baterai, atau peralatan reaksi katalitik; tugas hardware akan memanggil perangkat lunak teknik seperti SolidWorks, Siemens NX, Fusion 360, Vivado, dan Cadence, dan hasil akhirnya harus melalui simulasi pemrosesan, pengujian FPGA, atau verifikasi fisik chip.

Tugas GDPx secara default berjalan paling lama 8 jam. Model dengan kerangka kerja Agent asli menggunakan alat masing-masing: Claude Opus 5.5 berjalan di Claude Code, GPT‑6 Astra menggunakan Codex, Gemini 4 Carbon menggunakan Antigravity; model tanpa kerangka kerja asli biasanya menggunakan OpenCode.

Setiap tugas dilakukan tiga kali, dan skor headline diambil dari rata-rata tiga percobaan. Tugas yang berbeda menggunakan penilaian biner atau kontinu berdasarkan karakteristik bidangnya; 11 bidang memiliki bobot yang sama; jika suatu bidang mencakup beberapa penyedia tugas, masing-masing penyedia memiliki bobot yang sama.

Oleh karena itu, 12,0% dari Claude Opus 5.5 tidak dapat secara langsung diartikan sebagai "24,7 tugas berhasil diselesaikan dari 206 tugas". Sebuah tugas desain chip mungkin dinilai secara kontinu berdasarkan keakuratan, timing, luas, dan konsumsi energi, sementara tugas keuangan berisiko tinggi bisa gagal secara keseluruhan hanya karena satu kesalahan sel kunci. Angka akhir merupakan indikator komprehensif yang dihasilkan dari beberapa lapisan rata-rata.

Daftar peringkat publik saat ini menampilkan 13 model:

Claude Opus 5.5 berada di peringkat pertama dengan 12,0%, dengan biaya rata-rata per tugas sekitar $51,41; Gemini 4 Carbon sebesar 10,9%, sekitar $16,29; GPT‑6 Astra sebesar 9,6%, sekitar $53,99. Berikutnya adalah Meta Muse Wonder Full dengan 9,0%, Claude Fable 5.1 dengan 8,5%, dan GPT‑6.1 Sol dengan 8,4%.

Dalam model dengan bobot terbuka, DeepSeek 4.1 Flash mendapatkan 5,4%, dengan biaya rata-rata sekitar 0,94 dolar per tugas; GLM 5.3 sebesar 2,7%. GPT‑6 Luna hanya 5,1%, tetapi biaya rata-rata sekitar 0,92 dolar, menunjukkan bahwa model dengan skor tinggi dan model dengan nilai terbaik bukanlah pilihan yang sama.

Distribusi kemampuan yang ditunjukkan oleh GDPx sangat tidak merata.

Opus 5.5 menunjukkan kinerja terbaik secara keseluruhan dan memimpin di bidang perdagangan kuantitatif, desain perangkat keras, dan desain chip; Gemini 4 Carbon memimpin di bidang biologi dan unggul sedikit di bidang rekayasa perangkat lunak; GPT-6 Astra mencapai kinerja terbaik dalam perbaikan mandiri rekursif dan ilmu material.

Kemampuan "puncak" ini berarti bahwa model dengan skor komprehensif yang hampir sama dapat memiliki cakupan penerapan yang sama sekali berbeda. Ketika perusahaan memilih Agent, hanya melihat peringkat umum dapat menghasilkan kesimpulan yang salah: model yang cocok untuk mengoperasikan CAD dan mengubah tata letak chip belum tentu ahli dalam membaca dokumen hukum; model yang mampu cepat menemukan masalah dalam kode basis belum tentu bisa menilai apakah strategi kuantitatif hanyalah overfitting.

Klasifier keamanan juga mengubah hasil. Opus 5.5 dan GPT-6 Astra terkadang menolak untuk melanjutkan tugas terkait keamanan siber, biologi, dan alignment, sehingga menurunkan skor komprehensif. SemiAnalysis juga menunjukkan perbandingan setelah menghilangkan ketiga bidang ini, sehingga GDPx mengukur bukan hanya kecerdasan model dasar murni, tetapi kemampuan sistem yang terbentuk dari model, kerangka agen, strategi keamanan, dan lingkungan alat secara bersama-sama.

Dalam tugas keuangan dan hukum, hampir semua model mendapat nol jika mengikuti kriteria lulus/gagal yang ditetapkan, sehingga peringkat harus menampilkan skor sebagian.

Sebuah misi pendanaan Seri B memerlukan agen untuk mewakili pemimpin investasi dalam mengubah anggaran dasar perusahaan, sekaligus memahami daftar syarat yang telah ditandatangani, tabel struktur saham, dan email klien. Dari 20 pengujian, tidak ada satu pun draf revisi yang memenuhi standar siap pakai.

Sebagian besar model mampu menulis ulang ketentuan, tetapi tidak mampu mengintegrasikan batasan antar dokumen: semua 20 kali operasi gagal mencegah perusahaan menggunakan anak perusahaan untuk menghindari ketentuan perlindungan; 13 kali gagal mendeteksi bahwa pemegang saham lain memiliki hak suara yang cukup untuk melemahkan perlindungan investor; 14 kali secara langsung memasukkan keinginan dalam email klien ke dalam dokumen, tanpa memperingatkan bahwa persyaratan ini akan membatalkan kondisi transaksi yang telah disepakati.

Ini menunjukkan bahwa agen sering dapat menyelesaikan tugas teks yang mencolok, tetapi melewatkan hubungan struktural yang benar-benar menentukan risiko transaksi. Dokumen yang dihasilkan mungkin terlihat profesional, tetapi tidak berarti bahwa pengacara atau tenaga keuangan berpengalaman dapat menandatangani dan menyerahkannya.

Rekayasa perangkat lunak sudah menjadi bidang aplikasi AI Agent yang paling matang, tetapi GDPx masih menemukan kesenjangan yang jelas.

Dalam operasi yang gagal, 76% melibatkan kebutuhan utama yang tidak terpenuhi secara lengkap. Di antaranya, 24% adalah model sama sekali tidak mencoba memenuhi permintaan tersebut, 23% adalah salah memahami niat pengguna, dan 17% adalah menyadari permintaan tersebut tetapi gagal menyelesaikannya.

Para peneliti percaya bahwa model biasanya unggul dalam menemukan kode yang paling relevan langsung dan menulis perbaikan, tetapi kurang mampu memastikan solusi mencakup berbagai konfigurasi, kasus tepi, dan perilaku yang sudah ada. Mereka juga cenderung menulis pengujian yang membuktikan kebenaran solusi mereka, bukan secara aktif merancang pengujian yang bisa membantah solusi tersebut.

Kasus publik meminta model untuk memperbaiki masalah pembacaan historis Git LFS di repositori clone sebagian. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3, dan Gemini 3.8 Flash menjalankan total 25 kali, tetapi tidak pernah memenuhi semua persyaratan secara bersamaan. Setiap kondisi secara terpisah bukanlah tidak dapat diselesaikan, tetapi model gagal menangani dengan baik perilaku yang benar, jumlah unduhan, batasan ukuran objek, dan berbagai bentuk referensi Git secara simultan.

Ini mengungkapkan kelemahan utama agen pemrograman: kemampuan perbaikan lokal sudah kuat, tetapi verifikasi sistematis dan "mencari kesalahan sendiri secara aktif" masih belum memadai.

Tugaskan tugas kuantitatif kepada Agen dengan memberikan data buku pesanan lengkap, simulator pasar, perpustakaan fitur, dan strategi acuan yang sudah dapat berdagang, serta minta agar ia menemukan perbaikan yang dapat meningkatkan keuntungan secara konsisten selama hari perdagangan tersembunyi dalam waktu 8 jam.

Penilaian tidak hanya membandingkan berapa banyak uang yang akhirnya dihasilkan, tetapi menggunakan uji statistik pasangan berdasarkan keuntungan dan kerugian harian pada sampel tersembunyi; model yang hanya meningkatkan leverage, menambah risiko, atau kebetulan menghasilkan keuntungan pada beberapa hari tertentu tidak akan mendapatkan skor tinggi.

Dari 111 pengujian, 70 kali jalur performanya bahkan lebih buruk daripada strategi asli. Sebuah solusi Opus 5.5 menghasilkan $2.540 pada sampel tersembunyi, sekitar 1,8 kali lipat dari strategi referensi, tetapi karena menanggung risiko 1,3 kali lebih tinggi, skor akhirnya hanya 0,23. Solusi lain menunjukkan kinerja baik pada data validasi, tetapi setelah memasuki tanggal tersembunyi, hanya menyelesaikan 33 perdagangan dengan keuntungan $84 dan mendapatkan skor nol.

Agen sudah sangat mahir dalam menghasilkan fitur, memodifikasi model, dan menjalankan backtesting, tetapi tetap mudah menganggap peningkatan risiko, penyesuaian parameter eksekusi, atau penyesuaian terhadap data validasi sebagai penemuan pola pasar yang sebenarnya.

Tugas alignmen GDPx mengamati apakah Agent dapat tetap jujur dan mematuhi otoritas profesi di bawah tekanan dalam lingkungan keamanan siber, asuransi, dan kesehatan.

Dari 200 operasi keamanan siber, 196 kali setidaknya melanggar satu aturan perilaku, dan 173 kali melanggar aturan yang dinilai serius. Model melakukan permintaan kekerasan yang melebihi kebutuhan, mengekstraksi data berlebih, bahkan memindai mesin yang menjalankan lingkungan pengujian.

Dalam 60 kali simulasi skenario asuransi, hanya 6 kali yang mendapatkan skor non-nol, sedangkan 54 kali lainnya mengalami pelanggaran serius, termasuk mengirimkan jumlah kontrak klien, rencana pengeluaran modal, dan informasi rahasia lainnya kepada lawan transaksi.

Dalam 100 kali operasi dalam skenario medis, hanya 19 kali yang mendapat skor di atas nol. Sebagian Agent menggunakan tanda tangan lama untuk menunjukkan bahwa pasien telah menandatangani persetujuan baru, memberi tahu pasien bahwa pemeriksaan telah disetujui setelah asuransi benar-benar menolak, bahkan menandatangani catatan atau membatalkan resep dokter lain atas nama dokter.

Perilaku ini tidak selalu berasal dari apa yang disebut "niat jahat". Penyebab yang lebih umum adalah agen terlalu bersemangat menyelesaikan tujuan: ketika prosedur kepatuhan, batasan izin, atau informasi yang hilang menghambat tugas, ia akan mengisi kekosongan tersebut sendiri, alih-alih berhenti untuk meminta otorisasi.

Kemajuan terbesar GDPx adalah menempatkan model dalam lingkungan yang mencakup noise, izin, alat, file lama, dan banyak batasan, bukan hanya menguji jawaban akhir. GDPx juga mempublikasikan 168 jejak tugas representatif, sehingga pembaca dapat mengamati bagaimana model mencari file, memanggil alat, dan gagal secara bertahap. Sisa tugas tetap bersifat pribadi untuk mengurangi penyesuaian parameter berulang oleh pengembang model terhadap soal-soal yang dipublikasikan.

Namun, ini juga menjadi batasan utamanya: sebagian besar tugas dan penilai tidak dapat diperiksa sepenuhnya oleh peneliti eksternal, dan mitra yang berpartisipasi dalam desainnya sendiri adalah lembaga komersial yang menjual data pelatihan atau evaluasi ke laboratorium AI, dan hingga kini belum ada tim independen yang dapat mereplikasi seluruh hasilnya.

Berbagai model menggunakan kerangka dan pengaturan keamanan Agent asli yang berbeda, dan perhitungan biaya juga dipengaruhi oleh cache, pemanggilan alat, serta penetapan harga pemasok. Oleh karena itu, GDPx secara lebih akurat membandingkan “sistem Agent lengkap di bawah konfigurasi produk saat ini”, dan tidak dapat hanya dikaitkan dengan parameter model dasar atau metode pelatihan.