Claude kali ini benar-benar membuat daftar pemrograman AI terpisah jauh!
Baru saja di peringkat MirrorCode yang diperbarui, Claude Fable 5 kembali menduduki peringkat pertama dengan tingkat keberhasilan absolut 64%.
GPT-5.6 Sol yang mengikutinya, skornya hanya sepertiga darinya!
GPT-5.5 yang berada di peringkat keempat bahkan lebih buruk. Tidak hanya mencapai skor hanya 10%, tetapi juga dikalahkan oleh pendahulunya sendiri, GPT-5.4.
Yang lebih mengejutkan, saat menggunakan bahasa berbasis sumber daya tinggi seperti Go, tingkat penyelesaian Fable 5 adalah 64%; bahkan ketika beralih ke bahasa jarang digunakan seperti Ada, hasilnya tetap tinggi pada 61%.
Perlu diketahui, di dunia open source, korpus Python sekitar 230 kali lebih banyak daripada Ada.
Namun, di Fable 5, performanya hanya turun 3 persen.
Ini menarik.
Jika model terutama mengandalkan ingatan terhadap tata bahasa bahasa populer dan gaya penulisan umum, maka nilai seharusnya menurun setelah beralih ke Ada.
Namun, hasil saat ini justru menunjukkan kemungkinan lain—
Model terkuat telah melepaskan diri dari ketergantungan pada korpus spesifik dan mulai belajar cara membangun proyek perangkat lunak lengkap dari nol.
Tersangkut di garis lulus 100%, uji coba ekstrem 10 miliar Token
Secara khusus, MirrorCode lengkap mencakup 25 program target yang mencakup bidang-bidang seperti alat Unix, interpreter, kueri data, bioinformatika, kriptografi, dan alat kompresi.
Di sini, model akan ditempatkan dalam lingkungan terisolasi, tanpa internet, tidak dapat melihat kode sumber proyek asli, dan tidak dapat mengunduh dependensi pihak ketiga. Yang dapat diakses model hanyalah dokumen tingkat tinggi, sebagian tes yang terlihat, serta program asli yang dapat dipanggil berulang-ulang.
Selanjutnya, ia harus terus memasukkan data ke program asli, mengamati output untuk menebak logika internal, lalu Klik Buat program baru yang konsisten secara perilaku.
Pilih 15 target Medium dan Large dari daftar terbaru. Setiap target menggunakan dua bahasa implementasi, masing-masing dijalankan tiga kali.
Selain itu, tingkat penyelesaian tes terlihat dan tes tersembunyi harus mencapai 100% untuk lulus, 99,9% pun tidak diterima.
Hanya dengan melewatkan satu kasus tepi, seluruh proses tetap dihitung sebagai gagal.
Untuk mendorong model menutup semua celah terakhir, MirrorCode meningkatkan anggaran sekali jalan menjadi 10 miliar Token, dengan masa berjalan berkelanjutan maksimal 7 hari.
Tugas paling mahal dalam makalah tersebut bahkan lebih ekstrem: model berjalan terus-menerus selama 19 hari, dengan biaya sekali jalur mencapai $2.600.
Dalam 19 hari ini, model akan menjalankan ulang program asli, membandingkan hasil, menambahkan fitur, lalu menjalankan pengujian kembali. Jika terjadi kesalahan, cari penyebabnya; jika output tidak sesuai, ubah asumsi; setelah bagian tertentu berhasil, lanjutkan ke celah berikutnya.
Proses seluruhnya lebih seperti debugging yang berlangsung beberapa hari, bukan sekadar generasi.
Contoh gotree paling intuitif.
Alat bioinformatika ini awalnya memiliki sekitar 16.000 baris kode Go dan lebih dari 40 perintah.
Claude Opus 4.7 menghabiskan 14 jam dan $251 untuk lulus 2.000 dari 2.001 ujian, dengan tingkat penyelesaian 99,95%.
Meskipun melewatkan satu batas langka dalam pemrosesan tanggal, ia terhenti di garis lulus 100% MirrorCode, tetapi ia telah memangkas volume pekerjaan yang awalnya dihitung per minggu menjadi hanya beberapa belas jam—
Epoch memperkirakan bahwa tanpa menggunakan AI, insinyur manusia membutuhkan setidaknya 2 hingga 17 minggu untuk menyelesaikan tugas yang sama.
Di gurun korpus, Fable 5 hanya menjatuhkan 3 poin
Paper MirrorCode sebelumnya menggunakan campuran pelatihan publik StarCoder sebagai referensi.
Python sekitar 8%, sedangkan Ada hanya 0,034%, yang berarti yang pertama sekitar 230 kali lebih besar dari yang kedua.
Tentu, kita tidak bisa mengetahui seberapa banyak kode Ada yang dilihat oleh model tertutup. Namun, dengan mengacu pada ekosistem terbuka, seberapa langka nya Ada sudah cukup jelas.
Bahasa ini terutama muncul di bidang kedirgantaraan, pertahanan, dan sistem kritis keamanan lainnya. Baik dalam hal ukuran komunitas, jumlah tutorial, maupun proyek open source, jauh kalah dibandingkan dengan Python, JavaScript, atau Go.
Dan Fable 5 jelas tidak menerjemahkan kode Go baris demi baris ke dalam Ada.
Ini lebih seperti memahami terlebih dahulu bagaimana program aslinya bekerja, lalu menggunakan bahasa lain untuk membuat ulang perilaku yang sama.
Sebaliknya, model lain tidak sestabil ini.
GPT-5.6 turun dari 24% menjadi 19%, GPT-5.4 turun dari 21% menjadi 12%, dan GPT-5.5 bahkan turun dari 17% menjadi 5%. Ketika bahasa diubah, perbedaan langsung diperbesar.
Serahkan seluruh proyek ke AI
Saat ini, Cursor telah membuat ratusan Agent bekerja sama selama hampir satu minggu, menulis lebih dari 1 juta baris kode browser dari awal, tersebar di 1.000 file.
Anthropic menjalankan 16 agen Claude secara paralel untuk lebih dari 2.000 sesi, dan akhirnya membangun sebuah kompiler C sebanyak 100.000 baris yang mampu mengompilasi kernel Linux 6.9.
Dalam sampel pengguna pribadi Codex yang diungkapkan oleh OpenAI hingga Mei, 70,2% setidaknya pernah mengirimkan satu tugas yang diperkirakan membutuhkan lebih dari satu jam kerja manusia; 25,6% mengirimkan tugas yang melebihi delapan jam.
Unit yang diberikan manusia kepada AI sedang berubah dari sepotong kode, satu bug, menjadi sehari siang, seminggu, bahkan seluruh proyek.
64% dari MirrorCode merupakan kuantifikasi dari "pemberian wewenang tingkat proyek" ini.
Ini menjelaskan bahwa dengan tujuan yang cukup jelas dan hasil yang dapat diverifikasi secara otomatis, model mutakhir sudah dapat menyelesaikan sebagian dari perangkat lunak menengah hingga besar secara mandiri.
Bagi setiap orang yang menyerahkan pekerjaannya kepada AI, perubahan sudah di ambang pintu—
Sebelumnya, Anda perlu memantau setiap baris kode yang ditulis, selanjutnya, Anda lebih mungkin hanya memeriksa apakah ia menyimpang pada titik-titik kunci.
Kode akan semakin murah.
Sementara mereka yang bisa menjelaskan masalah dengan jelas dan memverifikasi hasil dengan tepat akan semakin berharga.
Referensi: https://epoch.ai/MirrorCode
Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: ASI Revelation; editor: Musa