Baru saja, tantangan Tier 4 FrontierMath terakhir berhasil dipecahkan oleh GPT-6 Astra.
Sampai saat ini, semua soal dalam rangkaian tes penelitian yang dulu dianggap sebagai mimpi buruk matematika model besar telah setidaknya berhasil dipecahkan oleh AI sekali.
Epoch AI juga secara resmi menyimpulkan bahwa FrontierMath Tier 4 telah jenuh.
Meskipun dari gambar di atas tampak bahwa Astra belum secara langsung mencapai 100%, hasil yang diumumkan oleh OpenAI sendiri adalah 97,6%.
Namun menurut algoritma Epoch, "semua terselesaikan" berarti setiap soal di Tier 4 telah pernah berhasil dijawab setelah mengakumulasi upaya dari berbagai model dan waktu yang berbeda.
Dan yang dihancurkan oleh Astra adalah satu-satunya yang sebelumnya belum pernah diretas oleh AI.
(Sederhananya, Astra mungkin salah dalam satu tes tertentu, tetapi soal yang dijawabnya dengan benar sebelumnya belum pernah dipecahkan)
Sejujurnya, kecepatan perkembangan ini cukup luar biasa.
Jika Anda mengikuti evaluasi model, Anda tahu bahwa pada 11 Juli 2025, saat Tier 4 baru diluncurkan, hasil tertinggi di peringkat hanya sekitar 5%.
Saat ini baru lewat satu tahun dua bulan, "dinding tinggi" dulu telah berubah menjadi "anak tangga", dan masalah terakhir yang sulit diatasi oleh AI dengan jalan pintas juga telah dilalui.
Pembuat soal, Jay Pantone, asisten profesor matematika di Universitas Marquette, juga menyatakan bahwa sebelumnya AI selalu mencari jalan pintas numerik, tetapi kali ini, solusi AI sangat dekat dengan miliknya.
Namun, baru-baru ini, ketika GPT-6 Astra secara agresif menyerang dunia matematika dan terus-menerus menyelesaikan masalah Milenium, Pantone menyatakan bahwa dirinya sudah sulit lagi terkejut!
Dapat dikatakan bahwa matematika telah menjadi salah satu area paling intensif di mana Astra baru-baru ini menunjukkan keberadaannya.
Dari kurang dari 2%, hingga menambahkan garis pertahanan "tingkat penelitian" khusus
FrontierMath pertama kali dirilis pada 7 November 2024, dan tujuan penciptaannya adalah untuk mencegah benchmark matematika terlalu cepat dilampaui oleh AI.
Pada saat itu, benchmark matematika tradisional seperti GSM8K dan MATH semakin sulit membedakan perbedaan antara model-model teratas, sehingga Epoch AI bekerja sama dengan lebih dari 60 matematikawan untuk merancang serangkaian soal orisinal yang sebelumnya belum pernah dipublikasikan.
Di antaranya termasuk Terence Tao, Timothy Gowers, Richard Borcherds, dan penerima Penghargaan Fields lainnya.
Setelah membaca beberapa soal tingkat penelitian, Tao Terence secara langsung mengatakan bahwa soal-soal tersebut "sangat sulit," bahkan memperkirakan bahwa soal Tier 3 yang paling sulit mungkin masih akan membuat AI terhenti selama beberapa tahun lagi.
Hasil dari pengujian putaran pertama, seperti yang diperkirakan, akurasi model terdepan belum mencapai 2%.
Secara spesifik, pada awalnya, bank soal inti FrontierMath terdiri dari 300 soal, yang dibagi menjadi tiga tingkat kesulitan: Tier 1, Tier 2, dan Tier 3.
Tier 1 kira-kira setara dengan soal sarjana tingkat tinggi dan olimpiade matematika, namun memperbolehkan penggunaan alat yang lebih canggih; Tier 2 sudah mencapai tingkat pascasarjana tingkat atas; Tier 3 lebih mendekati masalah penelitian eksploratori yang biasa dihadapi oleh mahasiswa doktoral di tahap awal.
Namun seiring munculnya model inferensi, tiga lapisan pertama mulai semakin tidak cukup, sehingga pada tahun 2025, Epoch menambahkan satu lapisan lagi, Tier 4.
Tingkat 4 sebagian besar dirancang oleh profesor matematika dan postdoctoral, masing-masing akan melakukan penelitian jangka pendek selama beberapa minggu berdasarkan arah penelitian mereka sendiri, lalu merangkum hasilnya menjadi satu pertanyaan yang dapat diverifikasi secara otomatis.
Awalnya, Tier 4 mencakup 50 soal. Topik yang dibahas meliputi analisis, teori bilangan, kombinatorika, topologi, geometri aljabar...
Pada peluncuran awal, dari semua ujian yang pernah dilakukan oleh model-model tersebut, hanya tiga soal yang pernah terpecahkan, dan solusi-solusi tersebut bergantung pada beberapa asumsi yang benar tetapi tidak didukung secara memadai.
Oleh karena itu, di halaman contoh soal publik di situs resmi, Epoch juga pernah menulis: beberapa soal tersebut mungkin tidak akan diselesaikan oleh AI selama puluhan tahun.
(Sekarang kalimat ini akan terus diserang berulang-ulang)
Namun, seiring model menjadi semakin kuat, masalah lain juga muncul: bank soal itu sendiri mulai tidak tahan terhadap "uji coba" AI.
OpenAI menemukan lebih banyak kesalahan di FrontierMath selama pengujian daripada yang diharapkan.
Selanjutnya, Epoch memulai audit independen, pertama-tama menggunakan GPT-5.5 dan Claude Opus 4.7 untuk menyaring titik-titik mencurigakan, lalu menyerahkannya kepada para matematikawan untuk memeriksa setiap soal secara teliti. Pada akhirnya, versi v2 dirilis pada Juni 2026, di mana Tier 4 memperbaiki 12 soal, menghapus 7 soal, dan menyisakan 43 soal.
Setelah revisi, performa model terus meningkat.
GPT-5.6 mencapai 83,0%, Claude Fable 5 mencapai 90,2%, dan pada GPT-6 Astra, skor telah mencapai 97,6%.
Lebih penting lagi, Astra juga menyelesaikan soal satu-satunya yang sebelumnya belum pernah dipecahkan oleh AI.
Sampai saat ini, setiap soal di Tier 4 telah berhasil dipecahkan oleh AI setidaknya sekali. Pertahanan tingkat penelitian yang dirancang khusus untuk model terkuat ini akhirnya juga berhasil ditembus.
Namun, ini tidak berarti "matematika telah diselesaikan oleh AI". Sebaliknya, FrontierMath sendiri telah mulai melangkah ke tahap berikutnya.
Saat ini, selain Tiers 1-4, proyek ini juga menambahkan Open Problems yang sebenarnya, serta formalisasi masalah Erdős dalam Lean sebagai FrontierMath Erdős.
Yang pertama menguji model dengan masalah penelitian yang belum terselesaikan oleh komunitas matematis; yang kedua meminta AI untuk menulis bukti lengkap yang dapat diverifikasi secara formal.
Kali ini, Astra hanya menyelesaikan 2 dari 68 soal FrontierMath Erdős.
Cerita masih berlanjut~
Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: henry