OpenAI Menyesuaikan Data Evaluasi GPT-6 Astra, Meningkatkan Kekhawatiran Transparansi

Berita Cepat Beating AI: Setelah OpenAI merilis GPT-6 Astra pada 3 September, sejumlah data benchmark evaluasi model terus disesuaikan, dengan beberapa perubahan membuat Astra tampak lebih unggul, sementara kinerja beberapa model pesaing menurun, memicu kekhawatiran publik tentang "manipulasi benchmark" dan kurangnya transparansi dalam evaluasi. Misalnya, tingkat halusinasi Astra pernah diturunkan dari 4,2% menjadi 2%, sementara GPT-5.6 Sol turun dari 12,2% menjadi 9,4%, namun keduanya kemudian kembali ke angka 4,2% dan 12,2%. Dalam evaluasi matematika, skor Fable 5.1 dari Anthropic sempat turun dari 87,8% menjadi 78%, dan kini telah pulih ke 83%; GPT-5.6 Sol turun dari 83% menjadi 80,5%, lalu kembali ke 83%. Selain itu, skor Astra dalam benchmark ARC-AGI-3 naik dari 98,6% pada draf awal menjadi 99,99% pada halaman final, sementara skor evaluasi pemrogramannya naik sedikit dari 57,7% menjadi 57,9%. OpenAI menyatakan bahwa hasil evaluasi dipengaruhi oleh versi model, konfigurasi alat, tingkat inferensi, dan faktor lainnya, dan penyesuaian ini bertujuan memastikan data lebih akurat mencerminkan kinerja terbaik model. Namun, peneliti dari Universitas Stanford berpendapat bahwa seringnya menjalankan ulang evaluasi dapat melibatkan apa yang disebut "Benchmaxxing"—yaitu menyesuaikan kondisi pengujian untuk memaksimalkan skor benchmark. Para ahli industri menunjukkan bahwa seiring meningkatnya persaingan model AI, data benchmark kini menjadi alat penting untuk mengukur kemampuan model dan merebut pasar, sehingga bagaimana meningkatkan transparansi dan reproduktibilitas benchmark semakin mendapat perhatian luas.