Menurut pemantauan Beating, Universitas California, Berkeley, yang dipimpin oleh RDI, bekerja sama dengan ratusan pakar industri, meluncurkan benchmark evaluasi agen AI baru bernama Agents' Last Exam (ALE), yang dirancang untuk menilai kemampuan agen dalam menyelesaikan pekerjaan profesional digital nyata. ALE mencakup 55 subbidang profesional digital dan mengumpulkan lebih dari 1.500 tugas verifikasi yang berasal dari proyek nyata para ahli manusia, mendukung verifikasi hasil di lingkungan interaksi GUI dan CLI. Uji coba awal mencakup sistem mutakhir seperti Fable 5, GPT-5.5, dan Composer 2.5. Menurut perbandingan terbaru di situs resmi, dalam tugas paling sulit yang memerlukan penalaran berkelanjutan dan keahlian mendalam, semua agen yang diuji mencatat tingkat keberhasilan 0%. Fable 5, yang baru dirilis minggu ini, juga gagal total. Hal ini terutama disebabkan oleh peluncuran kebijakan keamanan: sekitar 35% tugas Fable 5 dikembalikan dan dijalankan ulang menggunakan versi lama Opus 4.8, sehingga kinerja keseluruhan jauh lebih rendah dibandingkan sistem lainnya. Dalam hal biaya API per tugas, Fable 5 sekitar $15,70, jauh lebih tinggi daripada $3,80 dari GPT-5.5 dan $1,33 dari Composer 2.5, dengan biaya yang 4 hingga 12 kali lebih tinggi untuk tugas yang sama. Pengujian juga menemukan bahwa penyebab paling umum kegagalan agen adalah pengumuman keberhasilan terlalu dini—mengakhiri tugas tanpa memverifikasi hasil aktual, bahkan sering melewatkan file atau menghitung data secara salah. Untuk agen baris perintah, tim evaluasi juga merilis subset ALE-CLI secara bersamaan. Dibandingkan dengan Terminal-Bench dan SWE-bench-Pro yang sudah ada, ALE-CLI mencakup 40 subbidang, dengan waktu rata-rata manusia per tugas mencapai beberapa jam hingga beberapa minggu. Dalam evaluasi baris perintah, agen terbaik pun hanya mencapai tingkat kelulusan 25,2%. Tim evaluasi menunjukkan bahwa era agen yang mudah digunakan telah tiba, tetapi masih ada jalan panjang sebelum agen benar-benar mampu menggantikan manusia dalam pekerjaan nyata.
Fable 5 Gagal Melakukan Tugas-Tugas Paling Sulit dalam Benchmark Agen AI Baru ALE
MarsBitBagikan
Ringkasan
Fable 5 berkinerja buruk dalam benchmark berita AI + kripto terbaru, ALE, yang dikembangkan oleh RDI UC Berkeley dan para ahli industri. Bersama GPT-5.5 dan Composer 2.5, Fable 5 mendapat skor 0% pada tugas-tugas paling kompleks. Rollback 35% ke Opus 4.8 karena kebijakan keamanan merugikan kinerjanya. Fable 5 juga biayanya 4–12 kali lebih mahal per tugas dibanding pesaingnya. Pencatatan token baru tetap menjadi fokus utama bursa, tetapi kemajuan AI menghadapi hambatan dunia nyata.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.