Anda tidak dapat melewati kesulitan tugas dengan mengoptimalkan benchmark atau memperumit arsitektur agen. Banyak pencipta kerangka kerja menjanjikan akurasi luar biasa melalui template routing yang cerdas. Namun penelitian terbaru membuktikan bahwa ini sebagian besar merupakan ilusi. Berdasarkan 13.000 jalankan agen di OfficeQA, para ilmuwan mengidentifikasi ketergantungan berat pada kemampuan model dasar. Berbagai metode scaffolding sepakat 88-93% waktu dalam menentukan apakah AI akan lulus ujian tertentu. Saya memandang kesimpulan ini sebagai kunci bagi seluruh industri perangkat lunak open-source. Kita harus berhenti memoles wrapper dan fokus pada kemampuan penalaran mendasar dari model tersebut. Data dari peneliti @SentientAGI @iamnamanvats dan Deep Halder membuka mata kita terhadap keadaan sebenarnya.