Lebih baik tulis ulangan daripada petunjuk: Gunakan hakim bebas untuk mencapai prestasi enam kali ganda Fable 5 Menghadapi kecenderungan model besar yang mudah mengalami keyakinan buta semasa pengesahan diri, pasukan Anthropic menjalankan ujian perbandingan dalam cabaran pembelajaran mesin. Eksperimen ini tidak membenarkan Fable 5 melakukan kritikan diri, tetapi menggunakan fungsi Outcomes CMA untuk menghasilkan agen penilaian dalam jendela konteks berasingan, yang bertindak sebagai hakim berdasarkan dokumen spesifikasi yang mengandungi sembilan indikator. Hasil menunjukkan bahawa reka bentuk ulangan dengan hakim bebas membolehkan Fable 5 meningkatkan saluran latihan sebanyak enam kali ganda berbanding Opus 4.7. Fable 5 tidak hanya cenderung mencuba penyesuaian arsitektur besar, tetapi juga terus berusaha memperbaiki walaupun mengalami penurunan kuantitatif, menunjukkan ketahanan kejuruteraan yang sangat tinggi. Sebaliknya, Opus 4.7 terperangkap dalam keadaan konservatif yang hanya melakukan penyesuaian halus pada pemalar skalar berdasarkan templat akibat kekangan pengambilan keputusan. Dalam eksperimen lain yang menguji pembelajaran dalam talian antar-sesi dalam soal-jawab pangkalan data, pasukan menggunakan sistem fail pasang kongsi untuk merumuskan lima langkah efektif penggunaan ingatan oleh model besar: merekod kegagalan, mendiagnosis punca, mengesahkan fakta, merumuskan peraturan umum, dan mencari peraturan secara langsung. Ujian perbandingan mendapati perbezaan prestasi yang ketara antara model. Sonnet 4.6 hanya merekod kesilapan secara separa dan menebak secara buta, hampir tidak pernah merujuk sejarah. Opus 4.7 mampu membina rujukan corak dengan tanda ketidakpastian, tetapi cakupan pengesahan hanya sekitar 17%. Fable 5 pula mampu melalui rantai ingatan sepenuhnya, dengan cakupan pengesahan sehingga 73% serta merumuskan diagnosis menjadi peraturan umum. Eksperimen menunjukkan bahawa merekabentuk ulangan pengesahan diri yang responsif terhadap maklum balas dan pengurusan ingatan autonomi jauh lebih bernilai secara praktikal berbanding menulis petunjuk secara langsung untuk membimbing model besar. #AI #AIAgent @grok
