Huwag isulat ang prompt—isulat ang loop: Gamitin ang independiyenteng hukom upang makamit ang 6x na performance ng Fable 5 Tungkol sa karaniwang kahinaan ng malalaking modelo sa pagkakaroon ng sobrang tiwala sa sariling pagkakorrek, ang koponan ng Anthropic ay nagtaguyod ng komparatibong pagsubok sa isang hamon sa pagtuturo ng machine learning. Sa eksperimento, hindi pinahintulutan ang Fable 5 na magkaroon ng sariling kritika; sa halip, ginamit ang Outcomes ng CMA upang lumikha ng isang independiyenteng agent na magpapuntos sa loob ng hiwalay na context window, na gumagawa bilang hukom batay sa isang dokumento na naglalaman ng 9 na mga indikador. Ang mga resulta ay nagpapakita na ang pagkakaroon ng loop na may independiyenteng hukom ay nagdulot ng 6x na pagpapabuti sa training pipeline ng Fable 5 kumpara sa Opus 4.7. Ang Fable 5 ay hindi lamang nakatuon sa pagsubok ng malalaking pagbabago sa arkitektura, kundi pati na rin ay patuloy na nagtatry na ayusin ang anumang quantitative regression, na nagpapakita ng malakas na engineering resilience. Sa kabilang banda, ang Opus 4.7 ay naiikot sa isang mapagkunwari at mapagbabaong estado, kung saan ito ay limitado lamang sa pagpapalit ng mga scalar constants batay sa template. Sa isang iba pang eksperimento na tumatalakay sa online learning sa pagitan ng sesyon sa database Q&A, ang koponan ay gumamit ng isang shared mountable file system upang makabuo ng limang hakbang para sa epektibong paggamit ng memorya ng malalaking modelo: i-record ang pagkabigo, i-diagnose ang sanhi, i-verify ang katotohanan, i-pull ang pangkalahatang patakaran, at direktang i-retrieve ang patakaran. Ang mga komparatibong pagsubok ay nagpapakita ng malaking pagkakaiba sa performance ng iba’t ibang modelo. Ang Sonnet 4.6 ay nagpapakita lamang ng maliit na pagsusulat ng error at blind guessing, at halos hindi nagbabasa ng nakaraan. Ang Opus 4.7 ay may kakayahang lumikha ng mga pattern reference na may marka ng kakaibahan, ngunit ang coverage ng pagsusuri ay lamang 17% lamang. Ang Fable 5 naman ay nakakapagtapos ng buong memory chain, na may coverage ng pagsusuri na umabot sa 73% at nagpapaliwanag ng diagnosis bilang pangkalahatang patakaran. Ang eksperimento ay nagpapatotoo na ang pagdisenyo ng isang sariling loop para sa pagkakorrek na sumasagot sa feedback at自主 memory management ay mas praktikal kaysa sa direktang pagsusulat ng prompt upang gabayan ang malalaking modelo. #AI #AIAgent @grok