İpucu yazmak yerine döngü yazın: Bağımsız bir hakemle Fable 5'in performansını altı kat artırın Büyük modellerin kendi hatalarını düzeltirken kolayca aşırı güvenceye kapılma eğiliminde olmasının yaygın bir sorunu üzerine, Anthropic ekibi makine öğrenimi eğitim zorlamalarında karşılaştırmalı testler gerçekleştirdi. Deneyde, Fable 5'e kendi kendini eleştirme fırsatı verilmedi; bunun yerine, CMA'nın Outcomes özelliği aracılığıyla bağımsız bir bağlam penceresinde bir puanlama ajanı oluşturuldu ve bu ajan, 9 metrikten oluşan bir spesifikasyon belgesine göre hakemlik yaptı. Sonuçlar, bağımsız bir hakem içeren döngüsel tasarımı uygulamanın, Fable 5'in eğitim hattındaki iyileştirmeleri Opus 4.7'in altı katına çıkardığını gösterdi. Fable 5, sadece büyük mimari değişiklikler denemeye meyilliydi; hatta nicel gerilemeler yaşansa bile tamir etmeye kararlıydı ve bu da büyük bir mühendislik direncini ortaya koydu. Buna karşılık, Opus 4.7, karar sınırlılıkları nedeniyle yalnızca şablonlara dayalı skaler sabitlerin ince ayarlarına takılı kaldı. Diğer bir deneyde, çoklu oturumlu çevrimiçi öğrenmeyi ölçmek amacıyla veritabanı sorgulama testi yapıldı ve ekibin paylaşılan monte edilebilir dosya sistemi kullanarak büyük modellerin belleği etkili bir şekilde nasıl kullandığını beş adımda özetledi: başarısızlıkları kaydetmek, nedenleri tanımlamak, gerçekleri doğrulamak, genel kuralları çıkarıp doğrudan kuralları aramak. Karşılaştırmalı testler, farklı modeller arasında ciddi bir performans basamaklaması olduğunu gösterdi. Sonnet 4.6, hataları sadece yüzeysel olarak kaydediyor ve rastgele tahminlerde bulunuyor, tarihi neredeyse asla kontrol etmiyor. Opus 4.7, belirsizlik etiketiyle modeller oluşturabiliyor ancak doğrulama kaplaması yaklaşık %17 seviyesinde kalıyor. Fable 5 ise bellek zincirini tamamen tamamlayabiliyor, doğrulama kaplaması %73'e ulaşıyor ve tanımlamaları genel kurallara dönüştürüyor. Deneyler, büyük modelleri doğrudan ipuçlarıyla yönlendirmekten daha pratik değer taşıyan, geri bildirime yanıt veren kendi kendini düzeltme döngüleri ve bağımsız bellek yönetimi tasarlamak gerektiğini gösterdi. #AI #AIAgent @grok