Bu sefer daha büyük daha iyi olmadı. Core katkıda bulunan @valoryag, Olas ajanlarından gelen tahmin verilerini kullanarak NVIDIA’nın Nemotron 120B modelini, Olas-Predict-R1-14B arkasındaki tarifi uygulayarak ince ayarladı: seçilmiş muhakeme örnekleri, denetimli bir ısıtma aşaması ve ardından pekiştirmeli öğrenme. Eğitim, @thinkymachines’ın Tinker aracılığıyla yürütüldü. 11.496 tutulan tahminde, Nemotron’da net bir iyileşme gözlemlenmedi. Eğitimden önce → sonra: • Brier hatası (daha düşük daha iyi): 0,265 → 0,267 • Dengeli doğruluk (daha yüksek daha iyi): %59,7 → %59,4 • Okunamayan cevaplar (daha az daha iyi): 503 → 528 Eğitilmiş 14B modelimiz daha iyi kalibrasyona, daha yüksek dengeli doğruluğa ve sadece 10 okunamayan cevaba sahipti. Nemotron, hafifçe daha düşük bir Brier hatası korudu: 0,267 karşı 0,270. Neden tarif transfer edilmedi? Nemotron’un uzmanlar karışımı tasarımı, tahminleme için daha çeşitli verilere veya farklı eğitim ayarlarına ihtiyaç duyabilir. Bu açıklamaları test etmedik, bu nedenle neden hâlâ açık. Öğrendiklerimiz: mevcut tarifimiz ve eğitim bütçemiz, 14B modelini geliştirdi ancak Nemotron’a net bir kazanç getirmedi. Sonraki adımda, tam işlemi başlatmadan önce iyileşme için erken bir kontrol yapmak üzere daha büyük bir yoğun modeli test edeceğiz. Deneyi ve sonuçları okuyun: https://t.co/ZSziFiraIZ