Lebih besar bukanlah lebih baik kali ini. Penggubah utama @valoryag menyesuaikan halus NVIDIA’s Nemotron 120B menggunakan data ramalan daripada agen Olas, dengan menggunakan resepi di sebalik Olas-Predict-R1-14B: contoh penaakulan yang dipilih, pemanasan berpandu, kemudian pembelajaran peneguhan. Latihan dijalankan melalui Tinker @thinkymachines. Pada 11,496 ramalan yang diasingkan, Nemotron tidak menunjukkan peningkatan yang jelas. Sebelum → selepas latihan: • Ralat Brier (lebih rendah lebih baik): 0.265 → 0.267 • Ketepatan seimbang (lebih tinggi lebih baik): 59.7% → 59.4% • Jawapan tidak boleh dibaca (lebih sedikit lebih baik): 503 → 528 Model 14B kami yang dilatih mempunyai kalibrasi yang lebih baik, ketepatan seimbang yang lebih tinggi, dan hanya 10 jawapan tidak boleh dibaca. Nemotron mengekalkan ralat Brier yang sedikit lebih rendah: 0.267 berbanding 0.270. Mengapa resepi ini tidak berpindah? Reka bentuk mixture-of-experts Nemotron mungkin memerlukan data yang lebih pelbagai atau tetapan latihan yang berbeza untuk ramalan. Kami belum menguji penjelasan ini, jadi punca masih belum pasti. Apa yang kami pelajari: resepi dan bajet latihan sedia ada kami meningkatkan model 14B tetapi tidak membawa keuntungan jelas kepada Nemotron. Seterusnya, kami akan menguji model padat yang lebih besar, dengan pemeriksaan awal untuk peningkatan sebelum mempertimbangkan pelaksanaan penuh. Baca eksperimen dan keputusan: https://t.co/ZSziFiraIZ